DESIGN OF GENERATION SYSTEM BASED ON ARTIFICIAL INTELLIGENCE ALGORITHM. PART 1

Bulletin of Kyiv Polytechnic Institute. Instrument making series, Jun 2023

The development of modern tools and methods of artificial intelligent provides a wide range of functionality for various scientific and applied tasks, and also allows obtaining new results. A question arises about how to apply elements of artificial intelligence to obtain new combinations and connections obtained by generation. As a purpose of the article is considered applying a neural network technology for the formation of new, unique recipes for cocktails with the aim of demonstrating the effectiveness of implementation and verification methods and models of artificial intelligence. To solve generation problems according to ingredient recipes, in the article all stages of the technological process are analyzed from data collection, analysis, preprocessing to the selection of a mathematical algorithm and modeling of the trained system. Each stage of the work contains a separate description of the steps necessary to solve the task. The machine learning algorithm has the ability to process thousands of examples to find a certain pattern of combinations of ingredients. And important attention is paid to the formation of a training date. At the stage of data collection, individuals and main problems are considered, which are checked during the work of the parser. The important part is the partial use of encrypted technologies when using Internet resources and reading the DOM tree with the code of the HTML page. The paper shows settings for the automated algorithm of information collection. For the parser development, a tool for rapid project development and effective management as Docker and Docker Compose add-ons were used. Completed the stage with the acquisition of the data set and the data for neural network models has been analyzed. The stage consists in preprocessing, decoding and compositions collected data in relevant tables. During the automated data collection process, information with significant noise and redundant elements is processed. Considerable attention is paid to the process of cleaning and preparation of useful information, because the purity of the data and their completeness in the most cases determine the quality of the mathematical model and the modeling process for finding new laws and combinations in generation.

Article PDF cannot be displayed. You can download it here:

https://visnykpb.kpi.ua/article/download/283455/277586

DESIGN OF GENERATION SYSTEM BASED ON ARTIFICIAL INTELLIGENCE ALGORITHM. PART 1

ISSN (p) 0321-2211, ISSN (e) 2663-3450 Автоматизація та інтелектуалізація приладобудування УДК 004.021, 004.62, 004.855.5 РОЗРОБКА СИСТЕМИ ГЕНЕРАЦІЇ НА ОСНОВІ АЛГОРИТМУ ШТУЧНОГО ІНТЕЛЕКТУ. ЧАСТИНА 1 Вережинський В. А., Даниленко А. В., Рупіч С. С., Цибульник С. О. Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, Україна E-mail: Розвиток сучасних інструментів і методів штучного інтелекту забезпечує широкий функціонал у різних наукових і прикладних сферах та надає можливість досягати нових результатів. Постає питання щодо застосування елементів штучного інтелекту для знаходження нових поєднань і сполучень шляхом генерації. В якості цільового результату розглядається застосування нейронної мережі для формування нових, унікальних рецептів харчової суміші, з метою визначення ефективності впровадження та використання методів і моделей штучного інтелекту. Для вирішення задачі генерації поєднань складових рецептів, у роботі розглянуто всі етапи технологічного процесу від збору, аналізу, препроцесингу даних до вибору математичного алгоритму та моделювання навченої системи. Кожен з етапів роботи містить у собі повний опис кроків, необхідних для вирішення поставленого завдання. Алгоритм машинного навчання має можливість обробляти тисячі прикладів для знаходження певної закономірності поєднань інгредієнтів. І значна увага приділяється формуванню тренувального датасету. На етапі збору даних розглядаються особливості та основні проблеми, що виникають при роботі парсера. Важливою частиною є обхід захисних технологій при запитах до інтернет-ресурсів та зчитування DOMдерева з коду HTML сторінки. Описано налаштування алгоритму автоматизованого збору інформації. Для розробки парсеру в роботі використовуються інструменти для швидкого розгортання проєкту та ефективного керування додатками Docker та Docker Compose. Окремим етапом є побудова датасету та аналіз даних для моделі нейронної мережі, який полягає у проведенні препроцесінгу та декодуванні і композиції у табличний вигляд. При автоматизованому процесі збору даних формується інформація зі значними шумами та зайвими елементами. Значна увага приділяється саме процесу очищення та підготовки корисної інформації, адже саме від чистоти даних та їх повноти в більшості випадків залежить якість математичної моделі та процесу моделювання для знаходження нових закономірностей та поєднань. Ключові слова: генерація; аналіз; препроцесинг; математичний алгоритм; нейронна мережа; машинне навчання. Вступ Кількість різноманітних пропозицій на ринку продажу товарів і послуг зростає з експонентною швидкістю кожен день. Виробники намагаються пропонувати унікальну продукцію, яка могла б знайти місце серед споживачів. Помітна частина їх потужностей направлена на підвищення унікальності свого товару. Крім того, товар має відповідати якісним та кількісним потребам користувачів, а також бути конкурентоспроможним. Проте, на сьогодні, навіть великі команди професіоналів не здатні конкурувати з автоматичними алгоритмами у генерації таких унікальних товарів. Вже існують самостійні алгоритми, які можуть абстрагувати специфіку виробництва та створювати нові товари на основі існуючих. Наприклад, такі системи можуть генерувати оптимальні поєднання хімічних елементів у сплавах, перебирати необхідні компоненти для створення антидотів до різноманітних хвороб, знаходити найдоцільніші пропорції у поєднаннях різних інгредієнтів у харчовій промисловості [1-2]. Однією з істотних переваг таких сис- 110 тем є відсутність необхідності ручного перебору можливих удосконалень товару, тобто процес є повністю або майже повністю автоматизованим. Вони створюються з впровадженням сучасних комп’ютерно-інтегрованих технологій, без яких обробка, аналіз і отримання результату досліджень займали б неймовірно багато часу. Для вирішення поставлених задач часто використовуються елементи штучного інтелекту та різні алгоритми. Тому актуальною задачею використання алгоритму генерації продукту є не тільки створення великої кількості різноманітних варіантів, а й збереження уваги споживачів внаслідок знаходження системою нових, нестандартних і цікавих рішень. Постановка задачі На сьогодні вирішення завдання генерації привернуло увагу великої кількості науковців і розробників та отримало широку підтримку серед виробників. Зазвичай це не є тривіальним завданням. Складність процесу зберігається протягом всіх етапів реалізації, починаючи від початкових Вісник КПІ. Серія ПРИЛАДОБУДУВАННЯ, Вип. 65(1), 2023. ISSN (p) 0321-2211, ISSN (e) 2663-3450 Автоматизація та інтелектуалізація приладобудування даних, вибору алгоритму, підходу генерації і до інтерпретації вихідного результату. Для цього створюються так звані генеративні моделі [1], які повністю або частково реалізують поставлене завдання та побудовані на основі штучного інтелекту або з використанням його елементів. Проте, на практиці генеративні моделі здатні вирішувати вузьке коло завдань, оскільки кожне наступне у прогресії збільшує складність всієї системи в цілому. Генеративні моделі наразі здатні вирішувати завдання генерації аудіо, зображень, створювати унікальні тексти та навіть підтримувати більшменш конструктивну розмову з людиною [3]. Однак, ці всі системи неідеальні та постійно вдосконалюються. Як зазначалося, особливостями таких систем є впровадження комп’ютерно-інтегрованих технологій. Однією з широко вживаних та вдалою технологією є штучні нейронні мережі, які використовуються у багатьох галузях виробництва компаніями у різних сферах. Нейронні мережі – це дуже потужний інструмент, особливо у завданнях генерації. Їх особливість полягає у нелінійному перетворенні вхідних даних. Завдяки притаманній їм нелінійності можна отримати зовсім неочікувані результати. Багато з них дуже часто є нелогічними чи дивними з точки зору людини, проте частина результатів може мати цінність, особливо при генерації унікального продукту. Однією з областей, де є можливість легко створювати та випробовувати автоматично згенеровані результати без завдання шкоди для навколишнього середовища та біологічним організмам, є харчова промисловість, коли навіть абсолютно незвичайні поєднання компонентів можливо зробити внаслідок доступності компонентів. Тому в цій роботі пропонується використати підхід автоматичної генерації для створення нових рецептів по заздалегідь підготовленим інгредієнтам. Зазвичай, процес генерації не є тривіальною задачею. Щоб побудувати подібну модель з використанням інструментів штучного інтелекту, потрібно виконати значну підготовчу роботу. Класичний алгоритм побудови моделей машинного навчання складається з декількох етапів [4]. Перш за все, потрібно обрати ресурси з даними, що будуть в подальшому оброблятись, та розробити алгоритм їх автономного аналізу. Оскільки навчальної інформації потрібно багато, то в ручному режимі її збір займатиме дуже багато часу. Тому, як правило, в такому випадку застосовується парсинг, тобто автоматичний збір даних. Після отримання необхідної кількос (...truncated)


This is a preview of a remote PDF: https://visnykpb.kpi.ua/article/download/283455/277586
Article home page: https://visnykpb.kpi.ua/article/view/283455/277586

Валерій Вережинський, Андрій Даниленко, Рупіч Сергій, Сергій Цибульник. DESIGN OF GENERATION SYSTEM BASED ON ARTIFICIAL INTELLIGENCE ALGORITHM. PART 1, Bulletin of Kyiv Polytechnic Institute. Instrument making series, 2023, pp. 110-116,