DESIGN OF GENERATION SYSTEM BASED ON ARTIFICIAL INTELLIGENCE ALGORITHM. PART 1
ISSN (p) 0321-2211, ISSN (e) 2663-3450
Автоматизація та інтелектуалізація приладобудування
УДК 004.021, 004.62, 004.855.5
РОЗРОБКА СИСТЕМИ ГЕНЕРАЦІЇ НА ОСНОВІ АЛГОРИТМУ
ШТУЧНОГО ІНТЕЛЕКТУ. ЧАСТИНА 1
Вережинський В. А., Даниленко А. В., Рупіч С. С., Цибульник С. О.
Національний технічний університет України
«Київський політехнічний інститут імені Ігоря Сікорського», Київ, Україна
E-mail:
Розвиток сучасних інструментів і методів штучного інтелекту забезпечує широкий функціонал у різних
наукових і прикладних сферах та надає можливість досягати нових результатів. Постає питання щодо застосування елементів штучного інтелекту для знаходження нових поєднань і сполучень шляхом генерації. В
якості цільового результату розглядається застосування нейронної мережі для формування нових, унікальних
рецептів харчової суміші, з метою визначення ефективності впровадження та використання методів і моделей штучного інтелекту. Для вирішення задачі генерації поєднань складових рецептів, у роботі розглянуто всі
етапи технологічного процесу від збору, аналізу, препроцесингу даних до вибору математичного алгоритму та
моделювання навченої системи. Кожен з етапів роботи містить у собі повний опис кроків, необхідних для
вирішення поставленого завдання. Алгоритм машинного навчання має можливість обробляти тисячі прикладів для знаходження певної закономірності поєднань інгредієнтів. І значна увага приділяється формуванню
тренувального датасету.
На етапі збору даних розглядаються особливості та основні проблеми, що виникають при роботі парсера. Важливою частиною є обхід захисних технологій при запитах до інтернет-ресурсів та зчитування DOMдерева з коду HTML сторінки. Описано налаштування алгоритму автоматизованого збору інформації. Для
розробки парсеру в роботі використовуються інструменти для швидкого розгортання проєкту та ефективного керування додатками Docker та Docker Compose. Окремим етапом є побудова датасету та аналіз даних
для моделі нейронної мережі, який полягає у проведенні препроцесінгу та декодуванні і композиції у табличний
вигляд. При автоматизованому процесі збору даних формується інформація зі значними шумами та зайвими
елементами. Значна увага приділяється саме процесу очищення та підготовки корисної інформації, адже саме
від чистоти даних та їх повноти в більшості випадків залежить якість математичної моделі та процесу
моделювання для знаходження нових закономірностей та поєднань.
Ключові слова: генерація; аналіз; препроцесинг; математичний алгоритм; нейронна мережа; машинне
навчання.
Вступ
Кількість різноманітних пропозицій на ринку
продажу товарів і послуг зростає з експонентною
швидкістю кожен день. Виробники намагаються
пропонувати унікальну продукцію, яка могла б
знайти місце серед споживачів. Помітна частина їх
потужностей направлена на підвищення унікальності свого товару. Крім того, товар має відповідати якісним та кількісним потребам користувачів, а
також бути конкурентоспроможним. Проте, на
сьогодні, навіть великі команди професіоналів не
здатні конкурувати з автоматичними алгоритмами
у генерації таких унікальних товарів. Вже існують
самостійні алгоритми, які можуть абстрагувати
специфіку виробництва та створювати нові товари
на основі існуючих. Наприклад, такі системи можуть генерувати оптимальні поєднання хімічних
елементів у сплавах, перебирати необхідні компоненти для створення антидотів до різноманітних
хвороб, знаходити найдоцільніші пропорції у поєднаннях різних інгредієнтів у харчовій промисловості [1-2]. Однією з істотних переваг таких сис-
110
тем є відсутність необхідності ручного перебору
можливих удосконалень товару, тобто процес є
повністю або майже повністю автоматизованим.
Вони створюються з впровадженням сучасних
комп’ютерно-інтегрованих технологій, без яких
обробка, аналіз і отримання результату досліджень
займали б неймовірно багато часу. Для вирішення
поставлених задач часто використовуються елементи штучного інтелекту та різні алгоритми. Тому
актуальною задачею використання алгоритму
генерації продукту є не тільки створення великої
кількості різноманітних варіантів, а й збереження
уваги споживачів внаслідок знаходження системою нових, нестандартних і цікавих рішень.
Постановка задачі
На сьогодні вирішення завдання генерації
привернуло увагу великої кількості науковців і
розробників та отримало широку підтримку серед
виробників. Зазвичай це не є тривіальним завданням. Складність процесу зберігається протягом
всіх етапів реалізації, починаючи від початкових
Вісник КПІ. Серія ПРИЛАДОБУДУВАННЯ, Вип. 65(1), 2023.
ISSN (p) 0321-2211, ISSN (e) 2663-3450
Автоматизація та інтелектуалізація приладобудування
даних, вибору алгоритму, підходу генерації і до
інтерпретації вихідного результату. Для цього створюються так звані генеративні моделі [1], які повністю або частково реалізують поставлене завдання
та побудовані на основі штучного інтелекту або з
використанням його елементів. Проте, на практиці
генеративні моделі здатні вирішувати вузьке коло
завдань, оскільки кожне наступне у прогресії збільшує складність всієї системи в цілому.
Генеративні моделі наразі здатні вирішувати
завдання генерації аудіо, зображень, створювати
унікальні тексти та навіть підтримувати більшменш конструктивну розмову з людиною [3]. Однак, ці всі системи неідеальні та постійно вдосконалюються. Як зазначалося, особливостями таких
систем є впровадження комп’ютерно-інтегрованих
технологій. Однією з широко вживаних та вдалою
технологією є штучні нейронні мережі, які використовуються у багатьох галузях виробництва
компаніями у різних сферах. Нейронні мережі – це
дуже потужний інструмент, особливо у завданнях
генерації. Їх особливість полягає у нелінійному
перетворенні вхідних даних. Завдяки притаманній
їм нелінійності можна отримати зовсім неочікувані результати. Багато з них дуже часто є нелогічними чи дивними з точки зору людини, проте частина результатів може мати цінність, особливо при
генерації унікального продукту.
Однією з областей, де є можливість легко
створювати та випробовувати автоматично згенеровані результати без завдання шкоди для навколишнього середовища та біологічним організмам,
є харчова промисловість, коли навіть абсолютно
незвичайні поєднання компонентів можливо зробити внаслідок доступності компонентів. Тому в
цій роботі пропонується використати підхід автоматичної генерації для створення нових рецептів
по заздалегідь підготовленим інгредієнтам.
Зазвичай, процес генерації не є тривіальною
задачею. Щоб побудувати подібну модель з використанням інструментів штучного інтелекту, потрібно виконати значну підготовчу роботу. Класичний алгоритм побудови моделей машинного навчання складається з декількох етапів [4].
Перш за все, потрібно обрати ресурси з даними, що будуть в подальшому оброблятись, та розробити алгоритм їх автономного аналізу. Оскільки
навчальної інформації потрібно багато, то в ручному режимі її збір займатиме дуже багато часу.
Тому, як правило, в такому випадку застосовується парсинг, тобто автоматичний збір даних.
Після отримання необхідної кількос (...truncated)