Програміст передбачив майбутнє Generative AI

Останні декілька років генеративний штучний інтелект – найбільш перспективна галузь технологій. На відміну від традиційного ШІ, який вирішує завдання на основі вже наявних даних, Generative AI здатний створювати абсолютно нові об'єкти, наприклад тексти, зображення, відео і навіть програмний код. У медицині генеративний ШІ використовують для покращення медичної діагностики та створення нових молекул, які стають основою для нових ліків.

Перераховувати переваги генеративного ШІ можна довго, оскільки у кожній сфері економіки та життя цій інновації знайшлося гідне застосування. Можливо, тому що Generative AI відкриває перед людством безмежні можливості, він став і найбільш обговорюваною темою на форумах і в кулуарах. При цьому не в останню чергу всіх цікавить, що буде за декілька років.

Наш співрозмовник – старший інженер-програміст компанії Writer Дмитро Мозолевський, котрий впритул займається генеративним штучним інтелектом. З його участю було розроблено однойменну з компанією повнофункціональну платформу Writer, яку використовують такі корпорації-гіганти як L'Oréal, Salesforce, Intuit, Blackrock. Саме цьому експерту ми поставили декілька запитань щодо майбутнього Generative AI.

– Дмитре, загалом як експерт, яким ви бачите майбутнє генеративного ШІ, скажімо, у найближчі 5 років?

– Відверто кажучи, дуже складно уявити, яким це майбутнє може бути. Кожна технологія має свої обмеження та іноді потрібен якийсь суттєвий прорив, щоб вийшло якесь кратне поліпшення.

Наприклад, колись була якась стагнація процесорів, тому що весь прогрес упирався у кількість мегагерц на одному ядрі. Тільки через деякий час прийшли люди з архітектурою множинних ядер (сміється) і це суттєво штовхнуло прогрес CPU вперед. У 2006 році Intel Core Duo став масмаркет-прикладом цієї технології.

Наступний по-справжньому крутий прорив стався з М1 на ARM-архітектурі аж 2020 року! Це був очікуваний, але все-таки "чорний лебідь".

– Те саме відбувається з ШІ-моделями?

– Абсолютно правильно. Ранні моделі, які розпізнавали патерни, були ще у 1960-х. Час минав, вони ставали все кращими, з'являлися нові типи. Але прорив стався лише у 2017 році, з публікацією дослідження "Attention Is All You Need", де було запропоновано deep learning-архітектуру під назвою "Трансформер". На цьому типі архітектури побудовані GPT-моделі, які використовуються в ChatGPT.

Всі ми думали, що сила цієї архітектури масштабується розміром моделі, але виявилося в неї є обмеження. На певному обсязі токенів стає вже неважливо, який розмір і ніяких великих видобутків не приходить, але ціна роботи цієї моделі сильно зростає.

– Тоді OpenAI вигадала О1?

– Так, і цим запустила тренд на моделі, "що думають". Але за фактом у цьому немає жодного технологічного прориву. Це швидше оптимізація наявних можливостей. Саме тому, усвідомлюючи, що сьогодні трансформери вже мають свою стелю, ми в Writer і почали тренувати "специфічні галузеві моделі". Так званий fine-tuning не до кінця розв’язує проблему, тому ми вирішили сконцентруватися на моделях, призначених для конкретних індустрій.

Тому особисто мені здається, що якщо через п'ять років не станеться жодних "чорних лебедів", генеративний ШІ стане інструментом для створення чудових продуктів для оптимізації процесів.

– Наприклад?

– Наприклад, як вебдодатки, куди люди спочатку просто складали дані і витягували їх за потреби, а в якийсь момент взяли і побудували чудову автоматизацію, і цим перевернули світ.

Генеративний штучний інтелект і агентська архітектура можуть стати новим верхнім шаром вже чинних інструментів, який внесе автоматичне прийняття рішень на підставі типових випадків. Ось так наприклад (сміється).

– А якщо "чорний лебідь" все ж таки трапиться?

– Якщо "чорний лебідь" мінімізує галюцинації моделей і зробить їх на 100% точними, можливо, ми прокинемося зовсім в іншому світі.