Настає час ШІ-агентів: як автономні алгоритми почнуть працювати замість людини - Лавренов

Сучасні великі мовні моделі (LLM) поступово досягають своєї технологічної стелі, тому провідні розробники зміщують фокус на створення так званих агентських систем, здатних працювати як повноцінні асистенти. Водночас різниця у роботі популярних нейромереж полягає не стільки в архітектурі, скільки в унікальних підходах до їхнього навчання.

Про це повідомив директор департаменту штучного інтелекту у компанії Sponge Анар Лавренов в ефірі Юрія Романенка.

За словами експерта, ера архітектури трансформерів, яка свого часу здійснила революцію, наближається до свого піку. Поки індустрія очікує на принципово нові рішення, компанії шукають інші шляхи розвитку, зокрема через глибоку інтеграцію ШІ у робочі інструменти користувачів.

"Ось свого часу, звичайно, з появою GPT 3.5 це був великий стрибок, тому що на зміну рекурентним моделям прийшли безпосередньо трансформери. Це, звичайно, був стрибок. Ми відразу побачили ось цю магію спілкування. Зараз світ чекає на нову архітектуру. Світ ще її не вигадав. Архітектуру, яка перевершить безпосередньо трансформери", - зазначив Лавренов.

Оскільки фундаментальних змін у базовій архітектурі найближчим часом не передбачається, розробники змістили фокус на більш глибоке практичне застосування існуючих моделей. Замість спроб створити новий алгоритмічний "двигун", компанії почали розробляти інструменти, які перетворюють нейромережу зі звичайного чат-бота на автономного помічника, здатного виконувати комплексні завдання всередині інших програм.

"MCP (Model Context Protocol) - це те, що безпосередньо впровадили Anthropic. Те, чим вони сміливо перевернули ринок у цьому плані. Чому? Тому що хлопці з Anthropic - це ультразакрита компанія. Ще, напевно, більш закрита, ніж Open AI. Вони зрозуміли, що чат - це добре, але LLM - це безпосередньо двигун, тобто це бензин свого роду. А як ти його використовуєш, це вже може дати тобі перевагу. І якраз вони реалізували MCP. Тобто ви не просто можете листуватися в чаті, ви можете там писати код, малювати дизайн, ставити завдання - все через повідомлення. Тобто вже LLM у даному випадку - це не просто чат-бот, це вже стало вашим повноцінним асистентом, він інтегрується в інструменти, якими ви звикли користуватися. І зробивши це, вони дуже сильно привернули до себе увагу світової спільноти. Резюмуючи, вважаю, що LLM доходить до своєї стелі. І наступний етап розвитку - це вдосконалення безпосередньо агентських систем, тобто те, як LLM інтегруються в наше середовище взаємодії", - пояснив Лавренов.

Обговорюючи конкуренцію на ринку та практичний досвід користувачів, Юрій Романенко поцікавився, чому за однакової базової архітектури різні моделі демонструють неоднакову ефективність у специфічних завданнях. Анар Лавренов пояснив, що базова інформація у більшості моделей збігається майже повністю. Головні відмінності закладаються розробниками на різних етапах тренування нейромереж, зокрема під час так званого вирівнювання під очікування людини.

"Перш за все, це одразу дані. Дані, на яких модель навчається, особливо на третьому етапі, коли вибудовується, вирівнюється модель відповідно до людських уподобань. Потрібно чесно сказати, що всі моделі на 90% використовують одні й ті самі дані взагалі в цілому. До речі, кожен з вас може зайти в будь-який чат, ви, наприклад, навіть можете попросити англійською сказати жарт. Він скаже: "Why don't scientists trust atoms? Because they make up everything". І ви кожного можете запитати просто, і він з величезною ймовірністю відповість. Чому вони відрізняються? Крім архітектури є так звані техніки навчання", - зазначив Лавренов.

Експерт пояснив, що процес тренування штучного інтелекту - це не просто одноразове завантаження інформації. Він складається з трьох ключових етапів. На першому модель вчиться взаємодії слів на величезному масиві текстів, намагаючись передбачити кожне наступне слово. Саме на цій стадії, за словами фахівця, компанія Anthropic, що розробляє Claude, застосовує унікальні підходи.

"Є взагалі три етапи, може бути більше, але загалом їх три. Перший етап - це коли модель просто на величезному обсязі тексту намагається передбачити наступне слово. Ось таким чином вона вчить взаємодію слів між собою. Вона все ще не розуміє, що ви від неї хочете, не може відповідати на ваші запитання. І якраз на цій стадії, саме на етапі переднавчання, Claude використовує дуже сильні техніки. Зокрема вони використовують техніку реструктуризованого переднавчання. Це коли дані перемішуються таким чином, що незважаючи на те, що модель намагається передбачити наступне слово, вона все одно навчається в режимі запитально-відповідної системи. На другому етапі модель вже знає величезний лексикон, величезну взаємодію слів, але вона може тільки продовжувати генерувати текст. Потім відбувається навчання з учителем, коли ви вже показуєте моделі, яке є запитання і яку ви очікуєте від неї відповідь. Тобто ви їй не даєте нових знань, ви просто їй показуєте, що у світі існує запитально-відповідна система", - розповів Лавренов.

Проте найбільш визначальним для кінцевого результату та поведінки чат-бота є третій етап - так званий "алаймент" (alignment), тобто вирівнювання нейромережі під потреби та очікування людини. Саме на цьому етапі закладаються ті самі 5-10% відмінностей у вузьких доменах, які відрізняють, наприклад, ChatGPT від Claude.

"І якраз третій етап - це найсильніший етап з точки зору поведінки моделі. Це так званий режим алайменту (alignment), тобто навчання з підкріпленням. І тут якраз теж Claude дуже сильний. Команда Anthropic взагалі свого часу представила метод оптимізації DPO. Це їхній власний винахід. І тут вони також сильно можуть вибудовувати під людські вподобання - "відповідай коротко, не треба писати сухо, без води". По суті, як робить OpenAI. Знову-таки, резюмуючи, моделі за якістю не сильно відрізняються між собою. Тобто там буквально кілька відсотків. Не можна сказати, що точність відповіді в GPT 90%, а в Claude 10. Ні, там, швидше за все, різниця буде у вузьких доменах на 5-10%. Різниця між цими моделями в даних, які вони використовують, особливо на третьому етапі, де вже під людські вподобання налаштовується модель, тюниться, і також різноманітні техніки навчання. Тобто не однією архітектурою досягаються результати. Ще є своєрідні техніки, як саме дані подавати, як вони пропускаються через модель, з якою швидкістю вона вчиться і так далі", - резюмував Лавренов.