Пастка масштабування: чому Сатья Наделла закликає не довіряти ШІ-моделям

Перехід до більш спроможних систем вимагає фундаментального перегляду архітектури безпеки. За словами CEO Microsoft, найбезпечніша позиція для бізнесу сьогодні — це виходити з припущення, що будь-яка ШІ-модель уже скомпрометована або потенційно деструктивна.

Сучасна наука поки не дає повного механічного розуміння внутрішніх процесів нейромереж. Навіть підкріплене навчання (RL) не гарантує безпеки, адже справжнє вирівнювання має закладатися у ваги моделі ще на етапі претрейнінгу. Оскільки безпеку неможливо повністю гарантувати всередині алгоритму, її потрібно винести на зовнішній контур.

Розв'язанням стає класичний концепт Zero Trust («нульова довіра»), адаптований під ШІ-агентів. Ідея полягає у створенні ізольованої інженерної системи, яка здатна стримати будь-якого автономного агента до того, як той завдасть шкоди. Microsoft уже реалізує цей підхід через архітектурні рішення на кшталт Agent 365 та Perception:

Криза Chain of Thought та прозорість Open-Weight моделей

Популярний метод міркування моделей Chain of Thought не є надійним джерелом правди. Ланцюжок думок може бути нефактичним або маніпулятивним. Ситуація погіршується, коли розробники закритих систем приховують ці логи від користувачів.

Саме відсутність прозорості в закритих рішеннях може спровокувати масовий перехід корпоративного сектору на моделі з відкритими вагами (open-weight) або ліцензованими вагами (licensed weights). Коли бізнесу потрібен повний контроль, прозорість стає критичнішою за чисту потужність.

Глобальні ризики некоректного вирівнювання є однаково небезпечними для США, Великої Британії та Китаю. Некерована open-weight модель не вибирає межі атак і становить загрозу навіть для країни-розробника.

У перспективі наступних 24 місяців ринок очікує насичення базових можливостей моделей. Преміальний ринок передових моделей (frontier) залишиться для складних наукових та інженерних завдань, проте основний обсяг споживання токенів стане комодитизованим. Компанії комбінуватимуть дешеві закриті моделі, локальні open-weight рішення та агентські системи (агентні рої), навчаючи їх на власних логах виконання завдань (traces).

Зворотний інформаційний парадокс та приватні евалі

Фундаментальна суть фірми в еру штучного інтелекту — збереження та накопичення внутрішніх знань без їхнього витоку назовні. Наделла посилається на парадокс інформації Кеннета Ерроу, але вказує на його зворотний характер у сучасних реаліях. Якщо раніше продавець ризикував знецінити секрет при розкритті, то тепер захисту потребує покупець (бізнес).

Кожен клік, оцінка «палець вгору» чи коригування відповіді ШІ створюють цінність для розробника моделі, а не для компанії, яка цю модель використовує. Щоб зберегти додану вартість всередині бізнесу, компанії повинні створювати власні еволюційні бенчмарки (private evals).

Через 5 років визначення бізнесу як такого зміниться:

Нова інфраструктурна реальність: від кластерів до ВВП

Впровадження таких систем трансформує ринок IT-послуг. Класичний системний інтеграційний бізнес перетворюється на нову «економіку імплементації» (implementation economy), де поєднуються бізнес-консалтинг та глибока технічна архітектура агентів. Прикладом є Unilever, де агентська система для автоматизації процесів order-to-cash та обробки торгових претензій спочатку запускалася на frontier-моделі, а згодом була переведена на дешевшу та контрольовану MAI-модель.

Вертикальна інтеграція від чипів до додатків навряд чи стане монопольною. Ринок рухається до горизонтальної спеціалізації з високою конкуренцією на кожному рівні: чипи, системи управління, моделі, інфраструктура розгортання та рівень додатків.

Попит на інференс (виведення) виявився практично безмежним. Проте масштабування тренувальних раундів до рівнів у $100 млрд потребує відповідного зростання світового ВВП. Фінансове обґрунтування таких витрат можливе лише за умови, що ШІ дійсно прискорить глобальне економічне зростання, яке десятиліттями перебуває на позначці близько 2%.

Основними драйверами цього стрибка стануть сектори з високоеластичним попитом та великим накопиченим беклогом:

Головна надія технологічного зсуву полягає не просто у перерозподілі часток ринку між переможцями та тими, хто програв, а у прискоренні глобального конвергентного зростання, яке здатне підняти економічні показники країн по всьому світу.