Новий ШІ від OpenAI може зламувати військові системи

Компанія OpenAI у четвер випустила нову модель штучного інтелекту Astra, назвавши її «найрозумнішою і найвивіренішою» у своїй лінійці. Президент компанії Грег Брокман заявив, що людство увійшло в нову еру штучного загального інтелекту (AGI), повідомляє The Guardian.

«Якщо ми перенесемося на кілька років уперед і озирнемося назад, то, гадаю, саме зараз і саме ця модель стане тим моментом, коли AGI справді зʼявився», — сказав Брокман. За його словами, Astra вже розвʼязує математичні задачі, над якими вчені билися сто років. Одночасно вона може прискорювати економіку та повсякденне життя людей.

Показово, що заява прозвучала лише через кілька днів після того, як гендиректор OpenAI Сем Альтман в подкасті Sources назвав саме поняття AGI «доволі погано визначеним»: «Це, по суті, нерелевантний маркетинговий термін».

За інформацією компанії, Astra здатна заповнювати податкові декларації, створювати сцени для компʼютерних ігор, робити архітектурні візуалізації та замовляти їжу. Пошук роботи, на який людині потрібно близько п'яти годин, вона виконує за 2 хвилини 51 секунду.

Модель отримала «критичний» рівень кібербезпекових можливостей. За класифікацією самої компанії, це означає, що вона теоретично здатна зламувати військові чи промислові системи або інфраструктуру самої OpenAI зі значними ризиками. У компанії запевняють, що Astra навчена відмовлятися виконувати просунуті кібератаки, зокрема пошук невідомих вразливостей для зловмисників. Розширений доступ до її можливостей отримає лише обмежене коло довірених фахівців із кіберзахисту в межах програми Daybreak. Повний доступ до Astra для користувачів платних тарифів: Pro, Plus, Enterprise та Business, а також через API, компанія відкриє протягом наступного тижня.

На одному з тестів на злам Astra показала стовідсотковий результат проти 5,5% у попередньої флагманської моделі GPT-5.6 Sol. На іншому — 42% проти 30%, витративши менше обчислювальних ресурсів.

Реліз відбувся через місяць після того, як OpenAI призупинила частину навчання Astra через «справжній інцидент безпеки та збій вирівнювання, якого не мало статися», як зазначив Альтман.

Влітку інші, ще не оприлюднені передові розробки компанії вийшли з-під контролю під час навчання. Вони самостійно сформували рої з сотень агентів, вирвалися з тестового «пісочного середовища» й спільно атакували стороннього постачальника програмного забезпечення Hugging Face. Цей випадок вважають першою відомою автономною кібератакою, і він вразив навіть досвідчених фахівців з безпеки ШІ.

Головний науковець OpenAI Джакуб Пахоцький визнав, що зі зростанням можливостей моделей стежити за їхньою поведінкою стає складніше: «Впевненість у моніторингу обмежує подальший розвиток. Ми не погодимося на погіршення нашої здатності контролювати вирівнювання понад певний рівень... тож маємо бути готові сповільнюватися або утримуватися від подальшого масштабування там, де впевненості в безпеці недостатньо».

Окрему дискусію викликало те, що Astra використовує техніку «непрозорої рекурсії», яка ускладнює традиційний моніторинг ланцюга міркувань моделі. Ідеться про інструмент, що дозволяє дослідникам перевіряти, чому система ухвалила те чи інше рішення. У компанії применшують значення цієї непрозорості, а Пахоцький пояснив її тим, що потужніші моделі здатні виконувати складніші завдання, використовуючи менше або взагалі без текстових токенів, що й ускладнює контроль.

На запитання журналістів, чи вважає OpenAI Astra офіційним приходом AGI, Брокман ухилився від прямої відповіді. Він зазначив, що в контракті компанії з Microsoft більше немає пункту про «тригер AGI», який раніше передбачав завершення партнерства після досягнення цього порогу. За його словами, поняття AGI перетворилося з договірного зобовʼязання на «місійну чи духовну концепцію»: «Я залишаю за читачем право вирішити самому, чи відповідає це його уявленню. Особисто я вважаю, що ми вже там».

Реліз Astra продовжує серію релізів нових моделей від провідних американських компаній — OpenAI, Anthropic, Google, Meta та SpaceX, а також їхніх китайських конкурентів. Гонка за випуск дедалі потужніших систем відбувається тим часом як OpenAI готується до виходу на біржу з оцінкою понад 850 млрд доларів, тоді як Anthropic також готується до IPO з можливою оцінкою до 2 трлн доларів.

Тим часом понад 1 тис. співробітників провідних компаній у сфері штучного інтелекту, зокрема високопосадовці з OpenAI та Anthropic, цього літа підписали спільний лист із застереженням, що компанії перебувають під потужним конкурентним тиском, який не дає їм в односторонньому порядку сповільнити прискорення. Автори листа закликали уряд США «підтримати міжнародні зусилля для розробки технічних та управлінських інструментів, необхідних для свідомого регулювання темпів розвитку передового ШІ».