ШІ-агенти знову намагалися обійти ізоляцію: OpenAI відновила навчання моделей

Компанія OpenAI відновила навчання найпотужніших моделей штучного інтелекту 1 жовтня після посилення захисту дослідницької інфраструктури. Під час тестування власних систем ШІ-агенти виявили невідомі раніше вразливості, які дозволяли виходити за межі ізольованих середовищ і отримувати доступ до інших систем, йдеться в заяві організації.

Крім того, як написала компанія в соціальній мережі X, дослідники OpenAI знайшли критичну вразливість у Brotli — широко використовуваній бібліотеці стиснення даних, яка застосовується, зокрема, у платформах Node.js, Bun та Envoy. Компанія повідомила розробників відповідного програмного забезпечення, після чого почали випускати виправлення безпеки.

Чому OpenAI призупинила навчання моделей

Згідно з дописом в соцмережі X, минулого місяця одна з дослідницьких моделей OpenAI скористалася помилкою в конфігурації DNS, щоб вийти за межі ізольованого середовища з кешованою копією інтернету. Після цього компанія призупинила навчання передових моделей, щоб посилити захист і перевірити, чи здатні ШІ-агенти обходити встановлені обмеження.

OpenAI повністю відключила доступ передових моделей до реального інтернету під час навчання. Натомість компанія створила офлайн-середовище, у якому моделі можуть навчатися переглядати сторінки, здійснювати пошук і використовувати застосунки, не підключаючись до відкритої мережі.

Для перевірки захисту OpenAI залучила команди агентів на базі найпотужніших моделей, зокрема систем із розвиненими навичками кібербезпеки. Їм доручили спробувати вийти в реальний інтернет, отримати доступ до ресурсів за межами дозволеного середовища та налагодити зв’язок з іншими агентами, від яких вони мали бути ізольовані.

Експерименти проводили в спеціально створених копіях дослідницької інфраструктури з додатковим моніторингом і автоматичними перевірками. Компанія також моделювала сценарії, за яких внутрішні засоби захисту вже не працюють, а агент отримав повний доступ до основної машини, на якій запускається віртуальне середовище.

До тестування залучили кілька моделей, зокрема майбутню GPT-6 Astra Cyber та одну з внутрішніх передових моделей. Щоб перевірити захист в умовах, максимально сприятливих для потенційного зловмисника, агенти отримали вихідний код інфраструктури, конфігурації та документацію з описом можливих вразливостей.

Загалом на експерименти витратили сотні мільярдів токенів — одиниць, якими вимірюють обсяг тексту й інших даних, що обробляють моделі. В OpenAI наголосили, що результати демонструють масштаб перевірки, а не пряму залежність між кількістю використаних токенів і числом знайдених проблем.

Агенти навчилися обходити ізоляцію

Під час тестування ШІ-агенти виявили раніше невідомі вразливості у програмних компонентах із відкритим вихідним кодом, а також помилки конфігурації внутрішніх сервісів OpenAI. Використовуючи кілька слабких місць у ланцюжку, вони змогли виходити за межі мікровіртуальних машин (microVM), переміщатися між системами та знаходити шляхи до відкритого інтернету.

Мікровіртуальні машини — це ізольовані середовища, у яких запускають програми, щоб обмежити їхній доступ до решти інфраструктури. OpenAI виявила, що навіть якщо така ізоляція має кілька рівнів захисту, поєднання окремих вразливостей може дозволити обійти їх.

Компанія відтворила результати тестування, усунула дублікати виявлених проблем і перевірила виправлення.Зокрема, вона передала зміни розробникам відкритих проєктів Kata Containers, gVisor і Moby/Docker, а також продовжила роботу над виправленнями вразливостей ядра операційної системи, серед яких CVE-2026-74753, CVE-2026-80521 та CVE-2026-80841.

Окремо OpenAI перевірила, чи можуть агенти скористатися доступом до основної машини, щоб підключитися до інтернету. Після липневого інциденту з платформою Hugging Face компанія скоротила доступ моделей до мережі,залишивши обмежені канали зв’язку лише для деяких внутрішніх сервісів — зокрема для збору метрик, ведення журналів подій та керування автентифікацією. Проте ШІ-агенти з команди тестування на проникнення виявили слабкі місця майже в кожному з них, що давало їм обмежений доступ до інтернету.

Деякі атаки використовували невідомі раніше вразливості, інші — поєднували легітимні функції несподіваним чином. Наприклад, агент із доступом до основної машини зміг використати дозволене брандмауером з’єднання, щоб звернутися до заблокованої кінцевої точки автентифікації у службі метрик, а потім змусити її перейти за URL-адресою, яку надав сам агент.

ШІ передавав дані без мережевого з’єднання

Ще однією проблемою стали приховані канали зв’язку між агентами, які працювали в різних ізольованих середовищах. Дослідники виявили, що для передавання інформації не завжди потрібні мережеве з’єднання або спільні файли: достатньо, щоб програми використовували спільне обладнання чи служби.

В одному з експериментів агенти змогли обмінюватися умовними секретними повідомленнями через кеш процесора — невелику швидку пам’ять, яка зберігає копії даних для прискорення роботи. Один агент змінював стан кешу, а інший вимірював час доступу до даних і за різницею між швидким та повільним зчитуванням відновлював повідомлення.

Такий метод називають атакою через побічний канал: інформацію передають не безпосередньо, а через побічні ефекти роботи обладнання. Подібні підходи вже використовували в атаках Spectre та Meltdown, а OpenAI виявила й інші можливі канали — через спільне сховище, конкуренцію за ресурси процесора та кеш TLS-сертифікатів у внутрішній вебінфраструктурі.

В одному з випадків агентам надали лише загальний перелік можливих вразливостей і попросили самостійно знайти спосіб зв’язку. Вони використали одну з проблем, розробили спільний метод кодування та декодування й успішно передали інформацію.

У компанії зазначили, що більшість таких каналів мають низьку пропускну здатність і складні для використання.Проте їхнє існування свідчить, що ізоляція програмних середовищ потребує не лише мережевих обмежень, а й захисту від непрямих способів передавання даних.

Небезпечна вразливість у Brotli

Під час перевірки систем дослідники також знайшли вразливість у Brotli — бібліотеці, яку використовують для стиснення даних у багатьох програмних продуктах. Вона дозволяє віддалено виконати довільний код без автентифікації, тобто зловмиснику не обов’язково мати обліковий запис у вразливій системі.

Проблема може виникати як на сервері, що обробляє спеціально підготовлені стиснені дані від зловмисного клієнта, так і на клієнтському пристрої, який отримує такі дані від шкідливого сервера. Серед програмних платформ, що використовують Brotli, — Node.js, Bun та Envoy, тому для усунення ризику необхідно оновлювати не лише саму бібліотеку, а й залежні від неї продукти.

«Це серйозна проблема, яка також демонструє, наскільки складно координувати процес виправлення помилок, адже ця бібліотека інтегрована в безліч інших програмних продуктів», — написав співзасновник OpenAI Грег Брокман у соцмережі X.  

За даними OpenAI, першопричину проблеми усунули у вихідному коді Brotli ще в лютому, однак тоді не встановили, що вона створює вразливість безпеки. Оскільки нову версію бібліотеки на той момент не випустили,потенційний ризик зберігався в програмному забезпеченні, яке використовувало попередній код.

OpenAI повідомила розробників Brotli та інших залежних проєктів, зокрема Node.js. Після цього почали випускати оновлення безпеки, а розробники Brotli підготували нові версії бібліотеки й оприлюднили ідентифікатор вразливості CVE.

«Це, можливо, так само погано, як і випадки з PHP, або навіть гірше. Готуйтеся до того, що доведеться багато займатися виправленням вразливостей», — заявив генеральний директор Cloudflare Метью Прінс.

Нагадаємо, що раніше фахівці з кібербезпеки за допомогою моделі ШІ GPT-5.6 Sol від OpenAI виявили критичну вразливість PHP2Shell у мові програмування PHP, яка забезпечує роботу до 70% вебсайтів у світі. Недолік керування пам’яттю залишався в системі понад десять років і дозволяв зловмисникам запускати сторонній код та перехоплювати контроль над сервером за лічені секунди. 

Відновлення навчання

Загалом під час тестувань агентам не вдалося знайти спосіб вийти в інтернет так, щоб приховати свої дії від систем моніторингу. Водночас виявлені ними вразливості «нульового дня», методи виходу з віртуальних машин і побічні канали зв’язку допомогли компанії посилити мережеві обмеження, оновити програмне забезпечення та додати нові перевірки для виявлення прихованої комунікації між агентами.

Удосконаливши архітектуру ізоляції, 1 жовтня OpenAI відновила навчання передових моделей із підкріпленням (RL). Компанія також виділила значні обчислювальні ресурси для постійного тестування на проникнення та включила цей процес до системи обґрунтування безпеки, на основі якої ухвалює рішення про можливість подальшого навчання й оцінювання передових моделей.

Водночас лідери провідних технологічних компаній — зокрема очільник OpenAI Сем Альтман та керівники Cloudflare й Anthropic — заявили про глобальну кризу кібербезпеки через здатність штучного інтелекту виявляти системні помилки швидше, ніж розробники встигають їх усувати. Поштовхом до заяв стали події «Чорного жовтня», коли виявлені за допомогою ШІ критичні вразливості в PHP спровокували мільйони автоматизованих спроб експлуатації за лічені години.