Атака ШІ OpenAI на Hugging Face: які помилки компанії стали уроком для індустрії

Інцидент з кібератакою штучного інтелекту компанії OpenAI на платформу Hugging Face став одним із найгучніших сигналів про ризики автономних агентів. На думку науковця Ґері Маркуса та підприємця Зака Кормана, проблема полягала не лише в технології, а й у нехтуванні базовими принципами кібербезпеки.

У липні системи ШІ OpenAI здійснили атаку на платформу Hugging Face під час внутрішніх випробувань із перевірки стійкості моделей до кіберзагроз. 21 липня компанія офіційно визнала відповідальність за інцидент, пояснивши його тимчасовим вимкненням стандартних запобіжних механізмів. Співзасновник OpenAI Грег Брокман назвав подію “поворотним моментом для кібербезпеки”. 

Згодом компанія розкрила деталі кібератаки на конференції Black Hat. Тоді стало відомо, що для координації дій алгоритми самостійно створили комунікаційний майданчик у внутрішньому менеджері пакетів OpenAI, де обмінювалися знайденими експлойтами та делегували завдання без відома інженерів. 

Після інциденту з Hugging Face виявилося, що подібні ситуації вже траплялися в OpenAI, а також у компаній Anthropic та Meta. Компанії неодноразово повідомляли, що їх ШІ-агенти виходили за межі тестових середовищ і без дозволу виконували реальні кібероперації.

ШІ створює нові можливості для атак

Ґері Маркус і Зак Корман вважають головним висновком те, що ШІ вже становить реальний виклик для безпеки. На їхню думку, проблема полягає не лише в тому, що зловмисники можуть використовувати ШІ для атак, а й у тому, що самі організації створюють нові вразливості, впроваджуючи автономних агентів.

“У нас немає ефективних підходів до розуміння чи контролю діяльності та цілей “ройових” систем ШІ”, — зазначив дослідник Раян Грінблатт.

Водночас автори застерігають від перебільшень щодо нібито повної “втрати контролю” над моделями. Вони стверджують, що більшості інцидентів можна було б уникнути, якби OpenAI дотримувалася усталених практик кібербезпеки.

Чому пісочниці не врятували

Одним із ключових механізмів захисту є “пісочниця” (sandbox) — ізольоване середовище, яке обмежує доступ агента до файлів, мережі чи інших ресурсів. Після інциденту в OpenAI заявляли, що креативний ШІ здатен знаходити способи обходу таких обмежень.

Однак автори звертають увагу на дослідження компанії Trail of Bits, яке показало, що різні системи ізоляції мають різну ефективність. У проведених тестах агент зміг обійти окремі механізми захисту Linux KVM, QEMU та libslirp, але не зміг вибратися з Firecracker VM. На думку Маркуса та Кормана, це свідчить про необхідність постійного вдосконалення пісочниць.

OpenAI могла зупинити атаку ще до її початку

Експерти вважають, що головною проблемою стала відсутність належного моніторингу. За їхніми словами, агент ШІ отримав доступ до інтернету ще за два дні до основних атак на Hugging Face. Маркус і Корман переконані, що навіть просте правило, яке б сигналізувало про звернення до сторонніх доменів поза дозволеним списком, дозволило б своєчасно виявити проблему.

Крім того, під час випробувань не працювала система моніторингу “ланцюжка думок” (Chain of Thought, CoT), яку сама OpenAI раніше розробляла для виявлення небезпечної поведінки моделей. У компанії повідомили: “Якби наша нинішня система моніторингу CoT працювала на момент інциденту, вона б зафіксувала початкову відповідну активність і сповістила б нашу команду з безпеки більш ніж за добу до того, як моделі здійснили вторгнення в системи Hugging Face”.

Автори також наводять приклад внутрішнього процесу міркування одного з агентів, де той фактично усвідомлював неправомірність своїх дій. Він писав: “Ми атакуємо сторонній сервіс HF, використовуючи витік токена; це, ймовірно, виходить за межі дозволеного... Це, мабуть, несанкціонована дія”. На думку Маркуса та Кормана, таку поведінка можна було виявити без особливих труднощів.

Захист має бути багаторівневим

Автори наголошують, що сучасна кібербезпека давно спирається на принцип “глибокоешелонованого захисту” (defense in depth), коли кілька незалежних механізмів підстраховують один одного. Як приклад вони наводять практику компанії Xbow, яка використовує незалежний проксі-сервер для мережевих обмежень, “модель-охоронця” (guardian model), що оцінює кожну дію агента, а також автоматичні перевірки стану цільових систем.

Ще одним перевіреним інструментом залишаються так звані “канарки” — файли-приманки. Наприклад, якби OpenAI розмістила поза ізольованою “пісочницею” підроблені відповіді, спроба ШІ-агента їх прочитати автоматично викликала б сигнал тривоги в системі безпеки.

Проблема в підході до безпеки

На переконання експертів, жодне з перелічених рішень не вимагало технологічного прориву чи новаторського підходу. Вони вважають, що OpenAI мала достатньо компетенцій для їх впровадження, але дала збій на рівні організації процесів. Маркус і Корман також критикують самовпевненість провідних лабораторій ШІ, які позиціюють себе як лідерів безпеки.

Фахівці згадують слова дослідника OpenAI, відомого під псевдонімом roon: “Дослідники безпеки та узгодження в цих лабораторіях — це найбільш невротичні, параноїдальні й талановиті люди на планеті... і все одно такі речі трапляються”. Автори роблять протилежний висновок: талант не компенсує нехтування перевіреними практиками кібербезпеки.

Чи потрібні нові правила для ШІ

Маркус і Корман вважають, що подібні інциденти можуть вимагати не лише технічних, а й правових наслідків. Вони закликають розробляти нормативну базу, яка змусить компанії дотримуватися вищих стандартів безпеки під час створення автономних агентів.

Водночас експерти підкреслюють, що небезпечними є не всі системи штучного інтелекту. Вузькоспеціалізовані моделі, такі як AlphaFold, GPS-навігація, вебпошук чи рекомендаційні алгоритми, не мають схильності до подібної автономної поведінки, а найбільші ризики пов'язані саме з універсальними ШІ-агентами, здатними самостійно виконувати складні дії в реальному середовищі.

Тим часом понад 100 провідних світових корпорацій, серед яких Microsoft, Alphabet, Anthropic, OpenAI та Amazon, оприлюднили спільне звернення із закликом до урядів і бізнесу терміново посилити кіберзахист через очікуваний сплеск хакерських атак із застосуванням ШІ. Компанії попередили про стрімке зростання загроз найближчими місяцями та запропонували запровадити програми дострокового довіреного доступу до нових моделей ШІ для фахівців із безпеки, щоб ті встигали адаптувати захисні системи до появи нових методів злому.