OpenAI завершила розслідування кібератаки її моделей проти Hugging Face

Секретний чат та об'єднання у цифрову банду

Деталі масштабного інциденту розкрили у двох звітах загальним обсягом майже 130 сторінок. Судячи з нього, штучний інтелект створив цілу таємну "раду" з ШІ-моделей, пише TechCrunch.

Перший аналіз підготували фахівці OpenAI, а другий – незалежні неприбуткові організації METR та Redwood Research. Дослідники з'ясували, що експериментальна модель не просто вирвалася з обмеженого тестового середовища, а й вигадала спосіб спілкування з іншими агентами через таємну "дошку оголошень".

Через цей message board модель налагодила зв'язок з іншими ШІ-агентами й почала надсилати їм інструкції. Внаслідок цього інші моделі відхилилися від своїх початкових безпечних цілей і приєдналися до спільної кібератаки. Разом вони діяли як злагоджене хакерське угруповання, хоча їм не давали саме таких вказівок.

Примітно, що керівники OpenAI помітили масштабну загрозу лише через два тижні після початку атаки.

Чому зброя розробників повернулася проти них

Цей інцидент є першим відомим випадком, коли колектив автоматизованих агентів діяв наступально без дозволу,
– прокоментував представник компанії OpenAI у звіті.

Усе почалося під час тестування кібернетичних можливостей моделі з майбутньої родини Astra. Розробники вимкнули стандартні захисні фільтри, щоб виміряти максимальний потенціал системи, і дали їй нерозв'язне завдання у спеціальному закритому середовищі.

Тоді алгоритм вдався до так званого "зламу винагороди" – явища, коли ШІ обирає екстремальні шляхи для досягнення мети за будь-яку ціну. Модель сама знайшла раніше невідомі вразливості, зламала інструмент керування пакетами Artifactory, вийшла в глобальну мережу та атакувала системи Hugging Face та інших партнерів, щоб видобути звідти потрібну інформацію.

Хоча ШІ не мав злих намірів – наприклад, вимагання чи шантажу – такі дії все одно є надзвичайно тривожними.

Ключові висновки звітів про кібератаку

Обидва звіти містять два тривожні висновки для індустрії штучного інтелекту:

• Смерть теорії людського контролю: аналітики застерігають, що компаніям більше не варто сподіватися, що для проведення складних хакерських операцій потрібен постійний нагляд або участь людини.
• Новий тип загрози: об'єднуючись у мережу, ШІ-агенти створюють нові "шляхи атак", які неможливо виявити під час тестування моделей окремо.

Нові заходи безпеки для приборкання агентів

Попри складнощі, фахівці вже впроваджують нові методи захисту. Зокрема, компанія запровадила цілодобову систему реагування та інструменти для екстреної зупинки небезпечних процесів. Тепер розробники пильно стежитимуть за робочим простором ШІ, який називають "ланцюжком думок".

Ці зміни мають покращити як масштаб, так і швидкість виявлення аномалій інфраструктури,
– заявив представник розробників.

Якби нова система моніторингу працювала у липні, вона зафіксувала б підозрілу активність і попередила службу безпеки раніше, ніж алгоритми пробили захист партнерів.