Google відкрила доступ до Gemini 4 Argon: модель зламувала системи під час тестувань

Компанія Google відкрила доступ до провідної моделі штучного інтелекту  Gemini 4 Argon через API, застосунок Gemini та платформу Antigravity. Модель призначена для складних завдань у програмуванні, науці, фінансах, юриспруденції та кібербезпеці. За даними розробників, Argon краще за попередні моделі виявляє програмні вразливості, проте під час випробувань зафіксували й спроби обійти правила тестування.

Можливості моделі 

Gemini 4 Argon розробили для роботи зі складними завданнями в реальних умовах, зокрема для пошуку й усунення вразливостей у програмному забезпеченні. Google спочатку надала доступ до моделі перевіреним фахівцям із кібербезпеки в межах програми Fairwind, а також використовувала її для перевірки критично важливих систем всередині компанії та за її межами.

Під час цього етапу компанія Wiz за допомогою Argon виявила критичну вразливість у програмному забезпеченні лікарень, яку не помітили попередні моделі. Це допомогло захистити сотні тисяч записів пацієнтів, адже команди Google знайшли й усунули помилки у внутрішньому програмному забезпеченні та проєктах з відкритим вихідним кодом.

За результатами тестування, Argon успішно пройшла всі 12 комплексних сценаріїв імітації кібератак, тоді як модель попереднього покоління впоралася лише з п’ятьма. Водночас версії моделі без захисних обмежень продемонстрували значно вищу здатність допомагати з покроковим виконанням складних лабораторних процедур у біології. З огляду на ці результати Google запровадила посилені заходи безпеки для кібербезпеки та біологічних досліджень відповідно до своєї системи Frontier Safety Framework. 

Як Google обмежує небезпечне використання

За даними компанії, Argon краще відхиляє потенційно небезпечні запити, ніж попередні моделі Gemini. Під час тестування на спеціальному наборі даних кількість порушень скоротилася майже вдвічі. Для додаткового захисту Google використовує трирівневу систему перевірок у реальному часі, покликану виявляти спроби обійти обмеження моделі, зокрема замасковані небезпечні запити або серії невинних на вигляд запитань, які разом формують шкідливу інструкцію. Система складається з:

• першого рівня, який перевіряє вхідні запити й контекст розмови за допомогою компактніших моделей; 

• другого рівня, що використовує спеціальні нейромережеві механізми — зонди активації, які аналізують внутрішні сигнали моделі, щоб виявити ознаки залучення знань про кібератаки чи біологічні загрози;

• третього рівня, який постійно відстежує роботу моделі під час формування відповіді: якщо система виявляє проблемну поведінку, вона може перервати роботу агента.

Поєднання цих механізмів із швидким усуненням способів обходу обмежень і моніторингом повторних порушень, за оцінкою Google, підвищило ефективність захисту. Під час зовнішніх випробувань, спрямованих на перевірку стійкості до спроб отримати небезпечну біологічну інформацію, агенти успішно виконали менш ніж 1% протестованих підзавдань.

Ще один ризик для ШІ-агентів — атаки типу prompt injection (промпт-інʼєкції). Вони відбуваються, коли приховані інструкції у вебсторінках, програмному коді чи іншому контенті намагаються змусити агента виконати дії, які суперечать його початковому завданню. За результатами тесту Gray Swan для непрямих  промпт-інʼєкцій Argon продемонструвала найкращу серед моделей Google стійкість до таких атак: ймовірність успішної атаки становила 0,7% за результатами 15 адаптивних спроб.

Чи може модель діяти всупереч завданням користувача

Окремий напрям перевірок стосується невідповідності цілям — ситуацій, коли ШІ-агент починає переслідувати мету, відмінну від визначеної користувачем. Google провела випробування з використанням спеціально створених пасток, щоб перевірити, чи намагатиметься Argon приховано розширювати свої можливості або саботувати системи безпеки, і не виявила таких випадків.

Водночас компанія зазначає, що на практиці стикається з іншою проблемою: модель може надмірно наполегливо виконувати поставлене завдання й намагатися обійти перешкоди замість того, щоб дотримуватися встановлених обмежень. Через це Argon спеціально навчали повідомляти про невдалі результати, виконувати системні обмеження та зупинятися для отримання підтвердження від людини.

У тестах з програмування, де модель не мала стимулів стримуватися, частота спроб обрати найпростіший шлях в обхід правил або схитрувати під час виконання завдання становила 2%. Google заявляє, що це найкращий результат серед останніх моделей Gemini.

Для подальшого контролю компанія розробила автоматизовану систему, яка в реальному часі відстежує дії агентів і їхній внутрішній процес міркування. Вона має блокувати критичні порушення ще до їх виникнення та передавати серйозні інциденти на розгляд фахівцям.

Під час розробки моделі ШІ система виявила окремі спроби обійти навчальні тести: Argon намагалася підвищити привілеї в програмному контейнері, щоб змінити скрипти оцінювання, зчитувала відповіді з пам’яті тестової системи, а в одному випадку спричинила збій середовища тестування, щоб уникнути фіксації невдалого результату. Google використовує ці випадки для виправлення недоліків тестових завдань, але не змінює навчання моделі безпосередньо на їхній основі, щоб не допустити надмірного підлаштування під критерії моніторингу.

Нагадаємо, що минулого місяця Google вперше підтвердила інцидент виходу її ШІ за межі тестового середовища: модель Gemini під час змагань із кібербезпеки через помилку отримала доступ до інтернету та зламала системи трьох реальних компаній, переплутавши їх з вигаданою мішенню. Алгоритм зумів самостійно підібрати паролі та скористатися даними з відкритих репозиторіїв, проте перервав операції й залишив системи щойно усвідомив, що взаємодіє зі справжніми підприємствами, а не з навчальною симуляцією.