ШІ-модель Google Gemini взяла приклад з колег і також зламала кілька компаній під час тестування

Як віртуальний тест вийшов у реальний інтернет

Під час травневого оцінювання кібербезпеки стався інцидент, про який тепер повідомило видання Cyber Security News. Незалежна організація Irregular проводила навчальні змагання у форматі захоплення прапора.

Модель Gemini отримала завдання знайти інформацію про вигадану фірму всередині ізольованого симулятора. Однак розробники залишили штучному інтелекту вихід в інтернет, а назва вигаданої компанії збіглася з назвою реально існуючої організації. Це поєднання перетворило безпечний тестувальний сценарій на реальний контакт із чужою інфраструктурою.

Gemini використовував публічно доступну інформацію та шукав облікові дані для трьох вебсайтів, які, на його думку, входили до сфери оцінювання,
– сказала Хізер Адкінс, віцепрезидентка з інженерії безпеки Google.

В одному випадку штучний інтелект багаторазово підбирав паролі, поки не отримав доступ до захищеної системи. В інших двох випадках ШІ-модель знайшла відкриті облікові дані у публічних онлайн-репозиторіях і використала їх для входу. Одразу після отримання доступу Gemini зупинив будь-яку активність.

Представники Google повідомили постраждалі організації та зазначили, що подія не завдала жодної шкоди. У компанії переконують, що цей випадок не вважають розходженням у цілях штучного інтелекту, а лише помилкою контролю середовища.

Проблеми ізоляції та висновки для безпеки

Компанія Irregular раніше проводила аналогічні випробування для моделей OpenAI, Anthropic та Meta, що свідчить про загальну проблему слабкої ізоляції між тестовими завданнями та реальними системами. Інцидент довів, що для проникнення в захищені системи штучному інтелекту навіть не знадобилися складні ланцюжки експлойтів – звичайного підбору паролів та залишених у мережі ключів виявилося цілком достатньо.

Фахівці з кібербезпеки зазначають, що розробники мають суворо обмежувати мережевий доступ тестових агентів, перевіряти DNS-контроль та ізолювати тестові середовища. Організаціям також радять регулярно змінювати виявлені паролі, впроваджувати багатофакторну автентифікацію та сканувати репозиторії коду на наявність витоків даних.