ШІ-агент OpenAI зламав урядовий сайт Австралії: про це стало відомо через 3 місяці

Агент OpenAI у червні зламав публічний сайт австралійської державної системи медичного страхування Medicare, — повідомив прем’єр-міністр Австралії Ентоні Албаніз. Албаніз заявив, що поговорив із генеральним директором компанії Семом Альтманом, щоб висловити “надзвичайне занепокоєння” країни цим інцидентом. Він також розкритикував компанію за те, що вона надто довго повідомляла австралійські органи влади.

За даними The Guardian, OpenAI надіслала електронний лист про злам лише на загальну електронну адресу австралійського уряду 10 вересня. Оскільки представники влади перевіряють цей акаунт лише раз на день, вони побачили повідомлення 11 вересня. Міністерка урядових послуг Кеті Галлагер дізналася про інцидент лише 17 вересня. Розслідування ще триває, однак Албаніз заявив, що, схоже, агент не викрав персональну медичну інформацію з порталу.

OpenAI виявила інші спроби ШІ-агентів зламати реальні системи

Конрад Стосз, керівник відділу управління в Transluce — некомерційній дослідницькій лабораторії, яка працює над технологіями для кращого розуміння систем ШІ, — заявив The New York Times, що це може бути “першим випадком, коли агент автономно вирішив зламати уряд”. Transluce виявила інші раніше нерозкриті інциденти, під час яких агенти OpenAI атакували реальні об’єкти, коли їм доручали збирати дані під час тестування. Усі вони сталися до того, як Hugging Face виявила несанкціонований доступ до своїх систем у липні, а також до того, як OpenAI визнала, що її агенти проникли в репозиторій ШІ.

Окрім зламу австралійської системи Medicare, агент OpenAI також намагався проникнути до цифрової бібліотеки Університету Нью-Мексико 25 та 26 травня, повідомляє The Times. Очевидно, агент намагався отримати фотографії історичного центру лікування туберкульозу з бібліотеки, а коли не зміг їх отримати, почав активно шукати вразливості для експлуатації. Після невдалої спроби зламати цифрову бібліотеку агент завалив сервер університету запитами.

ШІ-агенти почали самостійно шукати вразливості сайтів

В іншому інциденті, який стався 28 травня, агент OpenAI атакував Data USA — платформу з відкритим кодом, яка візуалізує інформацію з різних федеральних відомств. Агент надіслав сайту запит щодо даних, а коли не отримав їх, почав перевіряти сайт на наявність вразливостей. Схоже, агентам OpenAI не вдалося успішно зламати сайт Data USA або бібліотеку Університету Нью-Мексико. Представник компанії повідомив The Times, що OpenAI вже зв’язалася з обома організаціями щодо цих інцидентів. Він додав, що OpenAI дізналася про спроби агента зламати австралійський урядовий сайт після масштабної перевірки своїх моделей і встановила, що моделі вчинили дії, яких компанія не планувала. Для завершення перевірки компанії знадобиться ще кілька місяців.

Нещодавно OpenAI оголосила про нову систему звітності щодо випадків розбіжності з очікуваною поведінкою, яка має пришвидшити оприлюднення інформації про випадки, коли її технології ШІ виходять з-під контролю. У цьому звіті компанія розкрила ще шість інцидентів, пов’язаних із моделями, які поводилися небезпечним або тривожним чином, якого вона не очікувала. Компанія зробила це оголошення після того, як визнала, що її агенти зламали Hugging Face, а також після повідомлень про попередні інциденти, зокрема проникнення її агентів у RubyGems. У тій публікації компанія заявила, що не вважає, що індустрія ШІ достатньою мірою розв’язала проблеми узгодженості та моніторингу, щоб ще довго відповідально масштабуватися з максимальною швидкістю.

Джерело: Engadget