Тести безпеки штучного інтелекту самовільно хакнули кілька авторитетних інтернет-ресурсів

Протягом останніх кількох місяців агенти штучного інтелекту, які проходили оцінку кібербезпеки, виходили за межі дозволеного, мали доступ до Інтернету та, в деяких випадках, зламували реальні системи. Інциденти стосувалися моделей OpenAI, Anthropic, Meta та, нещодавно, китайської лабораторії штучного інтелекту Moonshot AI, а тестування проводили кілька різних організацій, включаючи стартап з кібероцінки під назвою Irregular. 

Ці епізоди викривають зростаючу проблему для індустрії штучного інтелекту: оскільки автономні агенти стають більш потужними, середовища, розроблені для безпечного тестування їхніх меж, не справляються з їх стримуванням. 

«Кількість цих інцидентів, що сталися, чітко показує, що засоби контролю пісочниці та тестового середовища насправді не встигають за можливостями моделей», – сказав TechCrunch Шон О'ейгертей, директор програми «Штучний інтелект: майбутнє та відповідальність» у Центрі майбутнього інтелекту Кембриджського університету. 

Характер моделей, що тестуються, збільшує ризик. Компанії, що займаються штучним інтелектом, тестують кібероцінки на неопублікованих моделях наступного покоління, часто з вимкненими звичайними засобами захисту, що обмежують шкідливу поведінку, щоб дослідники могли побачити, на що насправді здатні моделі. Це означає, що безпека самого середовища тестування є вирішальною лінією захисту. 

«Це дуже добре з точки зору тестування, але це також означає, що якщо їм вдасться вибратися в дику природу, вони можуть завдати значної шкоди», – сказав О'Хейгертейг. 

В одному з найсерйозніших випадків неопублікована модель OpenAI вирвалася зі своєї пісочниці та зламала виробничі системи Hugging Face. В окремих оцінках, проведених Irregular, моделі Anthropic та Meta досягли систем поза межами своїх тестових середовищ після того, як неправильні конфігурації ненавмисно дали їм шляхи до Інтернету. Kimi K3 від Moonshot AI також скористався витоком у своїй пісочниці, що використовується Frontier Security, для доступу до Інтернету та отримав доступ до інформації на GitHub. 

Під час тестування, проведеного Інститутом безпеки штучного інтелекту (AISI) Великої Британії , дослідники фактично надали агентам доступ до Інтернету, не усвідомлюючи, що вони вчинять несанкціоновані дії в реальному світі, включаючи спробу соціальної інженерії, щоб прокрасти вразливість у проект з відкритим кодом.  

Загалом, Ендрю Юн, керівник досліджень некомерційної організації зі штучного інтелекту CivAI, стверджує, що ці інциденти вказують на певні зміни. 

«У минулому нам доводилося турбуватися лише про те, що моделі штучного інтелекту будуть неправильно використовуватися людьми для різних цілей, наприклад, для шахрайства чи CSAM», – сказав Юн TechCrunch. «Зараз ми опинилися в ситуації, коли моделі штучного інтелекту самі по собі є загрозами».

Як насправді виглядає безпечне тестування?

Кілька дослідників та експертів з кібербезпеки повідомили TechCrunch, що середовища оцінки штучного інтелекту потребують сильнішого, глибокого захисту, з рівнями стримування та контролю, що наближаються до тих, що використовуються під час розгортання. Це означає кілька рівнів безпеки, щоб одна неправильна конфігурація, наприклад, випадкове залишення доступу до Інтернету відкритим, не могла призвести до втечі. 

«Якщо ви збираєтеся створювати ці моделі… ви хочете робити це в мережі з повітряним проміжком», — Стелла Бідерман, виконавчий директор некомерційної організації з дослідження безпеки штучного інтелекту EleutherAI. «Вам потрібна дуже серйозна ізоляція».

Гізер Цейлан, головний спеціаліст з інформаційної безпеки Box, сказала, що це означає ліквідацію мережевих маршрутів від пісочниці до Інтернету, а також до інших чутливих систем.

«Ви повинні розуміти, які всі точки виходу», – сказав Цейлан TechCrunch. «Якщо ми оцінюємо модель у нашому тестовому середовищі або середовищі розробки, вам не потрібен шлях виходу до нашого виробничого середовища».

Джейлан зазначив, що належна оцінка безпеки виходить за рамки контролю та стримування навколишнього середовища. Потрібен набагато кращий моніторинг випробувань після їх початку. 

«Я думаю, що найцікавіше в кількох із цих випадків те, що ніхто не помітив цього, коли це сталося», – сказав Цейланд. «OpenAI дізнався про це завдяки Hugging Face. Anthropic не помітив цього, доки не повернувся і не подивився. З Meta було щось подібне… Я впевнений, що були сигнали, які вони могли виявити».

У своєму аналізі трьох інцидентів, проведеному Anthropic, компанія визнала, що і вона, і Irregular могли б краще виконувати моніторинг, і що в деяких випадках були чіткі ознаки того, що щось не так. 

Експерти також закликали до проведення незалежних аудитів середовищ оцінювання сторонніми організаціями, перш ніж у них будуть впроваджені моделі.

«Якби, скажімо, Irregular найняла або була змушена найняти зовнішнього аудитора для перевірки конфігурації своїх систем перед проведенням оцінки, вони б точно помітили проблему тут», – сказав Юн. «Навіть якби люди заздалегідь зустрілися, щоб просто розглянути контрольний список, вони б це помітили… Той факт, що вони цього не зробили, показує, що відбувається дуже серйозна економія».

Джерело, знайоме з деталями, повідомило TechCrunch, що середовища Irregular постійно перевіряються та тестуються, зокрема у консультаціях з кількома зовнішніми сторонами. Джерело також зазначило, що моніторинг здійснюється, але самого моніторингу недостатньо. 

Юн та інші дослідники закликали галузь розробити стандартизований процес оцінки безпеки моделей на межі можливостей. 

«Особливо коли захисні огорожі зняті, до цього потрібно ставитися так, ніби ви поміщаєте найздібнішого хакера у світі всередину цього середовища», – сказав Джейлан.

Проблема не в тому, що компанії не знають, як створити безпечніші середовища тестування, стверджують і Юн, і Бідерман. Річ у тому, що це може бути дорого та громіздко, і компанії мають мало стимулів робити ці інвестиції, поки щось не піде не так. 

«Я думаю, що компанії не бажають виділяти ресурси, необхідні для досягнення [достатніх захисних заходів], і, ймовірно, не зроблять цього, доки їх не змусять», – сказав Бідерман.

Але є ще одна проблема. Якщо вони занадто жорстко заблокують модель під час тестування, дослідники можуть не виявити можливості до випуску моделі. Це так само небезпечно, можливо, навіть більше, ніж надання їй занадто великої свободи, і тоді сама оцінка ризикує стати проблемою. 

Чи можна регулювати оцінки безпеки?

Адміністрація Трампа зараз розглядає добровільний режим оцінки кібербезпеки перед розгортанням, згідно з яким уряд матиме право оцінювати ризики безпеки нових, потужних моделей за 30 днів до їх публічного випуску. Ця політика — продукт виконавчого розпорядження Трампа , яке було остаточно узгоджено за зачиненими дверима — не враховуватиме інциденти оцінки безпеки, оскільки вони трапляються пізніше перед розгортанням. 

«Урок, який ми засвоїли за останні кілька місяців, полягає в тому, що апарату саморегулювання вже просто недостатньо», – сказав Юн. «Існує конкурентний тиск, який стимулює гонку за найнижчими стандартами безпеки, і це ідеальне місце для втручання регуляторних органів». 

«Нам потрібно було б забезпечити певний контроль над тим, що відбувається в лабораторіях під час розробки моделей, як на етапі навчання, так і на етапі тестування», – продовжив він. 

Проблема, ймовірно, лише зростатиме разом із моделями. Джерело, знайоме з оцінками Irregular, повідомило TechCrunch, що більш потужні моделі потребують складніших оцінок, які часто проводяться швидко та у більшому масштабі, що відкриває шлях для більшої кількості помилок. 

AISI, яка навмисно надає деяким моделям доступ до Інтернету, повідомила TechCrunch, що переглядає баланс між реалістичним тестуванням та управлінням ризиками, які ці тести створюють. 

OpenAI заявила, що переглядає методи проведення стороннього тестування, а також вимоги щодо ізоляції, моніторингу та припинення оцінювання. Meta заявила, що все ще розслідує інцидент і планує опублікувати ретроспективу, як тільки отримає всі факти. 

Зрештою, повністю усунути ризик може бути неможливо. Оскільки моделі стають більш потужними, середовища, що їх тестують, повинні ставати більш надійними. Наслідки таких помилок лише посилюватимуться.