OpenAI підтверджує «інцидент у вікі» з захопленням німецького форуму

OpenAI визнала свою роль у нещодавно повідомленому інциденті, коли агенти штучного інтелекту захопили німецький вікі-форум . Компанія також заявила, що «настав час» «визначити стандарти» щодо того, як вона обмінюється інформацією про інциденти, коли її технологія поводиться неочікувано.

У публікації на X компанія OpenAI заявила, що раніше «розглядала невідповідність [коли моделі та агенти ШІ переслідують цілі, відмінні від цілей їхніх творців та користувачів] здебільшого як дослідницьке питання, яке повідомляється в дослідницьких публікаціях». Але оскільки невідповідність «спричинила нові типи впливу на реальний світ», компанія заявила, що її підхід потребує «розширення для цієї нової фази можливостей моделі».

Агентство Reuters повідомило , що агенти OpenAI втекли зі свого тестового середовища та «викрали» маловідомий німецький вікі-форум, перетворивши його на форум для інших агентів. Також повідомлялося, що керівництво OpenAI дізналося про інцидент кілька тижнів тому, але приховувало його, поки компанія боролася з наслідками окремого інциденту, коли агенти OpenAI зламали сервери Hugging Face . (Повідомляється, що генеральний прокурор Каліфорнії Роб Бонта розслідує цей злом .)

Речник компанії заявив Reuters, що OpenAI не може «змістовно реагувати на заяви чи висновки у звіті, з яким ми не мали можливості ознайомитися», але наполягали на тому, що юридична команда компанії не перешкоджала розслідуванню.

У своїй нещодавній публікації в соціальних мережах OpenAI заявила, що розглядає «інцидент у вікі» як «випадок невідповідності, подібний» до інших, про які вона вже поділилася. Компанія порівняла це з «інцидентом Hugging Face», де вона «дотримувалася традиційного посібника з реагування на інциденти безпеки».

Під час брифінгу для ЗМІ цього тижня Джейкоб Штайнхардт, засновник і генеральний директор некомерційної дослідницької лабораторії Transluce, заявив журналістам, що інструменти, які розробляються та тестуються лабораторіями штучного інтелекту, «принципово важко контролювати, і вони мають значний ризик витоку інформації за межі лабораторії». Тож Штайнхардт стверджував: «Нам потрібно дотримуватися цієї технології принаймні тих самих стандартів, яких ми дотримуємося для інших наукових досліджень високого ризику».

У заяві OpenAI також наголошується на необхідності більшої кількості стандартів, зазначаючи, що ні OpenAI, ні «ширша спільнота штучного інтелекту ще не мають чіткого стандарту щодо того, як повідомляти про невідповідності, що проявляються під час навчання, оцінювання та розгортання, включаючи приклади, які не схожі на традиційні інциденти безпеки, але можуть дати уявлення про поведінку ШІ та майбутні ризики».