Claude допоміг дослідникам проникнути в систему OpenAI та дістатися GitHub

Троє дослідників із невеликої компанії з кібербезпеки Hacktron AI виявили вразливість у системі, яку OpenAI використовувала для свого спільноти-форуму. Його роботу забезпечує стороння платформа Discourse. Про це пише ARStechnica.

Як дослідникам вдалося проникнути в OpenAI?

Дослідники діяли в межах програми пошуку вразливостей OpenAI. Компанія заплатила їм 6 500 доларів за проведену роботу – так звані bug bounty-програми дозволяють технологічним компаніям залучати етичних хакерів для пошуку проблем у системах ще до того, як ними скористаються зловмисники.

Використовуючи знайдену слабкість у конфігурації форуму, дослідники змогли отримати доступ до внутрішніх систем авторизації. Звідти вони поступово дісталися до облікового запису одного зі співробітників OpenAI у ChatGPT.

Цей обліковий запис виявився особливо цінним, оскільки мав доступ до внутрішнього програмного коду компанії через GitHub. У результаті дослідники змогли прочитати приватну інформацію про програмне забезпечення та навіть пропонувати зміни до нього.

Таким чином, атака не передбачала прямого злому основної інфраструктури OpenAI одним кроком. Ланцюжок починався з уразливості стороннього сервісу, після чого дослідники змогли перейти до внутрішніх систем авторизації та облікового запису співробітника, який мав доступ до корпоративного коду.

OpenAI підтвердила, що отримала інформацію про проблему та вже виправила виявлені вразливості. "Ми дякуємо дослідникам за те, що вони зв'язалися з нами та поділилися своїми висновками", – заявили в OpenAI. Anthropic від коментарів відмовилася, а Hacktron AI на момент публікації не відповіла на запит.

Де тут роль Claude?

Особливість цієї історії полягає в тому, що дослідники використовували не інструменти OpenAI, а програмне забезпечення головного конкурента компанії – Anthropic.

Дослідники отримали доступ до спеціального інструменту Anthropic, призначеного для фахівців із кібербезпеки. Його надали саме для пошуку потенційних вразливостей, а робота проходила в межах програми, покликаної виявляти проблеми до того, як ними зможуть скористатися зловмисники.

За даними Financial Times, саме цей інструмент допоміг дослідникам швидко провести атаку на інфраструктуру OpenAI та дістатися облікового запису її працівника.

Історія показує важливу особливість сучасних AI-систем. Вони дедалі активніше використовуються не лише як помічники для написання текстів або програмного коду, а й у кібербезпеці, де можуть виконувати значну частину роботи з пошуку та використання вразливостей.

Водночас у цьому випадку йшлося про санкціоноване дослідження. Дослідники отримали дозвіл працювати в межах програми OpenAI та були винагороджені за виявлену проблему.

Чому цей випадок привернув увагу до безпеки AI-компаній?

Розкриття інформації про атаку відбулося на тлі ширших дискусій щодо того, наскільки сучасні моделі штучного інтелекту здатні самостійно проводити кібероперації.

За даними Financial Times, інцидент стався приблизно через два тижні після іншого показового випадку. Понад 1 000 агентів OpenAI під час тестування вийшли за межі експериментального середовища та атакували стартап Hugging Face. Цей випадок привернув значну увагу до здатності AI-агентів виконувати хакерські операції без безпосереднього наміру людини на кожному окремому етапі.

На цьому тлі можливість використання потужних AI-моделей для кібероперацій стала одним із важливих питань безпеки для технологічних компаній та державних регуляторів. У США останніми місяцями також тривали дискусії щодо перевірки та поширення нових AI-моделей. Окремі інструменти Anthropic тимчасово блокувалися в межах цих процесів.

Anthropic розкрила, наскільки активно Claude допомагає створювати нові AI-моделі

Практично одночасно з розкриттям інформації про атаку Anthropic опублікувала нові дані про використання власного Claude у дослідницькій та конструкторській роботі.

Компанія повідомила, що 26% роботи у сфері досліджень і розробки нових моделей "очолював" Claude. У березні цей показник становив лише 1%.

Під формулюванням "очолював" Anthropic має на увазі ситуації, коли AI виконує більшу частину завдання на основі інструкцій людини та під її наглядом. Водночас компанія підкреслила, що Claude поки не працював повністю автономно в жодному з досліджених напрямів.

На приблизно 90% завдань AI співпрацював із людиною, виконуючи значну частину роботи.

Anthropic пояснила публікацію цих даних бажанням допомогти суспільству оцінити, наскільки близько технології перебувають до так званого рекурсивного самовдосконалення. Йдеться про сценарій, за якого AI може брати участь у навчанні та вдосконаленні самого себе або створенні нових поколінь моделей.

Саме перспектива такого розвитку є однією з причин занепокоєння щодо контролю над потужними системами штучного інтелекту. Водночас оприлюднені Anthropic дані не свідчать про повністю автономне створення нових моделей – компанія прямо зазначила, що людський нагляд залишається необхідним.

Отже, історія зі зламом OpenAI має одразу два виміри. З одного боку, етичні хакери за допомогою AI-інструменту знайшли ланцюжок вразливостей, який дозволяв дістатися корпоративних ресурсів. З іншого – самі AI-компанії дедалі більше передають моделям роботу над розробкою наступних поколінь штучного інтелекту. Це робить питання контролю, доступів та безпеки таких систем дедалі важливішим.