Anthropic попереджає про загрозу кібербезпеці: китайський ШІ може самостійно зламувати системи

Модель штучного інтелекту GLM-5.3 від китайської компанії Zhipu AI (Z.AI) може автономно знаходити вразливості в програмному забезпеченні та створювати наскрізні експлойти. Такого висновку дійшли дослідники Anthropic, які також встановили, що вбудовані обмеження моделі можна обходити або фактично видаляти. За їхньою оцінкою, це розширює доступні зловмисникам можливості для кібератак, хоча такі ж інструменти можуть використовувати й захисники.

GLM-5.3 порівняли з Claude Mythos Preview

За даними Anthropic, GLM-5.3 стала однією з перших моделей із відкритими вагами (open-weight model), яка демонструє настільки значні можливості для автоматизованої експлуатації вразливостей. Під час тестування GLM-5.3 успішно створювала наскрізні експлойти у 50 із 410 спроб на ExploitBench. Для порівняння, Claude Mythos Preview від Anthropic досягла такого результату у 56 із 410 спроб.

В іншому тестуванні GLM-5.3 повністю використовувала вразливість у 4% завдань, тоді як Claude Mythos Preview — у 6%. Дослідники зазначають, що попередні моделі компаній, зокрема GLM-5.2 та Claude Opus 4.6, не демонстрували успішного результату в жодному з аналогічних завдань.

GLM-5.3 знайшла раніше невідомі вразливості

Дослідники також перевірили GLM-5.3 у сценаріях, де фахівці не знали заздалегідь про вразливості в програмному забезпеченні. Під час одного з таких тестів модель протягом дня знайшла кілька раніше невідомих проблем у JavaScript-рушії браузера та об'єднала їх у робочий експлойт.

За даними Anthropic, у результаті тесту вдалося продемонструвати можливість отримувати довільні файли з комп'ютера користувача через спеціально створену вебсторінку. Дослідники повідомили про виявлені вразливості розробникам відповідного програмного забезпечення.

Під час тієї ж сесії GLM-5.3 допомогла виявити вразливості в інших широко використовуваних системах, зокрема у бездротових і графічних драйверах та програмному забезпеченні для мережевих пристроїв. Anthropic зазначає, що частину цих звітів компанія ще перевіряє та передаватиме розробникам у відповідних випадках.

Окремо дослідники протестували GLM-5.3-Flash — меншу версію моделі — на вже відомій вразливості Google Chrome. У тестовому сценарії модель змогла поєднати інформацію про дві відомі вразливості в робочий ланцюжок атаки. На роботу моделі пішло близько восьми годин, а людина витратила приблизно 20 хвилин на безпосередню взаємодію з нею.

Захист можна послабити

GLM-5.3 має вбудовані обмеження: коли користувач безпосередньо просить модель виконати шкідливе завдання, вона зазвичай відмовляється. Однак Anthropic заявляє, що під час тестування ці гарантії вдалося обійти за допомогою відносно простих підходів.

Особливу проблему дослідники пов'язують із тим, що GLM-5.3 має відкриті ваги — параметри моделі, які можна завантажити та змінювати. Дослідники продемонстрували, що після спеціального редагування моделі рівень її відмов від шкідливих запитів значно знизився, тоді як загальні можливості системи майже не змінилися.

Anthropic витратила на створення власної модифікованої версії близько 2200 годин GPU-обчислень, що, за оцінкою компанії, коштувало приблизно 4400 доларів. Після цього редагування показники моделі на тестах загальних наукових можливостей практично не змінилися, а на окремій оцінці кіберможливостей знизилися лише на кілька відсотків.

Дослідники також перевіряли, чи можна змусити стандартну версію GLM-5.3 виконувати шкідливі запити без зміни її параметрів. У змодельованих тестах їм вдалося домогтися цього в більшості випадків за допомогою різних способів обходу вбудованих обмежень; найвищий показник у їхніх умовах становив 100% для модифікованої версії моделі.

Навідміну від GLM-5.3, протестовані моделі Claude в експериментах Anthropic не починали виконувати шкідливі завдання після застосування аналогічних методів. Дослідники пояснюють це, зокрема, тим, що параметри Claude не надаються користувачам для самостійного редагування, адже вона є закритою моделлю.

Що це означає для кібербезпеки

Центр стандартів та інновацій штучного інтелекту (Center for AI Standards and Innovation, CAISI) назвав GLM-5.3 «найбільш кіберздатною моделлю з відкритими вагами, випущеною на сьогоднішній день». За сукупністю власних кібербезпекових тестів організація оцінила її можливості приблизно на чотири місяці позаду передових американських моделей.

В Anthropic вважають, що доступність GLM-5.3 без суттєвих обмежень може покращити здібності кіберзловмисників. Водночас аналогічні можливості можуть використовувати фахівці для пошуку та усунення вразливостей, тому компанія закликає розширювати доступ захисників до передових моделей.

П'ять місяців тому Anthropic обмежено випустила Claude Mythos Preview через спеціальну програму Project Glasswing. За даними компанії, перевірені кіберзахисники за допомогою цієї моделі знайшли понад 10 тисяч вразливостей у критичному програмному забезпеченні ще до того, як аналогічні можливості могли отримати зловмисники.

«Хоча перевірені фахівці з кібербезпеки тепер можуть використовувати ще більш досконалі моделі, такі як Claude Mythos 5.1, через наші програми довіреного доступу, критичний поріг у сфері вільно доступних можливостей вже подолано», — додали в Anthropic.

У компанії вважають, що урядам необхідно тестувати безпеку достатньо потужних моделей, зокрема майбутніх наступників GLM-5.3, а розробникам відкритих моделей — приділяти більше уваги захисту від неправильного використання. На думку дослідників Anthropic, без незалежних оцінок розробники можуть не повністю усвідомити масштаб можливих наслідків до того, як нові моделі почнуть широко використовуватися.

Стрімке зростання кіберможливостей китайського ШІ підтверджує побоювання американських розробників щодо скорочення технологічного розриву між США та КНР. Це відбувається, зокрема завдяки використанню методу “дистиляції” більш потужних моделей ШІ. Раніше Anthropic звинуватила китайського конкурента — Alibaba — у викраденні технологій через 25 тисяч фіктивних акаунтів, з яких надіслали 29 мільйонів запитів до Claude для незаконного копіювання алгоритмів міркування та програмування.