ШІ на порозі самовдосконалення: в Anthropic заявили про загрозу втрати контролю

Компанія Anthropic попередила інвесторів, що може незабаром досягти етапу рекурсивного самовдосконалення штучного інтелекту (RSI). Йдеться про здатність ШІ використовувати себе для створення потужніших моделей, що потенційно прискорить технологічний прогрес. Водночас в оновленій реєстраційній заявці S-1A, яку Anthropic 2 листопада подала до Комісії з цінних паперів і бірж США (SEC), компанія визнає, що такі зміни можуть випередити можливості людей оцінювати ризики та забезпечувати безпеку систем, передає TechCrunch.

Для критиків розвитку ШІ сценарій, за якого кожне наступне покоління моделей може розвиватися швидше за попереднє, становить серйозну загрозу. Вони побоюються, що система може стати настільки потужною, що люди втратять можливість контролювати її поведінку, а сама вона не враховуватиме шкоду, якої може завдати під час досягнення поставлених цілей.

Прихильники технології, навпаки, вбачають у RSI можливість значно підвищити продуктивність, прискорити наукові відкриття та створити інструменти, здатні самостійно вдосконалюватися. Тому рекурсивне самовдосконалення розглядають і як потенційну перевагу ШІ, і як ризик, що потребує контролю.

Anthropic визнає обидві сторони цього процесу. У заявці компанія зазначає, що вже використовує ШІ у власних дослідженнях і розробках, однак таке застосування може створювати додаткові загрози.

«Використання штучного інтелекту для створення більш потужного штучного інтелекту також може становити значний ризик для безпеки, особливо якщо це різко прискорить темпи прогресу», — йдеться в документі.

Компанія додає, що ці ризики охоплює її Політика відповідального масштабування (Responsible Scaling Policy). Вона визначає, як Anthropic планує відстежувати потенційні загрози та зменшувати їх у міру наближення до рекурсивного самовдосконалення.

Коли термін RSI набув популярності на початку 2026 року, багато хто сумнівався, що цей сценарій можна буде чітко визначити, виміряти або підтвердити на практиці. Однак в оновленій заявці Anthropic навела конкретніші застереження. Компанія визнала, що раніше вже використовувала ШІ для розробки нових моделей, не усвідомлюючи на той момент масштабу стрибка в їхніх можливостях.

«Ми в минулому не виявляли і можемо не виявляти в майбутньому значного прискорення темпів нашого розвитку, доки воно не відбудеться», — зазначає Anthropic.

У документі також ідеться, що внутрішні оцінки та прогнози щодо майбутніх моделей вказують на можливість швидкого досягнення порога, який компанія визначає як «значно прискорений прогрес, що пояснюється штучним інтелектом». Це формулювання є частиною власної Політики відповідального масштабування Anthropic. Водночас компанія наголошує, що жодна з її нинішніх моделей ще не перетнула цей поріг. 

Розробник Claude також запевняє, що не планує найближчим часом передавати ШІ повний контроль над створенням наступних поколінь моделей. В Anthropic заявили: «Ми не очікуємо, що зможемо безпечно використовувати Claude для повністю автономного проєктування та створення наступних поколінь моделей на межі можливостей без змістовного людського нагляду чи розуміння, якщо і коли це стане технічно можливим». У зв'язку з цим Anthropic розглядає можливість оновлення Політики відповідального масштабування, щоб забезпечити людський контроль над розробкою найпотужніших моделей.

Проте до заяв компанії можуть виникнути запитання. Скептики звертають увагу, що реєстраційна форма S-1 використовується не лише для розкриття інформації перед інвесторами, а й може виконувати маркетингову функцію. Тому попередження про близькість до створення ШІ, здатного самостійно розробляти нові моделі, можна розглядати і як спосіб привернути увагу до технологічних можливостей Anthropic.