Anthropic підійшов дуже близько до створення самозбудованого ШІ - RSI

Хоча значна увага була зосереджена на оновлених фінансових показниках, які Anthropic оприлюднила у своєму переглянутому S-1/A у понеділок (доходи зростають, але й витрати також), лабораторія штучного інтелекту опублікувала ще одну невелику сенсацію дрібним шрифтом.

У заявці, здається, нібито попереджається, що компанія знаходиться на порозі створення моделі, здатної до рекурсивного самовдосконалення (RSI).

RSI – це момент, коли ШІ настільки добре навчається, що призводить до різкого прискорення його можливостей. Для противників ШІ RSI являє собою катаклізм, з якого немає вороття, в якому ШІ перетворюється на щось настільки потужне, що вислизає з-під контролю людини і може бути байдужим до шкоди, яку він завдає, досягаючи своїх цілей.

Для ентузіастів ШІ, RSI, або якась версія ШІ, що надійно використовує себе для самовдосконалення, представляє собою перспективу технології, де вона стає інструментом неймовірної продуктивності, наукових відкриттів тощо.

Здається, Anthropic вважає, що RSI — це одночасно обіцянка та небезпека. У S-1 компанія зазначає, що використовує штучний інтелект у своїх дослідженнях та розробках, але застерігає: «Використання штучного інтелекту для створення більш потужного штучного інтелекту також може становити значний ризик для безпеки, особливо якщо це різко прискорить темпи прогресу. Це одна з областей, що охоплюються нашою Політикою відповідального масштабування, яка визначає наші плани щодо моніторингу та пом’якшення ризиків, оскільки ми наближаємося до того, що було названо «рекурсивним самовдосконаленням»».

Коли термін RSI став популярним на початку цього року , багато хто вважав, що це модне слово або, в кращому випадку, мета, яку надто важко досягти, визначити чи довести.

Але в понеділок Anthropic додала нові заяви до розділу «Фактори ризику», заявивши, що 1) вона вже використовувала штучний інтелект для розробки нових моделей, чиї стрибки у можливостях вона на той час не усвідомлювала, та 2) вона може незабаром відповідати власному визначенню RSI (виділено жирним шрифтом нижче):

Наприклад, наші внутрішні оцінки та очікування щодо майбутніх моделей, а не наших поточних моделей, вказують на те, що ми можемо незабаром досягти визначення нашої Політики відповідального масштабування, яке полягає в тому, що це «значно прискорений прогрес, що пояснюється штучним інтелектом». Ми не визначили жодну з наших поточних моделей як таку, що перевищує цей поріг, і ми продовжуємо оцінювати основні дані. 

Однак, Anthropic також зазначила у своїй заявці, що жодна з її моделей ще не перетнула цей поріг RSI, і що вона обіцяє продовжувати залучати людей до процесу досліджень і розробок у найближчому майбутньому. «Ми не очікуємо, що зможемо безпечно використовувати Claude для повністю автономного проектування та створення наступних поколінь моделей на межі можливостей без змістовного людського нагляду чи розуміння, якщо і коли це стане технічно можливим. Відповідно, ми розглядаємо оновлення нашої Політики відповідального масштабування, щоб люди могли контролювати розробку моделей на межі можливостей в Anthropic».

Скептики можуть зазначити , що S-1 функціонує як для розкриття інформації, так і для маркетингу, і що твердження про близькість до моделі, настільки потужної, що вона може сама себе створити, можуть належати до останньої категорії.

Тим не менш, немає сумнівів, що можливості Клода, особливо в плані кодування, математики та кібербезпеки, цього року зросли неймовірно. Якщо Anthropic вважає, що ймовірність RSI близька, можливо, нам варто повірити в це та діяти — можливо, керувати — відповідно.