Anthropic ввів нові правила для більш небезпечного ландшафту штучного інтелекту

Anthropic оновив політику використання свого чат-бота Claude AI у відповідь на зростаюче занепокоєння щодо безпеки. Окрім запровадження суворіших правил кібербезпеки, Anthropic тепер визначає деякі з найнебезпечніших видів зброї, які люди не повинні розробляти за допомогою Claude.

У публікації, що підсумовує зміни , Anthropic не виділяє зміни, внесені до своєї політики щодо озброєнь , але порівняння між старою та новою політикою використання компанії виявляє помітну різницю. Хоча Anthropic раніше забороняла використання Claude для «виробництва, модифікації, проектування, продажу або розповсюдження зброї, вибухових речовин, небезпечних матеріалів або інших систем, призначених для заподіяння шкоди або втрати людського життя», оновлена версія розширює це, спеціально забороняючи розробку високопотужних вибухових речовин, а також біологічної, ядерної, хімічної та радіологічної (ХБРЯ) зброї.

У травні Anthropic впровадила захист «ШІ Safety Level 3» разом із запуском своєї нової моделі Claude Opus 4. Ці запобіжні заходи розроблені для того, щоб ускладнити джейлбрейк моделі, а також запобігти її участі в розробці ХБРЯ зброї.

У своїй публікації Anthropic також визнає ризики, пов’язані з агентними інструментами штучного інтелекту, включаючи Computer Use, який дозволяє Claude керувати комп’ютером користувача, а також Claude Code, інструмент, який вбудовує Claude безпосередньо в термінал розробника. «Ці потужні можливості створюють нові ризики, включаючи потенціал для масштабованих зловживань, створення шкідливих програм та кібератак», – пише Anthropic.