Anthropic обновила правила использования Claude: запрет на жестокое обращение с ИИ и создание оружия

Компания Anthropic обновила политику использования Claude, впервые за более чем год расширив ограничения в отношении случаев потенциально опасного применения искусственного интеллекта на фоне глобальной дискуссии о рисках этой технологии. Разработчики запретили систематическое жестокое поведение по отношению к чат-боту, а также ужесточили правила в отношении политических манипуляций, слежки и создания компонентов для оружия. Обновление поднимает вопрос о благополучии моделей ИИ, который Anthropic исследует на фоне дискуссий о возможном сознании систем, сообщает The Verge.

Новые правила поведения в отношении Claude

Anthropic запретила «систематическое и необоснованное оскорбительное или жестокое поведение» по отношению к Claude. Компания уточнила, что ограничения касаются лишь крайних случаев, когда пользователи неоднократно ведут себя жестоко по отношению к моделям без видимой цели.

В августе прошлого года Anthropic сообщила, что позволит Claude самостоятельно прекращать разговоры с людьми, которые постоянно ведут себя вредоносно или оскорбительно. В обновленной политике прекращение разговора остается «основным механизмом реагирования».

Компания не уточнила, планирует ли она вводить дополнительные меры, в частности блокировку учетных записей. В то же время Anthropic подчеркнула, что новые правила не распространяются на обычное разочарование или несогласие пользователей, мрачные творческие темы, а также тестирование и исследование модели.

Ограничения на пропаганду и вмешательство в выборы

Anthropic объединила несколько предыдущих ограничений в новый запрет на вводящие в заблуждение коммерческие и политические кампании. Таким образом компания реагирует на распространение пропаганды, созданной с помощью ИИ. Правила запрещают скрывать авторство сообщений или искусственно увеличивать охват контента с помощью фейковых учетных записей и публикаций. Отдельный раздел касается выборов и запрещает:

• введение избирателей в заблуждение;

• срыв избирательного процесса;

• распространение ложной информации о кандидатах и процедуре голосования;

• выдавать себя за кандидатов или должностных лиц избирательных комиссий;

• попытки снизить явку.

Запрет на разработку оружия и слежки

Хотя использование Claude для разработки оружия было запрещено и ранее, компания Anthropic зафиксировала многочисленные попытки применить модель для создания соответствующих инструкций и программного обеспечения. Поэтому новая редакция политики прямо охватывает программное обеспечение и компоненты, необходимые для функционирования оружия, в частности его установку на беспилотниках и других автономных транспортных средствах.

Компания также уточнила правила в отношении слежения. Anthropic отмечает: «Отслеживание людей без их согласия запрещено — независимо от того, происходит ли это в реальном времени или путем анализа ранее собранных данных». Запрет распространяется на создание и совершенствование инструментов для слежения.

Кроме того, Claude нельзя использовать для принятия решений или предоставления рекомендаций относительно того, кого следует расследовать, арестовывать или кому предъявлять обвинения в рамках правоохранительной деятельности или уголовного судопроизводства.

В то же время Anthropic допускает исключения для контрактов с определенными государственными заказчиками, если компания сочтет договорные ограничения и соответствующие меры предосторожности достаточными для минимизации потенциального вреда. Ранее Anthropic уже сотрудничала с Министерством обороны США, однако после запрета на разработку автономного оружия и средств массовой слежки с использованием ИИ между компанией и Пентагоном разгорелся конфликт.

Для автономного оборудования необходим контроль оператора

Обновленная политика устанавливает отдельные требования для случаев, когда модели Anthropic подключены к оборудованию, способному выполнять автономные физические действия и наносить ущерб. В таких ситуациях «квалифицированный оператор должен иметь возможность наблюдать за оборудованием и при необходимости остановить его».

В документе не уточняется, обязательно ли этот оператор должен быть человеком. Новое требование появилось на фоне роста инвестиций ИИ-компаний в робототехнику и другое оборудование, позволяющее системам искусственного интеллекта взаимодействовать с физическим миром.

Anthropic исследует вопрос сознания ИИ

В течение последнего года Anthropic неоднократно поднимала вопрос о том, могут ли её модели в той или иной степени обладать сознанием или внутренним опытом. В феврале руководитель отдела исследований благополучия моделей компании Кайл Фиш заявил The Verge: «Вопросы о потенциальном внутреннем опыте, сознании, моральном статусе и благополучии являются серьезными; мы исследуем их по мере того, как модели становятся всё более совершенными и мощными».

В том же месяце генеральный директор Anthropic Дарио Амодей в подкасте признал: «Мы не знаем, обладают ли модели сознанием». Однако уже в июле Anthropic обнаружила в Claude внутреннее нейронное пространство J-Space, где ИИ способен обрабатывать сложные рассуждения, не выражая их в тексте.

В то же время издание The Economist предупредило, что искусственному интеллекту не обязательно обретать реальное сознание, чтобы создать экзистенциальную угрозу для человечества: главная опасность заключается в том, что люди сами начинают относиться к машинам как к живым существам. На фоне роста эмоциональной зависимости пользователей от чат-ботов и способности алгоритмов убедительно имитировать эмпатию усиливается давление в отношении признания правового статуса или защиты «благополучия» ИИ.