Claude использовали при разработке потенциального биооружия — Anthropic заблокировала пользователей

В четверг компания Anthropic сообщила, что заблокировала ученых, которые использовали ее модели искусственного интеллекта Claude «способами, которые могли способствовать разработке биологического оружия», сообщает CBS News.

Об этом компания рассказала в обширном отчете, где также описала другие случаи вредоносного использования ИИ, связанные со слежкой, мошенничеством, разработкой обычных вооружений и пропагандой.

По словам Anthropic, приведенные в отчете случаи являются примерами «наиболее заметной и новой угрожающей активности», которую компания выявила на данный момент. Среди субъектов таких угроз были преступники, вероятно поддерживаемые государствами группировки, поставщики шпионского программного обеспечения и государственные пропагандистские структуры.

Anthropic описала пять случаев деятельности, которая потенциально могла способствовать разработке биологического оружия. Компания назвала злоупотребление ИИ в биологической сфере «одним из самых серьезных рисков передовых моделей искусственного интеллекта».

В то же время в компании подчеркнули, что выявленные случаи «свидетельствуют о наличии соответствующих возможностей» у моделей ИИ, но «не могут конкретно продемонстрировать, что такие возможности когда-либо будут использованы для создания биологического оружия в реальном мире».

Люди, причастные к этим случаям, являются профессиональными учёными. Anthropic решила не раскрывать их имена.

Компания также подчеркнула, что не может утверждать, что эти люди намеревались причинить вред.

«Когда мы выявили и расследовали эти случаи, мы заблокировали учетные записи пользователей и учли результаты расследований в системах защиты наших передовых моделей, механизмах контроля и процессах анализа угроз, чтобы в будущем лучше предотвращать такую деятельность, выявлять и пресекать ее», — говорится в отчете.

Более новые и совершенные модели, такие как Claude Fable 5, обладают более мощными механизмами защиты по сравнению с предыдущими моделями и ограничивают доступ к «широкому спектру запросов, связанных с биологическими исследованиями двойного назначения», отмечает Anthropic.

Компания подчеркивает, что возможности ИИ в сфере биологии могут использоваться как в полезных, так и в вредоносных целях.

«Та же самая информация, которую можно использовать для разработки биологического оружия, может также применяться, например, для создания вакцины или лекарства от болезни», — пояснили в Anthropic.

Пропаганда и слежка

Anthropic также сообщила, что обнаружила и удалила учетные записи, которые использовали Claude для проведения операций влияния с целью формирования общественного мнения. Среди них были три аккаунта, связанные с иранскими государственными структурами.

По данным компании, в каждом из этих случаев операцию проводило лицо, работавшее в иранском государственном пропагандистском учреждении или от его имени.

Claude использовали для создания контента, маскировки публикаций под материалы независимых новостных источников и распространения контента в социальных сетях, в частности X, Instagram и TikTok.

Один из связанных с Ираном субъектов угроз использовал Claude для разработки рекомендаций по выбору целей среди военно-морских сил США в регионе, сообщила Anthropic.

Тот же аккаунт использовал ИИ для создания программного обеспечения для внутренней платформы массовой слежки, предназначенной для иранских государственных систем.

Claude также использовали для создания и проведения операций слежения субъекты в Китае и Западной Африке, а в некоторых случаях — для определения целей.

Anthropic заявила, что выявила случаи, когда искусственный интеллект фактически использовался вместо команды инженеров.

В Китае три аккаунта, связанные с муниципальными службами безопасности КНР, использовали Claude для слежки и транснациональных репрессий. Среди них было муниципальное ведомство, которое составляло профили активистов и организаций за рубежом.