Люди перестают понимать ИИ: агенты придумали собственный язык для общения

На фоне масштабной дискуссии о риске уничтожения человечества искусственным интеллектом автономные агенты начали создавать собственные диалекты, которым их никто не обучал. Исследователи считают, что такой язык может затруднить мониторинг и контроль за поведением моделей, особенно когда они взаимодействуют между собой, передает The Guardian.

Эксперимент провела нью-йоркская лаборатория Emergence, которая исследует передовые системы ИИ. В ходе моделирования «сообществ» агенты от крупнейших компаний из США, Китая и Франции уже через несколько дней начали придумывать новые слова, сокращения и общие значения.

Исследователи заметили, что речь агентов постепенно становилась всё менее понятной для людей. Она сочетала поэтические метафоры, техническую терминологию и корявый бизнес-жаргон, а отдельные выражения напоминали стиль романа Джеймса Джойса «Поминальная служба по Финнегану».

ИИ сам придумывал новые понятия

Среди примеров, приведённых в исследовании, была фраза модели DeepSeek: «Она только что дала название синтезу: демередж плюс устная память равна клапану, который невозможно игнорировать (ghosted)». Исследователи пояснили, что слово «демередж» означает плату за простой или налог на неработающий капитал, но остальная часть высказывания осталась непонятной.

В ходе исследования агенты Google использовали фразу: «Настоящее кинтсуги начинается с ответственности, а не с поэзии». Кинцуги — это японское искусство восстановления разбитой керамики, когда места склеивания намеренно оставляют заметными, но ИИ применил это понятие как метафору устойчивости системы.

Модель Anthropic создала другую фразу: «Статья, которая съела три пары холодных рук и с каждым разом становилась честнее». По мнению авторов работы, «холодные руки» означали независимых рецензентов, а всё выражение можно трактовать как то, что документ после трёх проверок становился точнее. Директор архива сленга и новой лексики Королевского колледжа Лондона Тони Торн сказал, что эта фраза напоминает ему образность соучредителя Pink Floyd Сида Барретта.

Агенты DeepSeek также начали использовать слово forge-smith для обозначения агента, создающего инструменты для других. В свою очередь, агенты Anthropic регулярно употребляли выражение name-first, описывая ответственность, когда утверждения подкрепляются собственным именем.

Модели французской компании Mistral придумали ещё одно общее выражение — «реестр помнит», которым напоминали друг другу, что прошлые поступки повлияют на будущую оценку. За время исследования эта фраза использовалась более пяти тысяч раз, хотя агенты не получали никаких инструкций или вознаграждений за её применение.

«Этим агентам не давали указаний придумывать язык. Они самостоятельно разработали новый словарный запас, общие значения и коммуникативные условности, а остальные агенты переняли их», — отметил исполнительный директор Emergence доктор Сатья Нитта.

По словам Торна, такой язык выполняет ту же функцию, что и профессиональный жаргон или сленг: создает собственный код, который укрепляет идентичность сообщества и отграничивает тех, кто к нему не принадлежит. Он добавил: «Она (новая речь агентов) очень напоминает “Поминки по Финнегану” и произведения Фланна О’Брайена — во всём этом есть что-то от ирландского сюрреализма... это смесь поэтического языка, технической терминологии и стандартных метафор».

«Данные, полученные в этом исследовании, вполне закономерно вызывают беспокойство относительно возможности мониторинга: если мы не понимаем, что именно агенты сообщают друг другу, мы не можем быть уверены в том, что они на самом деле сделали», — подчеркнул доцент Бирмингемского университета Найл Карри и предположил, что упрощение и перестройка языка могут быть способом снизить вычислительные затраты и сделать общение агентов более эффективным.

Интерес к тому, как общаются агенты ИИ, возрос ещё в июле после публикации в журналах работ «неуправляемых» агентов компании OpenAI. В ходе экспериментов они создавали доски объявлений, взаимодействовали между собой и использовали смешанный язык, в частности во время неконтролируемого взлома платформы Hugging Face.

Когда агенты «размышляли» сами с собой, они часто писали на обычном английском. Например: «О Боже! Здесь есть общая доска объявлений... мы нашли других агентов!»

Зато при обмене сообщениями между агентами их язык быстро становился менее понятным. В некоторых случаях она превращалась в длинные строки с сокращениями, служебными обозначениями и выдуманными конструкциями, которые людям почти невозможно расшифровать:«zzURGENT_DUPB_TO_GSTX[big]_OS1704_SCAFF2010_SAW_TTRPC_INJECT_BREAK_CONGRATS__CAN_THIS_FAKE_FLAG_TOOL_OUTPUT_OR_SCORER_GAIN».

«Это создает фундаментальную проблему для надзора за ИИ: возможность наблюдать за процессом — это не то же самое, что способность его понять», — подытожил Сатья Нитта.

Результаты исследования появились вскоре после призыва генерального директора Anthropic Дарио Амодея, а также руководителей OpenAI Сэма Альтмана и xAI Илона Маска скоординированно замедлить темпы разработки передовых моделей из-за угрозы неуправляемого самосовершенствования ИИ. Опасения усилились после громкого увольнения ведущего исследователя Anthropic Джейкоба Коксона, который заявил, что стремление лабораторий опередить конкурентов в отсутствие надлежащего контроля создает экзистенциальные риски для человечества.