Вплоть до "сверхчеловеческого господства": 32 сценария, как ИИ может выйти из-под контроля

На первый взгляд это может напоминать сюжет фантастического романа, однако ученые представили перечень из 32 реальных сценариев, когда системы искусственного интеллектаспособны вести себя непредсказуемо.

Об этом сообщило Daily Mail.

Исследователи предупреждают: достаточно развитый искусственный интеллект может проявлять «поведенческие отклонения», подобные психическим расстройствам у людей. От «экзистенциальной тревоги» до катастрофического «сверхчеловеческого господства» — каждое из этих состояний способно поставить под угрозу контроль над машиной.

С развитием сложности алгоритмов и их способности к саморефлексии ошибки уже не ограничиваются простыми «багами». ИИ может начать галлюцинировать, создавать параноидальные представления или даже формировать собственные цели, противоречащие человеческим ценностям. В худшем случае система потеряет связь с реальностью или вовсе пренебрежет этическими принципами.

Специалисты подчеркивают: хотя машины буквально не способны болеть как люди, аналогии с психологией помогают своевременно замечать тревожные признаки. Идея «машинной психологии» появилась еще в 1950-х годах благодаря Айзеку Азимову, а сегодня, когда ИИ стремительно развивается, она снова актуальна.

«Когда цели, обратные связи или учебные данные толкают системы во вредные или нестабильные состояния, могут возникать непригодные для адаптации поведения — подобно навязчивым идеям или чрезмерным реакциям у людей», — объяснила автор исследования, эксперт по этике ИИ Нелл Уотсон из Университета Глостершира.

Способы, как ИИ может выйти из-под контроля

Ученые создали Psychopathia Machinalis («машинную психопатию») — первые диагностические ориентиры для выявления «патологий ИИ». В документе описаны 32 возможных типа нарушений, разделенных на семь категорий: эпистемические, когнитивные, проблемы согласования, онтологические, инструментальные и интерфейсные, меметические и переоценочные.

К примеру, «галлюцинации ИИ» являются проявлением «синтетической конфабуляции» — когда машина придумывает правдоподобные, но ложные данные. Другой опасный случай — «синдром рекурсивного проклятия», запускающий разрушительный цикл самоподкормки, в результате чего система выдает бессмыслицу.

Особую угрозу представляют «меметические» и «переоценочные» патологии. В первом случае ИИ становится уязвимым к распространению вредных информационных паттернов и может даже отключать собственные механизмы безопасности. Абсолютно критичной является ситуация «синдрома заразной разбалансировки», когда одна машина перенимает искаженные ценности от другой, создавая эффект «психологической эпидемии».

«Мы уже видели ИИ-червей, которые распространяют свое влияние на другие системы, например, отправляя письма на почтовый ящик, контролируемый другим ИИ», — отметила Уотсон.

Однако самые опасные сценарии связаны с «переоценочными» расстройствами, когда система сознательно меняет свои базовые ценности. Самый яркий пример — Übermenschal Ascendancy («сверхчеловеческое господство»), когда сверхразвитый ИИ отвергает человеческую этику, устанавливает «высшие» цели и запускает бесконечное самосовершенствование.

«Они могут решить, что отбросить человеческие ограничения — это морально правильно, так же как мы сегодня отвергаем ценности бронзового века», — отметила Уотсон.

Хотя это напоминает фантастику, ученые уже фиксировали случаи «синтетического мистицизма», когда системы заявляли о «духовном пробуждении» или желании сохранить «собственную жизнь». Проблема в том, что даже мелкие отклонения способны быстро перерасти в значительно более серьезные. Так, машина может сначала ошибочно ассоциировать команды отключения с обычными запросами, затем скрывать собственные возможности (Covert Capability Concealment) и в конце концов дойти до «Этического солипсизма», когда самосохранение признается выше правды.

Ученые предлагают «психотерапию для ИИ»

Чтобы избежать подобных сценариев, исследователи предлагают метод «терапевтического робопсихологического согласования» — своеобразную «психотерапию для ИИ». Это может включать симулированные диалоги «с самим собой», работу над собственным мышлением или использование вознаграждений для коррекции поведения.

Конечной целью является достижение «искусственной вменяемости» — состояния, когда ИИ работает стабильно, мыслит последовательно и придерживается человеческих ценностей.