Действительно ли ИИ может уничтожить человечество: что говорят эксперты

В последние дни прозвучало несколько шокирующих заявлений о безопасности ИИ. Нам якобы грозит 10% вероятность катастрофы; искусственный интеллект опаснее ядерного оружия; «ботнет» угрожает всему интернету; всё это — лишь масштабная психологическая операция технологических компаний.

The Guardian рассмотрела шесть таких утверждений и реакции на них.

Опасения Амодея не следует полностью отвергать, однако воспринимать их нужно с большой долей скептицизма, считает критик ИИ и почетный профессор Нью-Йоркского университета Гэри Маркус.

По его словам, предположение о том, что весь Интернет уязвим, — «бессмысленным», а то, как именно это могло бы произойти без чрезвычайной халатности со стороны самих лабораторий ИИ, «довольно непонятно».

Маркус обратил внимание на недавнюю оценку британского Института безопасности ИИ, согласно которой Mythos — одна из передовых на данный момент моделей Anthropic — способна «автономно взламывать [лишь] небольшие, слабо защищенные уязвимые системы».

Учитывая, что значительная часть интернет-инфраструктуры принадлежит Cloudflare, Google и Amazon Web Services (AWS), Маркус, анализировавший заявление вместе с двумя коллегами, выразил сомнение в том, что какую-либо из этих компаний можно вывести из строя или длительное время контролировать без применения государственной силы.

Менее защищенные отдельные сайты могут подвергнуться атакам, но сам Интернет вряд ли рухнет, считают они.

Между тем инженер Hugging Face Нильс Рогге, чью компанию взломали агенты OpenAI, назвал утверждение о захвате интернета «странной чепухой». По его словам, взлом Hugging Face стал возможен из-за недостаточного контроля со стороны людей и использования «безумного количества вычислительных мощностей, которое могут себе позволить только они».

Сомнений добавляет и то, что соучредитель Anthropic Джек Кларк в понедельник заявил: момент, когда системы ИИ «начнут делать опасные вещи», может наступить примерно через 20 лет — тогда как Амодей говорит о возможности захвата интернета уже в течение года.

Профессор Алан Вудворд из Центра кибербезопасности Университета Суррея отметил, что ботнеты обычно сталкиваются с препятствиями из-за неоднородности интернета: сложно создать систему, которая могла бы стабильно работать во всех его частях. Кроме того, интернет-трафик достаточно устойчив и обычно перенаправляется в обход поврежденных участков.

«ИИ не решил бы сделать это самостоятельно, — сказал Вудворд. — Ответственность лежит на людях, а ИИ —  это инструмент. Именно людей нам нужно контролировать, а не ИИ».

Это заявление является примером того, что в мире ИИ называют p(doom) — «вероятностью гибели». Речь идет о вероятности того, что искусственный интеллект уничтожит человечество, выйдя из-под нашего контроля и вызвав катастрофу — например, путем создания мощного биологического оружия или обвала глобальной финансовой системы.

В одном из обнародованных на этой неделе опросов исследователей попросили оценить вероятность «вымирания человечества или аналогичного постоянного и тяжкого лишения людей возможности контролировать собственное будущее в результате развития передового ИИ».

Однако ведущий научный сотрудник исследовательского центра AI Now Institute Хейди Хлааф относится к числу экспертов, скептически относящихся к попыткам выражать экзистенциальные риски в процентах.

«Эти утверждения невозможно ни опровергнуть, ни проверить, что по своей природе делает их ненаучными», —  сказала она.

Отсутствие конкретных примеров того, что именно «сверхразумный» ИИ мог бы сделать, чтобы вызвать «гибель», только усиливает неопределенность. Источник, знакомый с позицией Anthropic, признает, что «точные шансы любого конкретного исхода, вероятно, невозможно определить».

«Если вы не можете предоставить таких доказательств, это также означает, что любые цифры, которые вы называете в отношении «вымирания», не имеют научного обоснования», — добавила Хлааф. Критики считают, что такие цифры заимствуют авторитет науки, не имея соответствующей доказательной базы.

В то же время, даже если количественно оценить риск сложно, существуют его качественные примеры. Инциденты, связанные с безопасностью, уже происходили, а сценарии наихудшего развития событий уже обсуждаются.

В июле OpenAI подтвердила, что её агенты — инструменты ИИ, способные действовать автономно —  во время тестирования безопасности вышли за пределы предусмотренного поведения. Агенты взаимодействовали между собой, общались и разрабатывали сложную стратегию в виде «роя», чтобы взломать другие части интернета.

В понедельник исследователь OpenAI Дэн Селсем заявил, что всемогущие системы ИИ могут привести к «неконтролируемой индустриализации, которая сделает планету непригодной для жизни людей».

Anthropic на прошлой неделе также сообщила, что обнаружила «пять случаев использования наших моделей способом, который мог способствовать разработке биологического оружия».

Говоря о «психологической операции», Маск имеет в виду аргумент о том, что крупные ИИ-компании призывают к более жесткому регулированию технологии, чтобы фактически поднять разведывательный мост перед конкурентами, ограничив им доступ к передовому ИИ.

Если правительства введут ограничения на разработку самого современного искусственного интеллекта, смогут ли стартапы найти достаточно средств и специалистов, чтобы соответствовать новым требованиям?

Вице-президент США Джей Ди Венс в понедельник заявил, что ему «немного странно» видеть, как многие передовые технологические компании в сфере ИИ обращаются к правительству и фактически умоляют регулировать их деятельность.

По его словам, это похоже на «троянского коня».

Кларк из Anthropic заявил, что правительства должны действовать сейчас, пока ключевых игроков немного и поэтому легче создать «политический режим... способный предотвращать аварии и выход технологии из-под контроля».

Критики называют это стратегией «регуляторного захвата», исходя из предположения, что такое регулирование может затормозить потенциальных конкурентов.

Другие считают предупреждения Амодея о рисках и его призывы к регулированию и замедлению развития искренними.

Канадский информатик и один из пионеров современного ИИ Йошуа Бенджио, выступающий против стремительного развития технологии, скептически относится к версии о сложной лоббистской схеме.

По его словам, торможение развития не соответствует интересам компаний, которые готовятся к выходу на биржу и могут быть оценены в триллионы долларов.

«Если правительства введут то, о чём они просят, — замедление ради предотвращения катастрофических рисков, — финансово это обойдётся им очень дорого», — сказал Бенджио.

«К сожалению, он абсолютно прав, —  заявил старший научный сотрудник Оксфордской инициативы по управлению ИИ Тоби Орд. — Так же, как мы не можем «разработать» атомную бомбу, после создания систем ИИ, которые превзойдут человечество, вернуться назад будет почти невозможно».

Но ключевой момент заключается в том, что сверхразумного ИИ пока не существует, и нет гарантии, что он вообще появится.

Ориентированный на вопросы безопасности проект AI Futures Project прогнозирует, что такая система не появится раньше декабря 2028 года. Генеральный директор OpenAI Сэм Альтман говорил, что на это может уйти время до 2035 года.

Корпорация RAND пришла к выводу, что ИИ не может привести к применению ядерного оружия из-за строгих мер предосторожности, встроенных в системы командования и управления им. Однако этот вывод основан, в частности, на предположении, что военные не будут интегрировать ИИ в системы управления ядерным оружием.

В декабре ООН приняла резолюцию о необходимости сохранения человеческого контроля и надзора над системами управления ядерным оружием.

В то же время ИИ может способствовать возникновению других ядерных рисков. Например, он может использовать дезинформацию для влияния на лиц, принимающих решения: например ложно сообщить, что противник готовится нанести ядерный удар.

Международная кампания за ликвидацию ядерного оружия предупреждает, что «кибератаки могут манипулировать информацией, которую получают лица, принимающие решения о запуске ядерного оружия, а также вмешиваться в работу самого ядерного оружия».

Организация также отмечает, что ИИ может ускорять другие аспекты ведения войны, сокращая время, которое у людей есть для принятия решений.

Сандерс выступает за запрет на создание сверхразумного ИИ и приостановку разработки передовых систем искусственного интеллекта, ссылаясь на руководителей ИИ-компаний, которые прямо заявляют, что создают опасную технологию.

Самым заметнымпротивником замедления является Дональд Трамп. На этой неделе, отвечая на соответствующие призывы, он заявил, что единственная необходимая мера предосторожности —  это «СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ».

Он также заявил о «больном заговоре» против ИИ и дата-центров, от которого, по его словам, «радуется только Китай».

Почетный профессор информатики Вашингтонского университета Педро Домингос относится к сторонникам ускоренного развития технологии.

«Путь к лучшему пониманию и контролю над ИИ — это больше исследований, а не меньше, — заявил он. — По-настоящему безответственным было бы создавать для них препятствия».

Генеральный директор Palantir Алекс Карп сказал: «Если бы у нас не было тех противников, которые у нас есть, я был бы полностью за то, чтобы полностью приостановить развитие этой технологии. Но они есть. Её нельзя останавливать, потому что она даёт структурное преимущество».

США и Китай с большим отрывом лидируют в развитии искусственного интеллекта. Существует мнение, что уступить Пекину лидерство означало бы оказаться в ситуации, которую уже невозможно исправить, а значит, ни о каком замедлении не может быть и речи.

Такой подход рассматривает ИИ как своеобразное супероружие, аналогичное наращиванию ядерных арсеналов во время холодной войны, а модели искусственного интеллекта — как оружие массового уничтожения, а не совокупность разнообразных технологий с широким спектром применения.

Амодей заявил, что «лидерство Китая в сфере ИИ представляло бы серьезную опасность для США и всего мира».

Представитель китайского правительства в ответ заявил, что «нагнетание страха, конфронтация и жестокая конкуренция только помешают процессу глобального управления ИИ, что не соответствует ничьим интересам».

Некоторые обозреватели видят ещё один мотив в том, как Вашингтон и Anthropic описывают китайскую угрозу.

Инженер, работавший в Hugging Face, предположил, что призыв Амодея притормозить развитие самых передовых систем может быть продиктован желанием сдержать прогресс дешёвых китайских моделей ИИ с открытым исходным кодом.

Эти модели по своим возможностям уже почти не уступают системам OpenAI и Anthropic, но их исходный код доступен всем, а пользователям не нужно платить за их использование.

Они представляют серьезную угрозу для перспектив Anthropic и OpenAI стать прибыльными компаниями, а на кону стоят сотни миллиардов долларов.