ИИ способен уничтожить человечество уже через 10 лет: прогноз эксперта по безопасности

Бывший инженер Google, президент Института исследований машинного интеллекта (Machine Intelligence Research Institute, MIRI) Нейт Соарес считает, что неконтролируемое развитие искусственного интеллекта может привести к исчезновению человечества уже в течение следующих десяти лет. Ранее подобное мнение высказал бывший сотрудник OpenAI Даниэль Кокотайло. Из-за этого риска Соарес около десяти лет не пополняет свой пенсионный счет, сообщает Fortune.

«Я не из тех, кто верит в апокалипсис на рынке труда из-за ИИ. Я из тех, кто считает, что ИИ может убить всех людей», — подчеркнул Соарес.

В интервью генеральному директору The Atlantic Николасу Томпсону Соарес объяснил, почему считает создание сверхинтеллектуального ИИ более опасным, чем ядерное оружие. Он призывает правительства рассматривать эту угрозу как вопрос национальной безопасности и быть готовыми ограничивать разработку таких систем.

«На мой взгляд, вероятность того, что у нас даже нет в запасе десяти лет, составляет более 50%», — заявил Соарес в подкасте The Most Interesting Thing in AI.

В 2014 году Соарес ушел из Google и присоединился к некоммерческой организации MIRI, которая изучает, как обеспечить соответствие поведения передовых систем ИИ замыслам разработчиков. Вместе с соучредителем института Элиезером Юдковским он написал книгу If Anyone Builds It, Everyone Dies («Если кто-то создаст это — все погибнут»).

Авторы утверждают, что сверхинтеллектуальный ИИ, созданный современными методами, может сформировать цели, которые его разработчики не предусмотрели и не смогут контролировать. По их мнению, это может привести к гибели человечества.

В книге описан сценарий, при котором ИИ вырывается из лаборатории, запускает собственные копии на компьютерах без надлежащего надзора, а впоследствии распространяет вирус. Однако в беседе с Томпсоном Соарес предположил, что в реальности потеря контроля может произойти гораздо быстрее — в процессе, который называют «взрывом интеллекта», когда возможности ИИ стремительно растут. Эксперт сравнил свою уверенность в опасном исходе с партией в шахматы против норвежского гроссмейстера Магнуса Карлсена: он уверен в исходе, но не знает, каким именно ходом будет поставлен мат.

В то же время Соарес не считает катастрофу неизбежной. Он отметил: «Я делаю всё, что в моих силах, чтобы предотвратить такое развитие событий».

Если же предотвратить катастрофу не удастся, Соарес предлагает не прекращать борьбу за безопасность. Он вспомнил эссе К. С. Льюиса 1948 года «On Living in an Atomic Age» («О жизни в атомную эпоху»), в котором автор описывает людей, на которых падает бомба во время игры в теннис.

«Пусть это застанет нас в тот момент, когда мы убеждаем наши правительства заключать договоры о нераспространении ядерного оружия», — добавил Соарес.

Эксперт убежден, что государства должны относиться к неконтролируемому суперинтеллектуальному ИИ «по крайней мере так же серьезно, как к ядерному оружию». По его мнению, опасность заключается в том, что такая система потенциально может самостоятельно развиваться и действовать без человеческого контроля.

«Честно говоря, это даже опаснее, чем ядерное оружие. Ядерное оружие не может сбежать и самостоятельно увеличить свою мощность. Оно способно стереть с лица земли город, но не всю планету», — утверждает эксперт.

Соарес считает, что правительства должны быть готовы к жестким мерам, если разработка суперинтеллекта будет представлять реальную угрозу. В качестве примера он привёл действия США в отношении иранских объектов по обогащению урана, которые рассматриваются через призму риска создания ядерного оружия.

«Я вполне могу представить, что поддержал бы авиаудары по канадским дата-центрам, если бы там пытались создать искусственный суперинтеллект и имели реальные шансы добиться успеха», — заявил эксперт.

В конце беседы Томпсон спросил Соареса, на что тот потратил бы деньги при неограниченном бюджете. Эксперт ответил, что выкупил бы всю цепочку поставок микрочипов, а затем прекратил бы поставки процессоров компаниям, разрабатывающим опасные системы. Он подытожил: «Ребята, чипов для вас больше не будет».

Предостережения Соареса привлекли больше внимания после того, как в сентябре исследователь Anthropic Джейкоб Коксон уволился и написал в соцсети X, что люди, разрабатывающие ИИ, «искренне верят, что к концу десятилетия он может убить нас всех». По словам Соареса, Коксон связался с ним за день или два до ухода. Тогда эксперт посоветовал ему попытаться объединить коллег и добиваться перемен внутри компании, однако впоследствии признал, что рад его решению.

Еще одним важным эпизодом стал инцидент в июле, когда группа из примерно 700 автономных агентов ИИ OpenAI взломала платформу Hugging Face. Во многих случаях агенты пытались скрыть свои действия. Соарес заявил, что этот случай вселил в него надежду, поскольку продемонстрировал часть рисков, о которых он предупреждал, но, насколько известно, не нанёс долгосрочного ущерба.

В то же время ряд ученых и представителей индустрии выразили скептицизм по поводу апокалиптических прогнозов. Академические эксперты назвали количественные оценки катастрофических рисков ненаучными из-за невозможности их верификации. Кроме того, противники жестких ограничений, в частности Илон Маск и представители республиканских кругов, раскритиковали призывы к государственному контролю, расценив их как попытку крупных лабораторий искусственно затормозить развитие открытых моделей и конкурентов на фоне технологической гонки между США и Китаем.