День после AGI: Дарио Амодеи и Демис Хассабис о будущем человечества

Два человека, которые, возможно, знают о будущем искусственного интеллекта больше всех на планете, встретились в Давосе и обсудили сроки наступления AGI, риски гонки сверхдержав и то, как человечеству пережить "технологическое взросление". Дарио Амодеи из Anthropic прогнозирует, что через 6-12 месяцев ИИ будет выполнять всю работу программистов, а через год-два превзойдёт людей во всём. Демис Хассабис из Google DeepMind даёт человечеству чуть больше времени - 5-10 лет. Оба признают, что предпочли бы более медленный темп. И оба понимают, что замедлиться в одиночку не получится.

Беседу ведёт Занни Минтон Беддоус, главный редактор The Economist. Её собеседники - Дарио Амодеи, сооснователь и CEO Anthropic, и Демис Хассабис, сооснователь и CEO Google DeepMind, нобелевский лауреат 2024 года по химии за работу над AlphaFold. Разговор состоялся на Всемирном экономическом форуме в Давосе в январе 2026 года.

Занни Минтон Беддоус: Добро пожаловать всем, и тем, кто смотрит нас в прямом эфире - добро пожаловать на разговор, которого я ждала несколько месяцев. В прошлом году в Париже мне посчастливилось модерировать беседу между Дарио Амодеи и Демисом Хассабисом. Боюсь, больше всего внимания тогда привлёк тот факт, что вы двое были втиснуты в крошечный диванчик, пока я сидела на огромном кресле - вероятно, моя оплошность. Но тогда я сказала, что для меня это как вести разговор между Beatles и Rolling Stones. С тех пор вы не выступали вместе на сцене. Так что это, знаете, продолжение - группы снова вместе. Я в восторге. Вас представлять не нужно.

Тема нашего разговора - "День после AGI", что, пожалуй, немного забегает вперёд, потому что сначала стоит обсудить, как быстро и легко мы туда доберёмся. Хочу сначала узнать, что изменилось за год, а потом поговорить о последствиях.

Когда наступит AGI

Итак, о сроках. Дарио, в прошлом году в Париже вы сказали: "К 2026-27 году у нас будет модель, способная делать всё, что может человек, на уровне нобелевского лауреата в разных областях". Сейчас 26-й год. Вы всё ещё придерживаетесь этого прогноза?

Дарио Амодеи: Знаете, всегда сложно точно сказать, когда что-то произойдёт, но я не думаю, что этот прогноз окажется сильно ошибочным. Механизм, который я представлял, такой: мы создадим модели, хорошо пишущие код и хорошо занимающиеся исследованиями в области ИИ, и используем их для создания следующего поколения моделей, ускоряя процесс - создадим петлю, которая увеличит скорость разработки моделей.

Сейчас, если говорить о моделях, пишущих код, у меня в Anthropic есть инженеры, которые говорят: "Я больше не пишу код сам. Я просто даю модели писать код, редактирую его, делаю всё вокруг". Думаю, возможно, через 6-12 месяцев модель будет делать большую часть, а может и всю работу программистов от начала до конца. А дальше вопрос в том, как быстро замкнётся эта петля. Не каждую часть этой петли можно ускорить с помощью ИИ, верно? Есть чипы, есть производство чипов, есть время на обучение модели. Так что, знаете, я думаю, здесь много неопределённости. Легко представить, как это может занять несколько лет. Мне очень сложно представить, как это может занять больше. Но если бы меня спросили, я бы предположил, что всё пойдёт быстрее, чем люди думают. Этот ключевой элемент - код и всё больше исследований идут быстрее, чем мы думаем - станет главной движущей силой. Очень сложно предсказать, насколько эта экспонента нас ускорит, но что-то быстрое произойдёт.

Занни Минтон Беддоус: Демис, вы в прошлом году были чуть осторожнее. Вы говорили о 50-процентной вероятности появления системы со всеми когнитивными способностями человека к концу десятилетия. Очевидно, в программировании, как говорит Дарио, прогресс был замечательным. Каково ваше ощущение - вы придерживаетесь своего прогноза? И что изменилось за прошедший год?

Демис Хассабис: Да, смотрите, я думаю, мой прогноз примерно тот же. Прогресс был замечательный. Но некоторые области инженерной работы, программирование или, скажем, математика - чуть легче понять, как их автоматизировать. Отчасти потому, что результат можно проверить. Некоторые области естественных наук гораздо сложнее. Вы не обязательно узнаете, правильно ли построено химическое соединение или верно ли предсказание в физике. Возможно, придётся проверять экспериментально, и это займёт больше времени. Я также думаю, что сейчас не хватает некоторых способностей - не просто проверять существующие гипотезы или решать известные проблемы, а придумывать сам вопрос, создавать теорию или гипотезу. Я думаю, это гораздо, гораздо сложнее, и это высший уровень научного творчества. И неясно... Я думаю, такие системы появятся, это не невозможно, но, возможно, не хватает одной-двух ключевых составляющих. Ещё предстоит увидеть, во-первых, может ли эта петля самосовершенствования, над которой мы все работаем, действительно замкнуться без человека в контуре. Я думаю, у такой системы тоже есть риски, кстати, о которых стоит поговорить - уверен, мы это сделаем. Но это может ускорить процесс, если такая система заработает.

Гонка моделей: кто впереди

Занни Минтон Беддоус: К рискам мы вернёмся через минуту. Но ещё одно изменение за прошлый год - это смена расстановки сил в гонке, если хотите. Год назад только что случился момент с DeepSeek (китайский стартап, удививший рынок дешёвой и мощной моделью), все были невероятно взволнованы. И всё ещё было ощущение, что Google DeepMind как-то отстаёт от OpenAI. Я бы сказала, что сейчас картина совсем другая. То есть в OpenAI объявили "code red" (режим чрезвычайной ситуации), да? Год выдался насыщенным. Расскажите, что конкретно вас удивило в том, как хорошо вы выступили в этом году. А потом я спрошу вас о расстановке сил.

Демис Хассабис: Смотрите, я всегда был очень уверен, что мы вернёмся на вершину рейтингов и к лучшим показателям по всем типам моделей, потому что у нас всегда была самая глубокая и широкая исследовательская база. Вопрос был в том, чтобы собрать всё это воедино, вернуть интенсивность, фокус и дух стартапа всей организации. Это была большая работа. И нам ещё многое предстоит сделать. Но думаю, уже видно, какой прогресс достигнут - и в моделях с Gemini 3, и в продуктах, где приложение Gemini набирает долю рынка. Так что я чувствую, что мы делаем большие успехи, но работы ещё очень много. И знаете, мы задействуем Google DeepMind как своего рода машинное отделение Google, где привыкаем всё быстрее выпускать наши модели в продукты.

Независимые компании vs техногиганты

Занни Минтон Беддоус: Один вопрос к вам, Дарио, в этой связи, потому что вы только что провели или проводите новый раунд инвестиций с рекордной оценкой. Но вы, в отличие от Демиса, назовём это так, независимый создатель моделей. И есть, я думаю, растущее беспокойство, что независимые создатели моделей не смогут продержаться достаточно долго, пока не появятся доходы. Это открыто говорят об OpenAI. Расскажите, как вы об этом думаете. А потом перейдём к самому AGI.

Дарио Амодеи: Да, знаете, я думаю, мы смотрим на это так: по мере создания всё лучших моделей возникает экспоненциальная зависимость не только между объёмом вычислений, вложенных в модель, и её когнитивными способностями, но и между когнитивными способностями и доходами, которые она может генерировать. Наши доходы выросли в 10 раз за последние три года: с нуля до 100 миллионов в 2023-м, со 100 миллионов до миллиарда в 2024-м и с миллиарда до 10 миллиардов в 2025-м. И эти цифры, знаете, я не знаю, продолжится ли буквально эта кривая - было бы безумием, если бы так, - но они уже начинают приближаться к масштабу крупнейших компаний мира. Так что неопределённость всегда есть, мы пытаемся построить это с нуля, это безумная затея. Но я уверен, что если мы сможем создавать лучшие модели в тех областях, на которых сосредоточены, то всё будет хорошо. И вообще скажу: я думаю, это был хороший год и для Google, и для Anthropic. И то, что у нас общего, - это то, что обе компании, или исследовательские части компаний, возглавляются исследователями. Которые сосредоточены на моделях, на решении важных проблем в мире, у которых сложные научные задачи служат путеводной звездой. И я думаю, именно такие компании будут успешны в будущем. И, знаете, я думаю, это нас объединяет.

Занни Минтон Беддоус: Я удержусь от соблазна спросить, что будет с компаниями, которые возглавляют не исследователи. Потому что знаю, что вы не ответите. Но давайте перейдём к прогнозам. Мы вроде бы должны говорить о дне после AGI. Но давайте поговорим о замыкании петли. Каковы шансы, что вы получите модели, которые замкнут петлю и смогут, так сказать, улучшать сами себя? Потому что это действительно ключевой момент для сценария "победитель получает всё". Вы всё ещё верите, что мы это увидим? Или это будет скорее обычная технология, где догоняющие могут конкурировать?

Демис Хассабис: Смотрите, я точно не думаю, что это будет обычная технология. Как упомянул Дарио, уже есть аспекты, где ИИ помогает с программированием и некоторыми исследованиями. Но полное замыкание петли - это пока неизвестность. Думаю, это возможно. Возможно, для этого в некоторых областях понадобится сам AGI - там, где больше хаоса, где не так легко быстро проверить ответ, где задачи вычислительно сложны. Как только вы начинаете углубляться... Я, кстати, включаю в AGI и физический ИИ, робототехнику, всё это. И тогда в контуре оказывается железо. Это может ограничить скорость систем самосовершенствования. Но в программировании, математике и подобных областях я определённо вижу, что это сработает. А дальше вопрос более теоретический: каков предел инженерии и математики в решении задач естественных наук?

Риски и "технологическое взросление"

Занни Минтон Беддоус: Дарио, в прошлом году, кажется, вы опубликовали "Machines of Loving Grace" - очень, я бы сказала, оптимистичное эссе о потенциале, который вы видите впереди. Вы говорили о "стране гениев в дата-центре". Мне сказали, что вы работаете над продолжением, новым эссе. Так что, ребята, ждите, оно ещё не вышло, но скоро выйдет. Но, может, расскажете вкратце - каков ваш главный вывод год спустя?

Дарио Амодеи: Да. Мой взгляд не изменился. Я всегда считал, что ИИ будет невероятно мощным. Думаю, мы с Демисом в этом согласны. Вопрос только в точных сроках. И поскольку он невероятно мощный, он сделает все эти замечательные вещи, о которых я писал в "Machines of Loving Grace". Поможет вылечить рак, возможно, поможет искоренить тропические болезни, поможет понять вселенную. Но есть эти огромные и серьёзные риски, которые - нет, мы можем с ними справиться, я не думер - но о которых нужно думать и которые нужно решать.

Сначала я написал "Machines of Loving Grace". Хотел бы дать какую-то сложную причину, почему написал это первым, но просто позитивное эссе было легче и веселее писать, чем негативное. Так что, знаете, я наконец провёл время в отпуске и смог написать эссе о рисках. И даже когда пишу о рисках, я пытаюсь... я оптимист по натуре. Так что даже описывая эти риски, я писал в ключе: как нам преодолеть эти риски? Как составить боевой план для борьбы с ними?

И я обрамил это так. Есть сцена в "Контакте" Карла Сагана (фильм 1997 года), где они обнаруживают инопланетную жизнь, и международная комиссия проводит собеседования с кандидатами на роль представителя человечества для встречи с пришельцами. И один из вопросов кандидату: "Если бы вы могли задать инопланетянам один вопрос, какой бы это был?" И один из персонажей отвечает: "Я бы спросил: как вам это удалось? Как вы смогли пройти через это технологическое взросление, не уничтожив себя? Как вы справились?"

С тех пор как я посмотрел этот фильм - лет 20 назад, кажется - это засело у меня в голове. И именно так я решил структурировать эссе: мы стучимся в дверь невероятных возможностей. Способность строить машины, по сути, из песка. Я думаю, это было неизбежно с того момента, как мы начали работать с огнём. Но то, как мы с этим справимся, - не неизбежно.

И я думаю, в ближайшие годы мы будем разбираться с тем, как удержать под контролем эти системы, которые высокоавтономны и умнее любого человека. Как убедиться, что отдельные люди не используют их во зло - меня беспокоит, например, биотерроризм. Как убедиться, что государства не злоупотребляют ими - поэтому я так обеспокоен КПК и другими авторитарными правительствами. Каковы экономические последствия - я много говорил о вытеснении рабочей силы. И что мы ещё не учли - что, возможно, сложнее всего.

Так что я думаю, как решать эти риски. Где-то это то, что мы должны делать сами как руководители компаний, где-то - то, что мы можем делать вместе. И ещё понадобится какая-то роль для более широких общественных институтов, таких как правительство, в решении всего этого. Но, знаете, я просто чувствую эту срочность. Каждый день происходит всякое безумие во внешнем мире, за пределами ИИ. Но моё мнение - это происходит так быстро и это такой кризис, что мы должны посвятить почти все усилия тому, чтобы пройти через это.

Занни Минтон Беддоус: Не могу решить, чему я больше удивлена: A) что вы берёте отпуск, B) что в отпуске думаете о рисках ИИ, или C) что ваше эссе построено вокруг вопроса "пройдём ли мы через технологическое взросление, не уничтожив себя?" У меня немного кружится голова. Но вы упомянули несколько областей, которые могут направить остаток нашего разговора.

Рабочие места и экономика

Начнём с рабочих мест. Вы были очень откровенны об этом, и, кажется, сказали, что половина начальных позиций белых воротничков может исчезнуть в течение одного-пяти лет. Но я обращусь к вам, Демис, потому что пока мы не видели никакого заметного влияния на рынок труда. Да, безработица в США немного выросла, но все экономические исследования, которые я видела и о которых мы писали, говорят, что это перебор с наймом после пандемии, а не влияние ИИ. Если что, люди нанимают, чтобы развивать ИИ-инфраструктуру. Вы думаете, что это будет так, как всегда утверждали экономисты - что это не заблуждение о фиксированном объёме труда, что на самом деле появятся новые рабочие места? Потому что пока данные говорят именно об этом.

Демис Хассабис: Да, я думаю, в ближайшей перспективе так и будет. Обычная эволюция при появлении прорывной технологии. Какие-то рабочие места исчезнут, но, думаю, появятся новые, ещё более ценные, возможно, более осмысленные работы. Думаю, в этом году мы увидим начало влияния на младшие позиции, начальный уровень, стажировки и тому подобное. Есть некоторые признаки, мы сами это чувствуем - может быть, замедление найма в этой категории. Но думаю, это может быть с лихвой компенсировано тем, что есть эти удивительные творческие инструменты, доступные практически всем почти бесплатно. Если бы я сейчас говорил с группой студентов, я бы советовал им стать невероятно искусными в использовании этих инструментов. Настолько, что даже мы, кто их создаёт, - мы так заняты созданием, что трудно найти время, чтобы по-настоящему исследовать почти что избыток возможностей, который есть уже в сегодняшних моделях и продуктах, не говоря о завтрашних. И я думаю, это может быть лучше традиционной стажировки - позволит быстрее стать полезным в профессии. Так что я вижу именно это в ближайшие пять лет. Может, мы снова немного расходимся в сроках. Но что произойдёт после прихода AGI - это другой вопрос. Потому что тогда мы окажемся на неизведанной территории.

Занни Минтон Беддоус: Вы думаете, это займёт больше времени, чем вы думали в прошлом году, когда говорили о половине всех позиций белых воротничков?

Дарио Амодеи: Нет, у меня примерно тот же взгляд. Я на самом деле согласен с вами и с Демисом, что в момент, когда я делал то заявление, влияния на рынок труда не было. Я не говорил, что оно было в тот момент. Сейчас, думаю, мы начинаем видеть только самое начало - в софте и программировании. Я вижу это даже внутри Anthropic, где я могу предвидеть время, когда на младших позициях, а потом и на средних, нам будет нужно меньше людей, а не больше. И мы думаем, как справиться с этим внутри Anthropic разумным образом. Один-пять лет по состоянию на полгода назад - я бы этого придерживался. Если связать это с тем, что я говорил раньше - что ИИ может стать лучше людей во всём через год-два, может немного дольше, - эти цифры не сходятся. Причина в том, что есть задержка, есть процесс замещения. Я знаю, что рынок труда адаптивен. Как 80% людей раньше занимались сельским хозяйством, сельское хозяйство автоматизировалось, они стали фабричными рабочими, потом работниками умственного труда. Так что здесь тоже есть адаптивность, и нужно понимать, как работает рынок труда. Но меня беспокоит, что по мере ускорения этого экспоненциального роста - а я не думаю, что это займёт много времени, снова где-то между годом и пятью - он превысит нашу способность адаптироваться. Думаю, я говорю то же, что Демис, просто с учётом разницы в наших оценках сроков, которая в конечном счёте сводится к тому, как быстро замкнётся петля с кодом.

Занни Минтон Беддоус: И насколько вы уверены, что правительства понимают масштаб происходящего и начинают думать о необходимых мерах?

Демис Хассабис: Я не думаю, что ведётся хоть сколько-нибудь достаточная работа над этим. Меня постоянно удивляет, даже когда я встречаюсь с экономистами в таких местах, что не больше профессиональных экономистов, профессоров думают о том, что произойдёт. И не только на пути к AGI, но даже если мы правильно решим все технические проблемы, о которых говорит Дарио. Вытеснение рабочих мест - один вопрос, мы беспокоимся об экономике этого, но, может быть, есть способы распределять эту новую производительность, это новое богатство более справедливо. Не знаю, есть ли у нас подходящие институты для этого, но именно это должно происходить на том этапе. Возможно, мы окажемся в мире изобилия. Но есть даже более важные вопросы - то, что не даёт мне спать по ночам - связанные со смыслом и целью, с тем, что мы получаем от работы помимо денег. Как ни странно, мне кажется, этот вопрос легче решить, чем вопрос о том, что будет с человеческой природой и человечеством в целом. И я тоже верю, что мы найдём новые ответы. Мы сегодня делаем много вещей - от экстремальных видов спорта до искусства - которые не связаны напрямую с экономической выгодой. Так что, думаю, мы найдём смысл, и, может быть, появятся ещё более сложные и интересные версии этих занятий. Плюс, я думаю, мы будем исследовать звёзды, так что это тоже надо учитывать с точки зрения цели. Но я думаю, стоит подумать об этом уже сейчас - даже по моим срокам, 5-10 лет. Не так много времени.

Общественная реакция

Занни Минтон Беддоус: Насколько велик, по-вашему, риск народного недовольства ИИ, которое может заставить правительства делать, с вашей точки зрения, глупые вещи? Я думаю об эпохе глобализации 1990-х, когда действительно было вытеснение рабочих мест, правительства не сделали достаточно, общественная реакция была такой, что мы оказались там, где оказались. Вы думаете, есть риск растущей неприязни к тому, что вы делаете, и к вашим компаниям в обществе?

Демис Хассабис: Думаю, такой риск точно есть. И это, пожалуй, обоснованно. Есть страх, есть беспокойство о рабочих местах и доходах. Тут важно вот что. Ближайшие годы будут очень сложными - и геополитически, и по многим другим причинам. Мы хотим - и пытаемся делать это с AlphaFold, нашей научной работой и Isomorphic Labs (дочерняя компания DeepMind для разработки лекарств с помощью ИИ) - победить все болезни. Лечить болезни, создавать новые источники энергии. Думаю, как общество мы явно этого хотим. Мне кажется, индустрия недостаточно смещена в сторону такой деятельности. Нам нужно больше примеров - я знаю, Дарио согласен - чего-то вроде AlphaFold, что несёт однозначное благо миру. И я думаю, именно на индустрии и всех нас, ведущих игроках, лежит обязанность показывать это больше, демонстрировать это, а не просто говорить об этом. Но это будет сопровождаться другими сопутствующими потрясениями.

А ещё есть вопрос геополитической конкуренции. Очевидно, конкуренция между компаниями, но также между США и Китаем в первую очередь. Если не будет международного сотрудничества - а оно нужно, например, для минимальных стандартов безопасности при развёртывании, думаю, Дарио согласится - это будет проблема. Эта технология будет трансграничной. Она затронет всех. Она затронет всё человечество. Кстати, "Контакт" - один из моих любимых фильмов тоже, забавно, я не знал, что и ваш тоже, Дарио. Но, думаю, такие вещи нужно проработать. И если получится, может быть, хорошо бы немного... чуть более медленный темп, чем мы сейчас предсказываем, даже по моим срокам, чтобы сделать всё правильно с точки зрения общества. Но это потребует координации, которая...

Дарио Амодеи: Я предпочитаю ваши сроки.

Демис Хассабис: Думаю, они были бы лучше по многим причинам.

Дарио Амодеи: Соглашусь.

Геополитика и чипы

Занни Минтон Беддоус: Но, Дарио, давайте перейдём к этому, потому что с момента нашей встречи в Париже геополитическая обстановка, если что, стала... не знаю, сложнее, безумнее, безумнее - какое слово ни выбери. Во-вторых, у США теперь совсем другой подход к Китаю. Гораздо более - назовём это "без правил, вперёд на всех парах", но при этом продаём чипы Китаю. Так что изменилось отношение к Соединённым Штатам. И очень странные отношения между США и Европой сейчас геополитически. На этом фоне, я слышу, вы говорите о том, что было бы неплохо иметь организацию типа ЦЕРН (Европейская организация по ядерным исследованиям - пример успешной международной научной кооперации). Но это за миллион лет от реального мира. Так вот, в реальном мире геополитические риски выросли? И что, по-вашему, следует с этим делать? А администрация, похоже, делает противоположное тому, что вы предлагали.

Дарио Амодеи: Да, знаете, мы просто пытаемся делать всё возможное. Мы всего лишь одна компания, и мы пытаемся работать в той среде, которая есть, какой бы безумной она ни была. Но, знаете, по крайней мере мои рекомендации по политике не изменились. Не продавать чипы - одна из главных вещей, которые мы можем сделать, чтобы у нас было время справиться с этим. Я говорил раньше - я предпочитаю сроки Демиса. Хотелось бы иметь 5-10 лет. Возможно, он просто прав, а я ошибаюсь. Но допустим, прав я, и это можно сделать за год-два. Почему мы не можем замедлиться до сроков Демиса?

Занни Минтон Беддоус: Ну, вы могли бы просто замедлиться.

Дарио Амодеи: Нет, причина, по которой мы не можем это сделать, в том, что у нас есть геополитические противники, строящие ту же технологию примерно такими же темпами. Очень сложно заключить соглашение, которое можно было бы принудительно исполнить, где они замедляются и мы замедляемся. И если мы просто не будем продавать чипы, то это уже не вопрос конкуренции между США и Китаем. Это вопрос конкуренции между мной и Демисом - и я очень уверен, что мы сможем договориться.

Занни Минтон Беддоус: И что вы думаете о логике администрации, которая, как я понимаю, состоит в том, что нам нужно продавать им чипы, чтобы привязать их к американским цепочкам поставок?

Дарио Амодеи: Это вопрос не только временных рамок, но и значимости технологии. Если бы это был телеком или что-то подобное, тогда всё это про распространение американского стека и желание строить наши чипы по всему миру, чтобы какие-то случайные страны в разных частях мира строили дата-центры с чипами Nvidia, а не Huawei. Но я думаю об этом скорее как... это решение: собираемся ли мы продавать ядерное оружие Северной Корее, потому что это приносит какую-то прибыль Boeing? Где мы можем сказать: "О да, эти корпуса сделал Boeing, США побеждают, отлично". Эта аналогия должна прояснить, как я вижу этот компромисс - мне это просто кажется бессмысленным. И мы делали много более агрессивных вещей по отношению к Китаю и другим игрокам, которые, я думаю, гораздо менее эффективны, чем эта одна мера.

Риск злонамеренного ИИ

Занни Минтон Беддоус: Ещё один вопрос от меня, а потом, надеюсь, будет время на вопрос из зала. Другая область потенциального риска, о которой беспокоятся думеры, - это некий всемогущий злонамеренный ИИ. И я думаю, вы оба относились к позиции думеров скептически. Но за последний год мы видели, как эти модели демонстрируют способность к обману, двуличию. Вы думаете об этом риске иначе, чем год назад? И есть ли что-то в том, как модели эволюционируют, что должно вызывать больше беспокойства?

Дарио Амодеи: Да, знаете, с самого основания Anthropic мы думали об этом риске. Наши исследования в начале были очень теоретическими. Мы первыми развили идею механистической интерпретируемости (mechanistic interpretability - метод "вскрытия" нейросетей для понимания их внутренней логики) - заглянуть внутрь модели и попытаться понять, глядя в её "мозг", почему она делает то, что делает. Как нейроучёные - а мы оба по образованию нейроучёные - пытаются понять мозг. И я думаю, со временем мы всё больше документировали плохое поведение моделей, когда оно возникает, и теперь работаем над тем, чтобы решить это с помощью механистической интерпретируемости. Так что, знаете, я всегда был обеспокоен этими рисками. Я много раз говорил с Демисом, думаю, он тоже обеспокоен этими рисками. Думаю, я определённо был - и подозреваю, Демис тоже, хотя пусть сам скажет - скептичен к думеризму, то есть к позиции "мы обречены, ничего нельзя сделать" или "это наиболее вероятный исход". Я думаю, это риск. Риск, с которым мы можем справиться, если все будем работать вместе. Мы можем научиться через науку правильно контролировать и направлять эти создания, которые мы строим. Но если мы будем строить их плохо, если все будут гнаться за первенством и двигаться так быстро, что не будет никаких ограничителей, тогда, я думаю, есть риск, что что-то пойдёт не так.

Занни Минтон Беддоус: Дам вам возможность ответить на это в контексте чуть более широкого вопроса: за прошедший год вы стали больше верить в позитивный потенциал технологии, науки, всех областей, о которых вы много говорили? Или вы больше беспокоитесь о рисках, которые мы обсуждали?

Демис Хассабис: Смотрите, Занни, я работаю над этим больше 20 лет. Мы уже знали... причина, по которой я посвятил всю карьеру ИИ - это потенциал создания главного инструмента для науки и понимания вселенной вокруг нас. Я одержим этим с детства. И создание ИИ должно стать главным инструментом для этого, если мы сделаем всё правильно. О рисках мы тоже думаем с самого начала, по крайней мере с основания DeepMind 15 лет назад. И мы понимали с самого начала: если технология даёт преимущества - это технология двойного назначения, её могут использовать злоумышленники во вред. Так что нам нужно было думать об этом всё время. Но я верю в человеческую изобретательность. Вопрос в том, хватит ли времени, внимания и сотрудничества лучших умов для решения этих проблем. Уверен, если всё это будет - мы справимся с техническими рисками. Возможно, у нас этого не будет, и тогда появится риск, потому что всё будет фрагментировано, будут разные проекты, люди будут гнаться друг за другом. Тогда гораздо сложнее убедиться, что системы, которые мы создаём, будут технически безопасны. Но я чувствую, что это вполне решаемая проблема, если есть время и пространство.

Парадокс Ферми

Занни Минтон Беддоус: Хочу убедиться, что будет хотя бы один вопрос. Господин там. Очень коротко, потому что у нас буквально две минуты.

Филип (зритель): Здравствуйте. Спасибо большое. Я Филип, сооснователь Star C, строим дата-центры в космосе. Хотел задать немного философский вопрос. Самый сильный аргумент в пользу думеризма для меня - парадокс Ферми, идея о том, что мы не видим разумной жизни в нашей галактике. Интересно, есть ли у вас мысли по этому поводу?

Демис Хассабис: Да, я много об этом думал. Это не может быть причиной, потому что мы должны были бы видеть все ИИ, которые... Для тех, кто не знает: идея в том, что... ну, непонятно, почему бы так было. То есть если причина парадокса Ферми в том, что инопланетяне гибнут от собственных технологий, мы должны видеть "скрепки", летящие к нам из какой-то части галактики (отсылка к мысленному эксперименту о ИИ, который превращает всю материю во вселенной в скрепки). А мы, судя по всему, не видим. Мы не видим никаких структур. Ни сфер Дайсона (гипотетические мегаструктуры вокруг звёзд для сбора энергии), ничего. Ни следов ИИ, ни биологических цивилизаций. Так что, по-моему, должен быть другой ответ на парадокс Ферми. У меня есть свои теории, но это выходит за рамки следующей минуты. Но, знаете, моё предсказание, моё ощущение - мы уже прошли Великий фильтр (гипотетический барьер, который не даёт цивилизациям развиться до межзвёздного уровня). Вероятно, это была многоклеточная жизнь, если угадывать. Эволюция многоклеточных организмов была невероятно сложным процессом. Так что мы на... это не значит, что дальше будет легко. Я думаю, нам, человечеству, предстоит написать, что будет дальше.

Что изменится через год

Занни Минтон Беддоус: Это могла бы быть отличная дискуссия, но она выходит за рамки следующих 36 секунд. Но что не выходит - по 15 секунд каждому: что изменится, когда мы встретимся снова, надеюсь, в следующем году, втроём, чего бы мне очень хотелось?

Дарио Амодеи: Думаю, главное, за чем следить, - это вопрос ИИ-систем, создающих ИИ-системы. Как это пойдёт, в ту или другую сторону - это определит, осталось ли нам ещё несколько лет, или нас ждут чудеса и серьёзные потрясения одновременно.

Демис Хассабис: ИИ-системы, создающие ИИ-системы. Согласен, мы внимательно следим за этим. Но также, думаю, помимо этого есть другие интересные идеи, которые исследуются - мировые модели (world models - внутренние представления о мире), непрерывное обучение (continual learning - способность учиться без "забывания" старого). Это то, что, на мой взгляд, нужно будет решить, если самосовершенствование само по себе не даст результатов. Тогда нам понадобятся эти другие вещи. И ещё, думаю, робототехника может пережить свой прорывной момент.

Занни Минтон Беддоус: Но, может быть, на основе того, что вы только что сказали, нам всем стоит надеяться, что у вас это займёт чуть больше времени. И у всех остальных тоже - чтобы дать нам немного больше времени.

Дарио Амодеи: Я бы предпочёл это.

Демис Хассабис: Думаю, это было бы лучше для мира.

Занни Минтон Беддоус: Но вы, ребята, могли бы что-то с этим сделать. Большое спасибо вам обоим.