Генезис ИИ: Последнее предупреждение Киссинджера

В марте 2016 года корейский гроссмейстер Ли Седоль столкнулся с чем-то неожиданным. После трех поражений подряд от компьютерной программы AlphaGo в древней игре го он испытывал не столько разочарование, сколько изумление. В одной из партий машина сделала настолько нестандартный ход, что заставила переосмыслить саму природу искусственного интеллекта. Этот момент стал символическим предвестником новой эры — эры, где ИИ демонстрирует способности, выходящие за рамки человеческого понимания.

Об этой надвигающейся трансформации рассказывает книга "Genesis", написанная Генри Киссинджером в соавторстве с Эриком Шмидтом и Крейгом Манди. В отличие от предыдущих технологических революций, развитие ИИ представляет собой не просто появление нового инструмента, а рождение потенциально автономного актора, способного к самосовершенствованию и принятию решений.

Искусственный интеллект может стать универсальным гением - полиматом, совершающим прорывные открытия на стыке наук, недоступные даже самым выдающимся человеческим умам. Он может объединить, казалось бы, несвязанные области знаний, такие как генетика, лингвистика, космология и психология, в единую "целостность знания", выявляя скрытые закономерности и взаимосвязи. О подобном видении развития мощного ИИ в самые ближайшие годы читайте в эссе Дарио Амодеи: Машины благодатной любви: Будущее ИИ от биологии до политики.

Книга "Genesis" стала последним трудом Генри Киссинджера, легендарного американского дипломата и государственного деятеля, который скончался в ноябре 2023 года в возрасте ста лет, вскоре после завершения рукописи. Примечательно, что в свои 93 года Киссинджер, известный прежде всего как архитектор внешней политики США в период холодной войны, смог полностью погрузиться в совершенно новую для себя область технологий.

В последние годы жизни он был одержим идеей предотвращения потенциальных рисков ИИ, а его последней дипломатической миссией стал визит в Пекин по приглашению председателя Си Цзиньпина для обсуждения именно этой темы.

Его соавторами выступили два признанных эксперта в области технологий - Эрик Шмидт, бывший генеральный директор Google, который помог превратить компанию из стартапа в глобального технологического лидера (к слову, сейчас состояние Шмидта оценивают в $35 млрд), и Крейг Манди, долгое время занимавший пост главного директора по исследованиям и стратегии в Microsoft, а позже ставший советником руководства OpenAI.

Эрик Шмидт, активно отслеживающий войну дронов в Украине, в своих недавних выступлениях прогнозирует три ключевых прорыва в развитии искусственного интеллекта в ближайшие 1-2 года, включая появление бесконечного контекстного окна для обработки миллионов слов в секунду, развитие автономных ИИ-агентов и возможность мгновенного преобразования текста в программный код. Шмидт полагает, что в течение 2025 года появятся первые версии этих технологий, а их полноценная реализация займет около 2 лет, с широким распространением через 5 лет. Однако он предупреждает о двух основных потенциальных препятствиях - нехватке финансирования и электроэнергии, которые могут замедлить этот процесс.

Предлагаем рассмотреть некоторые идеи, высказанные Киссинджером, Шмидтом и Манди в книге “Genesis” применительно к вызовам в политике, войне, геополитике и экономике в эру ИИ.

Политика в эпоху ИИ

История знает немало примеров того, как технологическое превосходство воспринималось как проявление божественной силы. Когда испанские конкистадоры впервые появились у берегов империи ацтеков, их корабли и огнестрельное оружие казались местным жителям сверхъестественными. Монтесума II, верховный правитель ацтеков, оказался парализован не только видом этих "божественных" пришельцев, но и совпадением их появления с древними пророчествами. Однако его империя оказалась расколота в реакции на пришельцев: если Монтесума проявлял щедрость к гостям, предлагая пиры и даже свою дочь в жены Кортесу, то его младший брат Куитлауак, глава грозных сил безопасности ацтеков, с самого начала относился к чужеземцам с подозрением и настаивал на их изгнании.

Сегодня мы находимся в схожей ситуации. Ни один государственный лидер не готов к появлению сущностей, чьи возможности могут показаться божественными. И как в случае с ацтеками, современные общества расколоты в своей реакции на ИИ: одни стремятся использовать его для укрепления власти, другие пытаются ограничить его влияние, опасаясь непоправимых последствий.

Эта неопределенность усугубляется цикличной природой политической власти. Подобно тому, как в индуистской традиции мир проходит через циклические "ночи хаоса" на бесконечном колесе существования, политические системы также подвержены циклам создания и разрушения. Многие индуисты верят, что мы живем в лучшей части худшей эпохи - Кали-юги, века духовной тьмы, когда люди ложно считают себя выше богов. Появление ИИ может ознаменовать либо выход из этих циклов, либо начало нового, гораздо более длительного цикла.

Традиционно человеческое лидерство было больше искусством, чем наукой. В современной истории особенно выделяются такие исключительно успешные лидеры, как Дэн Сяопин в Китае, Александр Гамильтон в США и Ли Куан Ю в Сингапуре. Все трое сумели высвободить скрытые социальные силы, которые находились вне контроля любого отдельного человека. Дэн соединил капитализм с древней меритократической бюрократией, у которой не было работающей экономической доктрины; Гамильтон позволил новой политической философии распространиться по широкому фронтиру в условиях отсутствия единой политической системы; Ли создал остров совершенства, требуя его возникновения несмотря на крайне ограниченные ресурсы.

Каждый из этих лидеров сочетал удивительные способности ума с интенсивной силой воли и личной харизмой. В политическом языке и других формах убеждающей риторики человеческие акторы обычно проецируют видение будущего своих обществ, которое, если заимствовать у Аристотеля, состоит из одной части логоса (логики), одной части этоса (личного авторитета) и одной части пафоса (эмоциональной связи). Эти стратегии – отчасти моральные, отчасти психологические – необходимы для создания и поддержания единых культурных идентичностей и согласованных политических систем.

Однако наша человеческая склонность к эмоциональному и эстетическому может быть также нашим недостатком. Даже самые мудрые лидеры, движимые инстинктом и умеряемые осторожностью, иногда управляют на основе мимолетных страстей. Правительства (как и корпорации, церкви и семьи – все организации, спроектированные и управляемые несовершенными людьми) представляют собой несовершенное сочетание унаследованной традиции и экспериментирования.

Как считают авторы, ИИ может внести в политическое управление беспрецедентную объективность, будучи свободным от человеческих слабостей. При этом возникает фундаментальная проблема непрозрачности его решений. В эпоху Просвещения знание основывалось на возможности эксперимента как критерия доказательства, а информация, не подкрепленная доказательствами, считалась неполной и ненадежной. Но в эпоху ИИ мы сталкиваемся с новым и особенно сложным вызовом: информацией без объяснения. Ответы ИИ приходят мгновенно, они могут быть высокоартикулированными и связными описаниями сложных концепций – но они появляются без видимой предвзятости или мотивации, а также без ссылок на источники или других обоснований.

Это возрождает древнюю идею Платона о философе-короле, но в совершенно новом воплощении. Проблема философа-короля всегда заключалась в ограниченных возможностях единственного человеческого разума. Даже если бы достаточно информации могло быть собрано достаточно быстро, самые опытные человеческие лидеры обладали бы лишь частью необходимых когнитивных функций для анализа информации и принятия хорошо обоснованного решения. Мир просто слишком сложен, а человеческая интуиция имеет свои пределы. ИИ может предложить решение этой древней проблемы, обеспечивая беспрецедентную способность к обработке информации и принятию решений.

ИИ может сделать возможным то, что раньше считалось утопией - эффективное централизованное управление. До сих пор, как отмечал Фридрих Хайек, попытки тотального контроля всегда проваливались из-за неспособности центральной власти учесть все локальные особенности. Парадоксально, но именно отказ от избыточного контроля позволял обществу развиваться естественным путем, высвобождая скрытый потенциал людей и ресурсов.

Ключевым недостатком централизованных систем, когда информация все еще должна была передаваться по суше, а не волнами через воздух, было время задержки коммуникации. Некоторые предполагали, что в двадцать первом веке почти мгновенная скорость передачи информации позволит централизованным системам сравняться с диффузными. Этого не произошло. Узким местом, как выяснилось, была не скорость, а сложность.

Атрибуты машин, такие как скорость, масштаб и разрешающая способность, теперь делают возможным для централизованного ИИ конкурировать и потенциально превзойти децентрализованные процессоры информации. Демократический ответ Аристотеля мог быть более этичным, чем ответ Платона, но тогда он победил в битве истории именно потому, что был более эффективным.

ИИ вряд ли уничтожит демократию, но он может радикально изменить то, как она работает. Это может привести к созданию своего рода демократической фондовой биржи, единого рынка идей, оцениваемых с невероятной скоростью. ИИ может быть способен учитывать перспективы миллиардов или даже триллионов будущих людей, тем самым точно оценивая текущие и отдаленные будущие выгоды и вред от, например, разрушительного технологического прогресса.

На протяжении тысячелетий политическая драма разыгрывалась с участием одних и тех же архетипов: трагического героя-принца, предательского советника, благородного лейтенанта, придворного шута, теневого кукловода, ненадежного наемника. Эпоха ИИ может радикально изменить этот традиционный "театр" политики. Без необходимости очищения от соперников или примирения со старыми врагами, без внезапного восхождения к власти или стремительного падения с вершины, государственное управление может стать менее близким, менее увлекательным, даже скучным.

Однако политическая трансформация неразрывно связана с изменением природы военных конфликтов и безопасности, где ИИ уже начинает играть определяющую роль.

Новая парадигма войны

Мир стоит на пороге беспрецедентной гонки в области искусственного интеллекта между разведывательными службами и военными ведомствами разных стран. Уже сейчас крупнейшие модели ИИ обучаются в изолированных сетях, отключенных от интернета. Центры обработки данных строятся на дне океана и могут появиться на околоземной орбите. Некоторые руководители полагают, что разработка ИИ переместится в неприступные бункеры с суперкомпьютерами, питаемыми ядерными реакторами.

Эта гонка вооружений не похожа ни на одну из предыдущих: в мире ИИ размер не гарантирует победу - даже самая крупная модель может проиграть меньшей в определенных задачах. Меньшие и более специализированные ИИ могут действовать подобно рою дронов против авианосца — не способные уничтожить его, но достаточные для нейтрализации значительной части его возможностей.

На протяжении всей истории война велась в определенном пространстве, где можно было с разумной уверенностью знать возможности и позиции противника. Сочетание этих двух атрибутов давало каждой стороне чувство психологической безопасности и общего консенсуса, позволяя осуществлять осознанное сдерживание летальности. Только когда просвещенные лидеры были едины в своем базовом понимании того, как может вестись война, противоборствующие силы могли контролировать, стоит ли вести войну вообще.

Представьте облака дронов под управлением ИИ, которые формируются и летают синхронно как единое целое, демонстрируя совершенную координацию. Будущие рои дронов будут легко растворяться и воссоздаваться в подразделения любого размера, подобно элитным подразделениям специального назначения, построенным из масштабируемых отрядов, каждый из которых способен к суверенному командованию. Против таких формаций бесполезны обычные средства защиты. Однако сами системы ИИ могут обеспечить новые формы обороны, используя, например, оружие на основе фотонов и электронов.

В этой новой парадигме войны скорость и мобильность, хотя и остаются критически важными, перестают быть ключевыми дифференцирующими факторами - поскольку системы ИИ с обеих сторон способны действовать на предельных скоростях. Разрыв в возможностях между противниками будет определяться другими факторами: точностью действий, эффективностью воздействия и качеством стратегического планирования. Системы с ИИ будут обладать беспрецедентной точностью, а пределы возможного разрушения будут зависеть в первую очередь от воли и сдержанности человека и машины.

Меняется и сама мотивация войны. Как пишет Г.К. Честертон, "истинный солдат сражается не потому, что ненавидит то, что перед ним, а потому что любит то, что позади него". Война с участием ИИ вряд ли будет включать любовь или ненависть, или даже концепцию солдатской храбрости. С другой стороны, она все еще может включать эго, идентичность и лояльность — хотя природа этих идентичностей и лояльностей может не соответствовать сегодняшним.

При такой ценной технологии люди вряд ли будут считаться основными целями войны с ИИ. ИИ может фактически полностью исключить людей как посредников в военных действиях, делая войну менее смертоносной, но потенциально не менее решающей. Точно так же территория сама по себе вряд ли спровоцирует агрессию ИИ — но центры обработки данных и другая критическая цифровая инфраструктура определенно могут.

Капитуляция в такой войне наступит не тогда, когда численность противника уменьшится и его арсенал опустеет, а когда щит кремния выживших окажется неспособным спасти свои технологические активы и, наконец, своих человеческих заместителей. Война может превратиться в игру чисто механических жертв, где решающим фактором станет психологическая сила человека (или ИИ), который должен бороться, беря риски или отказаться от них, чтобы предотвратить решающий момент тотального разрушения.

Без понимания своих ограничений и без ощущения боли, трудно представить, что могло бы сдерживать ИИ, вовлеченный в военные действия, и что положило бы конец конфликтам, в которых он участвует. Разве шахматный ИИ, если бы его никогда не информировали о правилах, диктующих конец игры, не играл бы до последней пешки?

В этом новом мире военные конфликты могут развиваться с беспрецедентной скоростью и непредсказуемостью. ИИ может сделать войну более "чистой" с точки зрения человеческих жертв, но одновременно более разрушительной для инфраструктуры и более непостижимой для человеческого понимания. Это ставит перед человечеством сложнейшую задачу: как сохранить контроль над военными действиями в эпоху, когда основные решения могут приниматься с нечеловеческой скоростью и логикой.

“Генезис” отмечает, что в особо острой форме встает вопрос о ядерном сдерживании в эпоху ИИ. Некоторые государства могут счесть появление ИИ настолько угрожающим, что это потребует ядерного ответа. Преодолев ограничения обычных войн, не втянет ли нас ИИ обратно в ядерные конфликты? В предыдущих гонках вооружений эволюционный инстинкт в сочетании с соревнованием между изобретателями позволял создавать инструменты, предназначенные для сохранения обществ. И здесь оборонительные системы ИИ могли бы нейтрализовать атаки противников, например, обновляя уязвимое программное обеспечение и другие системы или, при наблюдении за конкурирующими программами, служа системой раннего предупреждения. Однако в этом случае новые угрозы — биооружие с поддержкой ИИ, внезапное ядерное распространение или даже сам несогласованный ИИ — могут возникнуть так быстро и тихо и причинить такие разрушения, что упредят любой ответ.

Перед нами встает экзистенциальная дилемма безопасности. Решительный или отчаянный актор со вторичной, но значительной силой будет бдительно следить за превосходящими ИИ. Если этот вторичный актор воспримет — даже ошибочно — что доминирующий иной находится в пределах досягаемости тотализирующей (его доминирование) способности, он может начать упреждающие электронные или физические удары, запуская цикл невообразимой эскалации и возмездия и спиральную возможность взаимного уничтожения.

Проблеск надежды — по крайней мере сегодня — лежит в нашей неопределенности. Неоднозначность может быть плодородной почвой для культивирования диалога. Не будучи уверенными в том, как та или иная нация или группа может получить преимущество или оказаться в невыгодном положении от решений по ИИ, принятых сегодня, мировые лидеры имеют окно возможностей для участия в обсуждениях на основе коллективного выживания человечества.

Если будущее представляет собой соревнование за достижение единого, совершенного, несомненно доминирующего интеллекта, то кажется вероятным, что человечество либо потеряет контроль над экзистенциальной гонкой между множеством акторов, либо будет страдать от осуществления верховной гегемонии победителем, не сдерживаемым традиционными сдержками и противовесами. Чем более равными будут силы соревнующихся сторон в гонке ИИ, тем выше риск фатальной ошибки.

Одно из решений - договориться об объединении усилий в области ИИ всех ведущих игроков. Но для такого союза нужны необычайное мужество и дальновидность, ведь придется преодолеть и геополитическую вражду, и коммерческое соперничество. Но достижение объединения через геополитическую и коммерческую враждебность потребует чрезвычайного мужества и предвидения.

Авторы книги считают, что наиболее вероятным является сценарий, при котором будет не один верховный ИИ, а скорее множественные воплощения превосходящего интеллекта в мире. В этом случае возникает другой набор возможных вариантов будущего. Наши сильнейшие творения, действуя как уравновешивающие силы, могли бы быть лучше оснащены, чем люди, для осуществления и поддержания равновесия в глобальных делах, вдохновленного (но не ограниченного) человеческим прецедентом. С помощью искусственного интеллекта мы бы смогли решать вопросы безопасности и международных отношений на автопилоте - как если бы ИИ нашел способ сам регулировать свою роль в этих сферах.

Но может ли ИИ спроектировать устойчивое разделение владычества? Возможно, да. Дипломатические переговоры, под их слоями человеческих эмоций и психологии, в своей основе являются разновидностью прикладной теории игр, которая сама по себе является ветвью математики. Даже если практика дипломатии зародилась как форма искусства (хотя и исключительно в сфере человеческого поведения), она может все больше превращаться в науку. По мере этого она может превзойти довольно смешанную историю человеческой дипломатии в том, что касается выявления и использования возможностей для компромисса. Уже сейчас ранние модели ИИ на Западе продемонстрировали большие перспективы в своей способности применять стратегию, по крайней мере в игровом процессе, в то время как Китай продвинулся на шаг вперед, используя машинный интеллект для выполнения обязанностей человеческих дипломатов.

Однако предоставление машинных решений для таких фундаментальных человеческих проблем, как дипломатия и безопасность, естественно приведет к дальнейшей зависимости от способностей ИИ — зависимости, которую будет трудно разорвать, если и когда решительное человеческое вмешательство в международные дела станет необходимым. По крайней мере, человеческое государственное управление, каким бы несовершенным оно ни было, возлагало на нас ответственность за наш собственный выбор. Выбор зависимости от ИИ, напротив, может снизить нашу способность доверять базовому человеческому суждению, на которое мы могли надежно полагаться в нашем более предсказуемом, но примитивном прошлом.

Почему же стоит идти на риск растущей зависимости от ИИ в вопросах дипломатии и безопасности? С одной стороны, это может помочь избежать дилеммы взаимно разрушительной конкуренции или гегемонии, возникающей в результате появления сверхразума. С другой стороны, ИИ может стать необходимым инструментом защиты от множества других угроз - ведь с каждым годом, с каждым новым технологическим прорывом минимальный порог для уничтожения всего человеческого общества снижается.

Военно-политические изменения неизбежно ведут к глубокой реструктуризации глобального порядка и переосмыслению роли традиционных государств.

Геополитическая реструктуризация

В каждую эпоху человечества, как отмечает Киссинджер, возникала единица "с властью, волей и интеллектуальным и моральным импульсом формировать всю международную систему в соответствии со своими ценностями". Последующие единицы выстраивались в новые конфигурации, создавая непредсказуемые зависимости во времена кризисов и постоянно угрожая нарушить геополитический баланс сил. В некоторых случаях результирующая система свергает существующие власти; в других - укрепляет их.

Наиболее знакомая нам организация цивилизаций - Вестфальская система, основанная на концепции суверенного национального государства. Однако эта идея насчитывает всего несколько столетий, возникнув из договоров, известных как Вестфальский мир в середине XVII века. Это не предопределенная единица социальной организации, и она может не подходить для эпохи ИИ. В мире, где фейковые новости и предвзятые алгоритмы становятся нормой, национальные государства рискуют потерять контроль над собственной судьбой.

Усугубление проблемы, вероятно, будет связано с психологической дезориентацией и возможным уходом от реальности. ИИ может сбросить относительные позиции конкурентов внутри сегодняшней системы. Если его силы используются в первую очередь самими национальными государствами, человечество может быть вынуждено двигаться к гегемонистскому застою или к новому равновесию государств, усиленных ИИ. Но это также может быть катализатором еще более фундаментального перехода - сдвига к совершенно новой системе, в которой государственные правительства будут вынуждены отказаться от своей центральной роли в глобальной политической инфраструктуре.

Компании, владеющие и разрабатывающие ИИ, могут аккумулировать беспрецедентную власть, формируя альянсы на основе взаимных преимуществ или общей философии развития ИИ. Такие корпоративные объединения способны перенять традиционные функции государств, создавая свои домены не через контроль территорий, а через управление цифровыми сетями. При этом правительства оказываются в сложном положении, пытаясь одновременно поддерживать корпорации и защищать интересы граждан.

Существует и еще одна альтернатива. Неконтролируемое, открытое распространение технологий может привести к появлению небольших группировок или племен с недостаточным, но существенным потенциалом ИИ. Среди человеческих групп, отвергающих установленную власть в пользу децентрализованных финансов, коммуникаций и управления, может победить прото-анархия. Такие группировки могут приобрести религиозное измерение, возможно, движимое одной из концепций взаимосвязи ИИ и божественного. В конце концов, с точки зрения охвата, христианство, ислам и индуизм всегда были крупнее и долговечнее любого государства в истории. В грядущую эпоху религиозная принадлежность может оказаться более значимой рамкой для идентичности и лояльности, чем национальное гражданство.

В любом из этих сценариев борьба развернется не за физические территории, а за цифровое пространство и влияние в нем. Традиционное гражданство может уступить место новым формам принадлежности и лояльности, а международные соглашения будут радикально отличаться от привычных альянсов между государствами.

Исторически альянсы создавались отдельными лидерами и служили для усиления мощи нации в случае войны. Напротив, перспектива гражданств и альянсов - а возможно, завоеваний или крестовых походов - структурированных вокруг мнений, убеждений и субъективных идентичностей обычных людей в мирное время, потребует новой (или очень старой) концепции империи. Это также заставит пересмотреть обязательства, налагаемые при принесении присяги на верность, и стоимость вариантов выхода, если таковые вообще будут существовать в нашем будущем, переплетенном с ИИ.

Эти фундаментальные изменения в природе политической организации могут иметь далекоидущие последствия для международной стабильности. Как отмечается в книге, мир, где некоторые государства более активно внедряют ИИ в политическое руководство, чем другие, будет гораздо менее предсказуемым. В случаях, когда одни государства будут опираться преимущественно на человеческие ресурсы в военном или дипломатическом противостоянии с государствами, активно использующими ИИ, или с самими системами ИИ, люди могут оказаться практически беззащитными - не только неспособными выжить в конфликте, но даже неспособными эффективно конкурировать или вести переговоры.

Особую озабоченность вызывает возможность того, что традиционные механизмы международного баланса сил могут оказаться неэффективными в мире, где ключевые решения принимаются системами ИИ. Международный концерт национальных государств - шаткое и внутренне смещающееся равновесие, достигнутое в последние несколько столетий - держался отчасти благодаря внутреннему равенству игроков. Мир серьезной асимметрии будет гораздо менее предсказуемым.

Киссинджер и соавторы предупреждают, что такой промежуточный порядок может стать свидетелем внутреннего взрыва обществ и неконтролируемого взрыва внешних конфликтов. В этом контексте особенно важным становится вопрос о том, как будут структурированы новые формы международного сотрудничества и управления конфликтами.

Традиционные институты международного порядка - такие как ООН, международное право, многосторонние альянсы - могут оказаться неадекватными для решения проблем эпохи ИИ. Потребуются новые механизмы координации и сотрудничества, способные работать со скоростью и сложностью, соответствующими возможностям ИИ. Это может привести к появлению совершенно новых форм международных институтов, построенных вокруг управления и регулирования ИИ.

Особую роль в этой трансформации может сыграть появление транснациональных сообществ, объединенных вокруг конкретных технологий или применений ИИ. Эти сообщества могут стать новыми центрами власти и влияния, не привязанными к традиционным государственным границам. Они могут создавать свои собственные системы управления, стандарты и протоколы, которые фактически будут функционировать как новая форма международного права.

В книге подчеркивается, что эта реструктуризация не обязательно приведет к хаосу или конфликту. При правильном управлении она может создать более стабильный и справедливый международный порядок. Однако это потребует беспрецедентного уровня международного сотрудничества и координации, а также готовности существующих центров власти адаптироваться к новым реалиям.

Ключевым фактором успеха в этом переходе будет способность человечества разработать эффективные механизмы управления ИИ на глобальном уровне. Это включает не только технические стандарты и протоколы безопасности, но и новые формы международного сотрудничества, способные справляться с уникальными вызовами эпохи ИИ.

Трансформация глобального порядка открывает беспрецедентные возможности для создания новой экономики изобилия, где ИИ может стать ключом к преодолению традиционного дефицита ресурсов.

Экономика изобилия

В мифологии разных народов часто встречаются истории о магических устройствах, создающих бесконечное богатство - от волшебной мельницы Сампо в финском эпосе "Калевала" до индийского сосуда Акшая-патра в эпосе "Махабхарата". Сегодня разработчики ИИ верят, что их создание может стать реальным воплощением такой "машины изобилия".

Перспективы использования ИИ для создания богатства действительно впечатляют. ИИ может не просто автоматизировать существующие процессы, но и радикально изменить саму природу экономических отношений. В производстве ИИ способен оптимизировать использование ресурсов и создавать новые материалы. В сочетании с роботизацией это может привести к радикальному снижению стоимости производства практически любых товаров.

Особенно важно, что ИИ может помочь решить проблему распределения благ. Уже сейчас разрабатываются концепции использования распределенных систем ИИ для обеспечения базовых потребностей людей через сеть автоматизированных производств и логистических систем. Это может позволить обеспечить продовольствием, одеждой и жильем миллиарды людей, которые сегодня лишены доступа к базовым благам.

Однако возникает фундаментальный вопрос: как обеспечить справедливое распределение создаваемого богатства? Как отмечается в книге,"поскольку люди не прикладывают прямых усилий к созданию ценностей, которые производит искусственный интеллект, справедливо будет распределять эти блага между всеми членами общества". Предлагаются различные механизмы - от налогообложения компаний, владеющих ИИ, до создания новых форм "цифровых дивидендов".

В мире без дефицита традиционные экономические модели могут оказаться неактуальными. Как отмечают авторы, даже если мы выйдем за пределы экономической ценности, мы не выйдем за пределы человеческих ценностей. Те, кто перестанет объединяться на основе денег и материальных благ, будут искать другие основы для объединения - религию, расу, семейное происхождение, образование, мораль или любые другие категории.

Особую озабоченность вызывает судьба человеческого труда. В мире, где ИИ может выполнять практически любую работу, необходимо будет переосмыслить само понятие занятости и найти новые источники смысла и самореализации для людей. Шмидт, Киссенджер и Манди отмечают, что "если завтра утром каждому человеку был бы дан выбор прекратить работать, мы подозреваем, что большинство сделало бы это. В то время как немногие отказавшиеся оказались бы теми самыми, кто может позволить себе работать не из-за денег, а из интереса".

В этом контексте особое значение приобретает развитие образования и творческого потенциала людей. Предметы, некогда зарезервированные для привилегированного меньшинства, могут стать стандартом для многих, заменив прежний фокус среднего класса. Развертывание ИИ-преподавателей могло бы обеспечить индивидуализированное обучение по всему миру.

Таким образом, ИИ создает возможность для беспрецедентной трансформации человеческого общества - от экономики дефицита к экономике изобилия. Однако реализация этого потенциала потребует не только технологических решений, но и глубоких социальных и институциональных изменений.

Это изменение может привести к глубокой трансформации в распределении богатства и возможностей между странами. Как отмечают авторы “Генезиса”, предыдущие дисбалансы и асимметрии в глобальной экономике были обусловлены различиями в обеспеченности ресурсами, географии и человеческом капитале. ИИ может сократить разрывы в талантах и выровнять распределение ресурсов. Это сделает менее значимыми те разделительные линии, по которым мы долгое время вели глобальную торговлю и коммерцию и по которым стратифицировано мировое процветание.

Однако есть риски перехода к такому будущему. Человеческая психология должна будет коэволюционировать с ИИ и его эффектами. Хотя предсказать точно, как именно это произойдет, сложно, кажется возможным, что ИИ мог бы действительно привнести в жизнь человека столько же смысла, сколько отнимает. Одного удовольствия недостаточно для удовлетворения нашего врожденного стремления к смыслу. Работа – даже если не за плату – может обеспечить ощущение цели, поскольку средства трудны или цели благородны.

Преодолевая трудности, мы не просто испытываем гордость за достигнутое - мы создаем свою личную историю роста и совершенствования. И хотя эпоха ИИ принесет множество перемен, эта глубинная радость от личных достижений и самосовершенствования останется неизменной частью человеческой природы.

В книге подчеркивается, что переход к изобилию – это не только технологическая, но и глубоко философская и социальная проблема. Перед нами встает задача не просто создать новые механизмы распределения благ, но и переосмыслить само понятие человеческого процветания. В мире, где материальное изобилие становится нормой, ключевым фактором может стать способность находить смысл и реализацию в нематериальных аспектах жизни.

Особую роль в этом переходе могут сыграть университеты. Университеты исторически брали на себя обязательство давать своим студентам равное введение как в точные науки, так и в гуманитарные дисциплины. В будущем эти квинтэссенциально человеческие начинания, каждое по-своему "поиск смысла", могут только расшириться. На Западе свободные искусства были предметами и навыками, которые классическая античность считала признаками независимого ума. В древнем Китае художник династии Тан Чжан Яньюань установил, что от "ученого-джентльмена" следовало ожидать демонстрации мастерства в "четырех искусствах": способностях звука, зрения, стратегии и письма.

Это новое понимание образования и развития человеческого потенциала может стать ключом к успешному переходу к экономике изобилия. Как считают авторы, "ИИ мог бы быть направлен на то, чтобы делать то, что мы больше не должны делать, именно для того, чтобы мы могли делать то, что хотим делать".

Однако переход к такому будущему не будет простым. Те, кто сегодня контролирует основные преимущества и почти исключительный контроль над продвинутыми ИИ, могут быть не готовы отказаться от своих преимуществ. Если они это сделают – если и когда больше выгод и больше контроля будет распределяться на национальном уровне – немедленно начнутся призывы к глобализации того и другого. Отдаст ли одна нация свое суверенное богатство в общую пользу? Некоторые могут утверждать, что психологические барьеры для жертвы исчезнут, как только мир перестанет быть игрой с нулевой суммой. Но это предполагает переход, который еще не произошел, который кажется противоречащим сегодняшнему статус-кво, и который – если он должен произойти – должен быть продуктом человеческого выбора.

Но достижение этого светлого будущего потребует выработки четкой стратегии сосуществования человека и машины.

Стратегия выживания

Перед нами встает фундаментальный вопрос: станем ли мы больше похожими на них, или они станут больше похожими на нас? Биологические инженерные усилия, направленные на более тесное слияние человека с машинами, уже ведутся. Начиная с физических соединений посредством чипов в человеческом мозге, они стремятся найти более быстрый, более эффективный способ соединить биологический и цифровой интеллект.

Такие связи могли бы усилить нашу способность общаться с машинами, бросать им вызов на их условиях, обеспечивать передачу знаний от ИИ людям и убеждать ИИ в ценности людей как равноправных партнеров. Действительно, попытки создать такие "интерфейсы мозг-компьютер" могут укрепить стремление человечества к интеграции с машинами.

Однако опасности — этические, физические и психологические — такого пути могут перевесить преимущества. Если мы преуспеем в пересмотре нашей биологии (вероятно, с помощью ИИ), люди могут потерять базовую линию, на которой можно основывать наше будущее мышление о возможностях или опасностях, с которыми мы можем столкнуться как вид. Но если мы не приобретем такие новые возможности, мы можем поставить себя в невыгодное положение в сосуществовании с нашим творением.

Возможно, стоит обратиться к истории биологической коэволюции. Чарльз Дарвин писал о любопытном процессе, посредством которого виды взаимно влияют на эволюцию друг друга. Геномы взаимодействующих видов связаны; они меняются в ответ друг на друга с течением времени. Например, и длинные тонкие клювы колибри, и длинные воронки определенных цветов вместе выросли до более экстремальных размеров, чтобы служить взаимным потребностям друг друга.

Авторы "Genesis" предлагают сосредоточиться на концепции человеческого достоинства как ключевого отличительного признака нашего вида. "Достоинство — это качество, присущее существам, которые, рождаясь уязвимыми и смертными и, следовательно, полными неуверенности и страха, вопреки своим естественным наклонностям, могут и действительно используют свою свободу не для следования своему представлению о зле, а для выбора своего представления о добре".

По этому определению ИИ вряд ли может обладать достоинством — поскольку ИИ не рождаются, не умирают, не испытывают ни неуверенности, ни страха и не имеют естественных склонностей или индивидуальности, такой, чтобы представления о зле или добре можно было считать "их собственными". Хотя ИИ ближайшего будущего могут казаться иными, имея личности, выражая эмоции, рассказывая шутки и рассказывая личные истории, в рамках этой концепции к ним следует относиться философски, как к литературным персонажам.

Даже величайший литературный персонаж — шекспировский “Гамлет”, например — не более чем особое сочетание слов, некогда написанных на странице и теперь многократно воспроизведенных. “Гамлет” не способен почувствовать укол боли, дрожь страха или жгучее разочарование от несбывшихся надежд. "Гамлет" не имеет свободы сделать новый выбор. "Гамлет" заперт внутри своей пьесы. "Гамлет" - не человек, а картина человека. ИИ, состоящий из строк кода и кусков кремния, во многом такой же.

Чтобы не допустить нашего понижения в статусе или замены машинами, некоторые захотят заявить о различии через нашу близость к божественному. Другие захотят прийти к более тактическим выводам: какие виды принятия решений могут быть делегированы машинам, а какие нет. Авторы предлагают сформулировать атрибут или набор атрибутов, вокруг которых могло бы объединиться большинство человечества: те, что обеспечат минимальный уровень предпочтительного, но не потолок возможного.

Особую озабоченность вызывает возможность того, что системы безопасности ИИ могут быть несовершенны. Даже при наличии надлежащих мер контроля опасное поведение машины, будь то случайные сбои, непредвиденные взаимодействия систем или преднамеренное неправильное использование, должно быть не просто запрещено, а полностью предотвращено. Любое наказание придет слишком поздно.

Для обеспечения безопасности ИИ авторы предлагают многоуровневый подход к контролю. Первый уровень — это "книга законов" ИИ с различными уровнями управления: местным, районным, государственным, федеральным, международным. Правовые прецеденты, юриспруденция, научные комментарии должны рассматриваться одновременно.

Второй уровень — это внедрение "доксы" (от древнегреческого — общепринятые верования) — базовых человеческих пониманий, которые невозможно закодировать напрямую, но которые машины должны научиться распознавать через наблюдение за человеческим поведением. Машины должны построить собственное понимание того, что люди делают и не делают, впитывая то, что они видят, и соответственно обновляя свое внутреннее управление.

Третий уровень — создание специально обученного надзорного ИИ или нескольких ИИ для контроля за использованием широкого спектра ИИ-агентов, которые будут консультироваться со своим руководителем перед выполнением задачи. Это позволит единой системе морали управлять различными реализациями.

Лаборатории и некоммерческие организации, ориентированные на безопасность, в консультации с передовыми лабораториями, должны тестировать как агентных ИИ, так и надзорных ИИ на предмет рисков и рекомендовать дополнительные стратегии обучения и валидации по мере необходимости. Ведущие компании могли бы совместно финансировать работу этих исследователей через один из перераспределительных механизмов.

Авторы предлагают создание интегрированной архитектуры контроля, предварительно встроенной в самые мощные ИИ, которая могла бы активно направлять машины к законному, безвредному и утвердительно полезному использованию. Это потребует беспрецедентного уровня международного сотрудничества и координации, а также готовности существующих центров власти адаптироваться к новым реалиям.

То, что одни видят якорем для устойчивости в шторм, другие воспринимают как короткий поводок. То, что одни превозносят как необходимые шаги к вершине человеческого потенциала, другие видят как безрассудный бросок в пропасть. В этих разногласиях кроется реальная опасность. Страх побудит одних замедлять свое развитие и препятствовать прогрессу других, тогда как самонадеянность заставит других скрывать свои истинные возможности, тайно форсируя работу.

Идеальным представляется будущее, где человеческий и машинный интеллект усиливают друг друга. Но для этого каждый из интеллектов должен иметь адекватное понимание другого. В мире, где искусственный интеллект может превзойти нас практически во всем, наша человечность — со всеми ее несовершенствами и противоречиями — может оказаться нашим главным активом.

Как подчеркивают авторы книги, нам необходимо не только теоретическое определение человечности, но и практическая работа по ее воплощению. Активное проявление воли, любознательности и свободы, неустанное стремление понять других людей, природу, вселенную и возможность существования высших сил – все это будет способствовать постоянному переосмыслению самой сути человечности.

Машинный разум должен учитывать не только измеримые величины вроде стоимости и эффективности, но и неосязаемые человеческие ценности. Возьмем милосердие - его невозможно выразить математически или алгоритмически. Даже людям порой сложно объяснить, почему они проявляют милосердие - это почти чудо. Возникает вопрос: сможет ли ИИ, нацеленный на максимальную производительность, воспринять и усвоить саму суть милосердия, даже если мы не можем научить его этому напрямую?

Именно достоинство – ядро, из которого расцветает милосердие – может служить здесь частью основанных на правилах предположений или итеративного обучения машины. Как отмечается в книге: "Ясная формулировка конкретных определяющих человеческих атрибутов – особенно тех, которые, как достоинство, широко интегрированы как в международные политические инструменты, так и в глобальные верования – могла бы направлять человеческие усилия в периоды дезориентации".

Авторы предупреждают, что мы не можем полагаться исключительно на предположение, что машины укротят себя сами. Обучение ИИ пониманию нас, а затем надежда на то, что он будет уважать нас – это не стратегия, которая кажется безопасной или вероятной для успеха. Более того, мы должны признать, что люди, безусловно, не будут едины в своем подходе – некоторые будут относиться к ИИ как к другу, а другие как к врагу, а некоторые (учитывая ограничения по времени и ресурсам) не смогут проявить предпочтение, а просто примут стратегию, немедленно доступную для них.

В книге подчеркивается, что без общего понимания того, кто мы есть, человеческая раса рискует полностью уступить ИИ фундаментальную задачу определения нашей ценности и тем самым оправдания нашего существования. Это особенно важно в контексте того, что авторы называют "драматическим ускорением временной шкалы грядущих кризисов за пределами предыдущего человеческого опыта".

Некоторые могут воспринять приход эры ИИ как последний акт драмы человечества. Но Киссинджер, Шмидт и Манди видят в этом скорее начало новой истории. Мы стоим на пороге очередного цикла созидания, который затронет все сферы бытия - от технологий и биологии до социума и политики. Парадигмы логики, веры, самого времени неизбежно изменятся.

Нас ждет эпоха небывалых открытий и потрясений. Человечеству предстоит столкнуться с экзистенциальными вызовами и переосмыслить свое место во Вселенной. Это будет эра невероятных возможностей и невообразимых рисков. От наших решений будет зависеть судьба нашего вида.

Встретить этот новый генезис мы должны с трезвым оптимизмом, не впадая ни в панику, ни в эйфорию. Ведь только сохраняя ясность ума и твердость духа, мы сможем пройти через горнило трансформаций и выковать свое будущее в партнерстве с нашими творениями. На кону - всё. Но именно в кризисные моменты истории мы познаем себя и становимся теми, кем призваны быть.