Генезис ШІ: Останнє попередження Кісінджера

У березні 2016 року корейський гросмейстер Лі Седоль зіткнувся з чимось несподіваним. Після трьох поразок поспіль від комп'ютерної програми AlphaGo у древній грі го він відчував не стільки розчарування, скільки подив. В одній з партій машина зробила настільки нестандартний хід, що змусила переосмислити саму природу штучного інтелекту. Цей момент став символічним передвісником нової ери — ери, де ШІ демонструє здібності, що виходять за рамки людського розуміння.

Про цю трансформацію, що наближається, розповідає книга "Genesis", написана Генрі Кіссинджером у співавторстві з Еріком Шмідтом та Крейгом Манді. На відміну від попередніх технологічних революцій, розвиток ШІ являє собою не просто появу нового інструменту, а народження потенційно автономного актора, здатного до самовдосконалення і прийняття рішень.

Штучний інтелект може стати універсальним генієм - поліматом, що здійснює проривні відкриття на стику наук, недоступні навіть найвидатнішим людським умам. Він може об'єднати, здавалося б, незв'язані галузі знань, такі як генетика, лінгвістика, космологія та психологія, в єдину "цілісність знання", виявляючи приховані закономірності та взаємозв'язки. Про подібне бачення розвитку потужного ШІ в найближчі роки читайте в есе Даріо Амодеї: Машини благодатної любові: Майбутнє ШІ від біології до політики.

Книга "Genesis" стала останньою працею Генрі Кіссинджера, легендарного американського дипломата і державного діяча, який помер у листопаді 2023 року у віці ста років, незабаром після завершення рукопису. Примітно, що у свої 93 роки Кіссинджер, відомий насамперед як архітектор зовнішньої політики США в період холодної війни, зміг повністю зануритися в абсолютно нову для себе область технологій.

В останні роки життя він був одержимий ідеєю запобігання потенційним ризикам ШІ, а його останньою дипломатичною місією став візит до Пекіна на запрошення голови Сі Цзіньпіна для обговорення саме цієї теми.

Його співавторами виступили два визнаних експерта в галузі технологій - Ерік Шмідт, колишній генеральний директор Google, який допоміг перетворити компанію зі стартапу в глобального технологічного лідера (до речі, зараз статки Шмідта оцінюють у $35 млрд), і Крейг Манді, який довгий час обіймав посаду головного директора з досліджень і стратегії в Microsoft, а пізніше став радником керівництва OpenAI.

Ерік Шмідт, який активно відстежує війну дронів в Україні, у своїх недавніх виступах прогнозує три ключові прориви у розвитку штучного інтелекту в найближчі 1-2 роки, включаючи появу нескінченного контекстного вікна для обробки мільйонів слів за секунду, розвиток автономних ШІ-агентів і можливість миттєвого перетворення тексту на програмний код. Шмідт вважає, що протягом 2025 року з'являться перші версії цих технологій, а їх повноцінна реалізація займе близько 2 років, з широким поширенням через 5 років. Однак він попереджає про дві основні потенційні перешкоди - нестачу фінансування та електроенергії, які можуть сповільнити цей процес.

Пропонуємо розглянути деякі ідеї, висловлені Кіссинджером, Шмідтом і Манді в книзі "Genesis" стосовно викликів у політиці, війні, геополітиці та економіці в еру ШІ.

Політика в епоху ШІ

Історія знає чимало прикладів того, як технологічна перевага сприймалася як прояв божественної сили. Коли іспанські конкістадори вперше з'явилися біля берегів імперії ацтеків, їхні кораблі та вогнепальна зброя здавалися місцевим жителям надприродними. Монтесума II, верховний правитель ацтеків, виявився паралізований не тільки виглядом цих "божественних" прибульців, але й збігом їх появи з древніми пророцтвами. Однак його імперія виявилася розколота в реакції на прибульців: якщо Монтесума проявляв щедрість до гостей, пропонуючи бенкети і навіть свою дочку в дружини Кортесу, то його молодший брат Куітлауак, глава грізних сил безпеки ацтеків, з самого початку ставився до чужинців з підозрою і наполягав на їх вигнанні.

Сьогодні ми перебуваємо в схожій ситуації. Жоден державний лідер не готовий до появи сутностей, чиї можливості можуть здатися божественними. І як у випадку з ацтеками, сучасні суспільства розколоті у своїй реакції на ШІ: одні прагнуть використовувати його для зміцнення влади, інші намагаються обмежити його вплив, побоюючись непоправних наслідків.

Ця невизначеність посилюється циклічною природою політичної влади. Подібно до того, як в індуїстській традиції світ проходить через циклічні "ночі хаосу" на нескінченному колесі існування, політичні системи також схильні до циклів створення і руйнування. Багато індуїстів вірять, що ми живемо в кращій частині найгіршої епохи - Калі-юги, віку духовної темряви, коли люди помилково вважають себе вище богів. Поява ШІ може ознаменувати або вихід з цих циклів, або початок нового, набагато тривалішого циклу.

Традиційно людське лідерство було більше мистецтвом, ніж наукою. У сучасній історії особливо виділяються такі винятково успішні лідери, як Ден Сяопін у Китаї, Олександр Гамільтон у США і Лі Куан Ю в Сінгапурі. Усі троє зуміли вивільнити приховані соціальні сили, які перебували поза контролем будь-якої окремої людини. Ден поєднав капіталізм з древньою меритократичною бюрократією, у якої не було працюючої економічної доктрини; Гамільтон дозволив новій політичній філософії поширитися по широкому фронтиру в умовах відсутності єдиної політичної системи; Лі створив острів досконалості, вимагаючи його виникнення незважаючи на вкрай обмежені ресурси.

Кожен з цих лідерів поєднував дивовижні здібності розуму з інтенсивною силою волі та особистою харизмою. У політичній мові та інших формах переконливої риторики людські актори зазвичай проєктують бачення майбутнього своїх суспільств, яке, якщо запозичити у Арістотеля, складається з однієї частини логосу (логіки), однієї частини етосу (особистого авторитету) і однієї частини пафосу (емоційного зв'язку). Ці стратегії – частково моральні, частково психологічні – необхідні для створення та підтримки єдиних культурних ідентичностей і узгоджених політичних систем.

Однак наша людська схильність до емоційного та естетичного може бути також нашим недоліком. Навіть наймудріші лідери, рухомі інстинктом і стримувані обережністю, іноді керують на основі скороминущих пристрастей. Уряди (як і корпорації, церкви та сім'ї – всі організації, спроєктовані та керовані недосконалими людьми) являють собою недосконале поєднання успадкованої традиції та експериментування.

Як вважають автори, ШІ може внести в політичне управління безпрецедентну об'єктивність, будучи вільним від людських слабкостей. При цьому виникає фундаментальна проблема непрозорості його рішень. В епоху Просвітництва знання ґрунтувалося на можливості експерименту як критерію доказу, а інформація, не підкріплена доказами, вважалася неповною і ненадійною. Але в епоху ШІ ми стикаємося з новим і особливо складним викликом: інформацією без пояснення. Відповіді ШІ приходять миттєво, вони можуть бути високоартикульованими і зв'язними описами складних концепцій – але вони з'являються без видимої упередженості чи мотивації, а також без посилань на джерела чи інших обґрунтувань.

Це відроджує древню ідею Платона про філософа-короля, але в абсолютно новому втіленні. Проблема філософа-короля завжди полягала в обмежених можливостях єдиного людського розуму. Навіть якби достатньо інформації могло бути зібрано достатньо швидко, найдосвідченіші людські лідери володіли б лише частиною необхідних когнітивних функцій для аналізу інформації та прийняття добре обґрунтованого рішення. Світ просто занадто складний, а людська інтуїція має свої межі. ШІ може запропонувати рішення цієї древньої проблеми, забезпечуючи безпрецедентну здатність до обробки інформації та прийняття рішень.

ШІ може зробити можливим те, що раніше вважалося утопією - ефективне централізоване управління. До сих пір, як зазначав Фрідріх Хайєк, спроби тотального контролю завжди провалювалися через нездатність центральної влади врахувати всі локальні особливості. Парадоксально, але саме відмова від надмірного контролю дозволяла суспільству розвиватися природним шляхом, вивільняючи прихований потенціал людей і ресурсів.

Ключовим недоліком централізованих систем, коли інформація все ще повинна була передаватися по суші, а не хвилями через повітря, був час затримки комунікації. Деякі припускали, що в двадцять першому столітті майже миттєва швидкість передачі інформації дозволить централізованим системам зрівнятися з дифузними. Цього не сталося. Вузьким місцем, як з'ясувалося, була не швидкість, а складність.

Атрибути машин, такі як швидкість, масштаб і роздільна здатність, тепер роблять можливим для централізованого ШІ конкурувати і потенційно перевершити децентралізовані процесори інформації. Демократична відповідь Арістотеля могла бути більш етичною, ніж відповідь Платона, але тоді вона перемогла в битві історії саме тому, що була більш ефективною.

ШІ навряд чи знищить демократію, але він може радикально змінити те, як вона працює. Це може призвести до створення свого роду демократичної фондової біржі, єдиного ринку ідей, що оцінюються з неймовірною швидкістю. ШІ може бути здатний враховувати перспективи мільярдів або навіть трильйонів майбутніх людей, тим самим точно оцінюючи поточні та віддалені майбутні вигоди і шкоду від, наприклад, руйнівного технологічного прогресу.

Протягом тисячоліть політична драма розігрувалася за участю одних і тих самих архетипів: трагічного героя-принца, зрадливого радника, благородного лейтенанта, придворного блазня, тіньового лялькаря, ненадійного найманця. Епоха ШІ може радикально змінити цей традиційний "театр" політики. Без необхідності очищення від суперників або примирення зі старими ворогами, без раптового сходження до влади або стрімкого падіння з вершини, державне управління може стати менш близьким, менш захоплюючим, навіть нудним.

Однак політична трансформація нерозривно пов'язана зі зміною природи військових конфліктів і безпеки, де ШІ вже починає відігравати визначальну роль.

Нова парадигма війни

Світ стоїть на порозі безпрецедентних перегонів у галузі штучного інтелекту між розвідувальними службами та військовими відомствами різних країн. Вже зараз найбільші моделі ШІ навчаються в ізольованих мережах, відключених від інтернету. Центри обробки даних будуються на дні океану і можуть з'явитися на навколоземній орбіті. Деякі керівники вважають, що розробка ШІ переміститься в неприступні бункери з суперкомп'ютерами, що живляться ядерними реакторами.

Ці перегони озброєнь не схожі на жодні з попередніх: у світі ШІ розмір не гарантує перемогу - навіть найбільша модель може програти меншій у певних завданнях. Менші та більш спеціалізовані ШІ можуть діяти подібно до рою дронів проти авіаносця — не здатні знищити його, але достатні для нейтралізації значної частини його можливостей.

Протягом усієї історії війна велася у певному просторі, де можна було з розумною впевненістю знати можливості та позиції противника. Поєднання цих двох атрибутів давало кожній стороні відчуття психологічної безпеки та загального консенсусу, дозволяючи здійснювати усвідомлене стримування летальності. Тільки коли просвітлені лідери були єдині у своєму базовому розумінні того, як може вестися війна, протиборчі сили могли контролювати, чи варто вести війну взагалі.

Уявіть хмари дронів під керуванням ШІ, які формуються і літають синхронно як єдине ціле, демонструючи досконалу координацію. Майбутні рої дронів будуть легко розчинятися і відтворюватися в підрозділи будь-якого розміру, подібно до елітних підрозділів спеціального призначення, побудованих з масштабованих загонів, кожен з яких здатний до суверенного командування. Проти таких формацій марні звичайні засоби захисту. Однак самі системи ШІ можуть забезпечити нові форми оборони, використовуючи, наприклад, зброю на основі фотонів та електронів.

У цій новій парадигмі війни швидкість та мобільність, хоча й залишаються критично важливими, перестають бути ключовими диференціюючими факторами - оскільки системи ШІ з обох сторін здатні діяти на граничних швидкостях. Розрив у можливостях між противниками визначатиметься іншими факторами: точністю дій, ефективністю впливу та якістю стратегічного планування. Системи з ШІ матимуть безпрецедентну точність, а межі можливого руйнування залежатимуть насамперед від волі та стриманості людини і машини.

Змінюється і сама мотивація війни. Як пише Г.К. Честертон, "справжній солдат б'ється не тому, що ненавидить те, що перед ним, а тому що любить те, що позаду нього". Війна за участю ШІ навряд чи включатиме любов чи ненависть, чи навіть концепцію солдатської хоробрості. З іншого боку, вона все ще може включати его, ідентичність та лояльність — хоча природа цих ідентичностей та лояльностей може не відповідати сьогоднішнім.

При такій цінній технології люди навряд чи вважатимуться основними цілями війни з ШІ. ШІ може фактично повністю виключити людей як посередників у військових діях, роблячи війну менш смертоносною, але потенційно не менш вирішальною. Так само територія сама по собі навряд чи спровокує агресію ШІ — але центри обробки даних та інша критична цифрова інфраструктура точно можуть.

Капітуляція в такій війні настане не тоді, коли чисельність противника зменшиться і його арсенал спорожніє, а коли щит кремнію тих, хто вижив, виявиться нездатним врятувати свої технологічні активи і, нарешті, своїх людських заступників. Війна може перетворитися на гру чисто механічних жертв, де вирішальним фактором стане психологічна сила людини (або ШІ), яка має боротися, беручи ризики або відмовитися від них, щоб запобігти вирішальному моменту тотального руйнування.

Без розуміння своїх обмежень і без відчуття болю, важко уявити, що могло б стримувати ШІ, залучений до військових дій, і що поклало б кінець конфліктам, у яких він бере участь. Хіба шаховий ШІ, якби його ніколи не інформували про правила, що диктують кінець гри, не грав би до останнього пішака?

У цьому новому світі військові конфлікти можуть розвиватися з безпрецедентною швидкістю та непередбачуваністю. ШІ може зробити війну більш "чистою" з точки зору людських жертв, але одночасно більш руйнівною для інфраструктури і більш незбагненною для людського розуміння. Це ставить перед людством найскладніше завдання: як зберегти контроль над військовими діями в епоху, коли основні рішення можуть прийматися з нелюдською швидкістю та логікою.

“Генезис” зазначає, що в особливо гострій формі постає питання про ядерне стримування в епоху ШІ. Деякі держави можуть вважати появу ШІ настільки загрозливою, що це вимагатиме ядерної відповіді. Подолавши обмеження звичайних війн, чи не втягне нас ШІ назад у ядерні конфлікти? У попередніх перегонах озброєнь еволюційний інстинкт у поєднанні із змаганням між винахідниками дозволяв створювати інструменти, призначені для збереження суспільств. І тут оборонні системи ШІ могли б нейтралізувати атаки супротивників, наприклад, оновлюючи вразливе програмне забезпечення та інші системи або, при спостереженні за конкуруючими програмами, служачи системою раннього попередження. Однак у цьому випадку нові загрози — біозброя з підтримкою ШІ, раптове ядерне розповсюдження або навіть сам неузгоджений ШІ — можуть виникнути так швидко і тихо і заподіяти такі руйнування, що випередять будь-яку відповідь.

Перед нами постає екзистенційна дилема безпеки. Рішучий або відчайдушний актор із вторинною, але значною силою буде пильно стежити за переважаючими ШІ. Якщо цей вторинний актор сприйме — навіть помилково — що домінуючий інший знаходиться в межах досяжності тоталізуючої (його домінування) здатності, він може розпочати упереджувальні електронні або фізичні удари, запускаючи цикл неймовірної ескалації та відплати і спіральну можливість взаємного знищення.

Проблиск надії — принаймні сьогодні — лежить у нашій невизначеності. Неоднозначність може бути родючим ґрунтом для культивування діалогу. Не будучи впевненими в тому, як та чи інша нація або група може отримати перевагу або опинитися в невигідному становищі від рішень щодо ШІ, прийнятих сьогодні, світові лідери мають вікно можливостей для участі в обговореннях на основі колективного виживання людства.

Якщо майбутнє являє собою змагання за досягнення єдиного, досконалого, безсумнівно домінуючого інтелекту, то здається ймовірним, що людство або втратить контроль над екзистенційними перегонами між множиною акторів, або страждатиме від здійснення верховної гегемонії переможцем, не стримуваним традиційними стримуваннями і противагами. Чим більш рівними будуть сили сторін, що змагаються в перегонах ШІ, тим вищий ризик фатальної помилки.

Одне з рішень - домовитися про об'єднання зусиль у галузі ШІ усіх провідних гравців. Але для такого союзу потрібні надзвичайна мужність та далекоглядність, адже доведеться подолати і геополітичну ворожнечу, і комерційне суперництво. Але досягнення об'єднання через геополітичну та комерційну ворожість вимагатиме надзвичайної мужності та передбачення.

Автори книги вважають, що найбільш імовірним є сценарій, при якому буде не один верховний ШІ, а скоріше множинні втілення переважаючого інтелекту у світі. У цьому випадку виникає інший набір можливих варіантів майбутнього. Наші найсильніші творіння, діючи як урівноважуючі сили, могли б бути краще оснащені, ніж люди, для здійснення та підтримання рівноваги у глобальних справах, натхненної (але не обмеженої) людським прецедентом. За допомогою штучного інтелекту ми б могли вирішувати питання безпеки та міжнародних відносин на автопілоті - як якби ШІ знайшов спосіб сам регулювати свою роль у цих сферах.

Але чи може ШІ спроектувати стійкий розподіл владарювання? Можливо, так. Дипломатичні переговори, під їхніми шарами людських емоцій та психології, у своїй основі є різновидом прикладної теорії ігор, яка сама по собі є гілкою математики. Навіть якщо практика дипломатії зародилася як форма мистецтва (хоча й виключно у сфері людської поведінки), вона може все більше перетворюватися на науку. У міру цього вона може перевершити досить змішану історію людської дипломатії в тому, що стосується виявлення та використання можливостей для компромісу. Вже зараз ранні моделі ШІ на Заході продемонстрували великі перспективи у своїй здатності застосовувати стратегію, принаймні в ігровому процесі, в той час як Китай просунувся на крок вперед, використовуючи машинний інтелект для виконання обов'язків людських дипломатів.

Однак надання машинних рішень для таких фундаментальних людських проблем, як дипломатія та безпека, природно призведе до подальшої залежності від здібностей ШІ — залежності, яку буде важко розірвати, якщо і коли рішуче людське втручання в міжнародні справи стане необхідним. Принаймні, людське державне управління, яким би недосконалим воно не було, покладало на нас відповідальність за наш власний вибір. Вибір залежності від ШІ, навпаки, може знизити нашу здатність довіряти базовому людському судженню, на яке ми могли надійно покладатися в нашому більш передбачуваному, але примітивному минулому.

Чому ж варто йти на ризик зростаючої залежності від ШІ в питаннях дипломатії та безпеки? З одного боку, це може допомогти уникнути дилеми взаємно руйнівної конкуренції або гегемонії, що виникає в результаті появи надрозуму. З іншого боку, ШІ може стати необхідним інструментом захисту від безлічі інших загроз - адже з кожним роком, з кожним новим технологічним проривом мінімальний поріг для знищення всього людського суспільства знижується.

Військово-політичні зміни неминуче ведуть до глибокої реструктуризації глобального порядку та переосмислення ролі традиційних держав.

Геополітична реструктуризація

У кожну епоху людства, як зазначає Кіссінджер, виникала одиниця "з владою, волею та інтелектуальним і моральним імпульсом формувати всю міжнародну систему відповідно до своїх цінностей". Наступні одиниці вибудовувалися в нові конфігурації, створюючи непередбачувані залежності у часи криз і постійно загрожуючи порушити геополітичний баланс сил. У деяких випадках результуюча система повалює існуючі влади; в інших - зміцнює їх.

Найбільш знайома нам організація цивілізацій - Вестфальська система, заснована на концепції суверенної національної держави. Однак ця ідея налічує всього кілька століть, виникнувши з договорів, відомих як Вестфальський мир у середині XVII століття. Це не зумовлена одиниця соціальної організації, і вона може не підходити для епохи ШІ. У світі, де фейкові новини та упереджені алгоритми стають нормою, національні держави ризикують втратити контроль над власною долею.

Посилення проблеми, ймовірно, буде пов'язане з психологічною дезорієнтацією та можливим відходом від реальності. ШІ може скинути відносні позиції конкурентів всередині сьогоднішньої системи. Якщо його сили використовуються в першу чергу самими національними державами, людство може бути змушене рухатися до гегемоністського застою або до нової рівноваги держав, посилених ШІ. Але це також може бути каталізатором ще більш фундаментального переходу - зсуву до абсолютно нової системи, в якій державні уряди будуть змушені відмовитися від своєї центральної ролі в глобальній політичній інфраструктурі.

Компанії, що володіють і розробляють ШІ, можуть акумулювати безпрецедентну владу, формуючи альянси на основі взаємних переваг або спільної філософії розвитку ШІ. Такі корпоративні об'єднання здатні перейняти традиційні функції держав, створюючи свої домени не через контроль територій, а через управління цифровими мережами. При цьому уряди опиняються в складному становищі, намагаючись одночасно підтримувати корпорації та захищати інтереси громадян.

Існує й ще одна альтернатива. Неконтрольоване, відкрите поширення технологій може призвести до появи невеликих угруповань або племен з недостатнім, але істотним потенціалом ШІ. Серед людських груп, що відкидають встановлену владу на користь децентралізованих фінансів, комунікацій та управління, може перемогти прото-анархія. Такі угруповання можуть набути релігійного виміру, можливо, рухомі однією з концепцій взаємозв'язку ШІ та божественного. Зрештою, з точки зору охоплення, християнство, іслам та індуїзм завжди були більшими і довговічнішими за будь-яку державу в історії. У прийдешню епоху релігійна приналежність може виявитися більш значущою рамкою для ідентичності та лояльності, ніж національне громадянство.

У будь-якому з цих сценаріїв боротьба розгорнеться не за фізичні території, а за цифровий простір і вплив у ньому. Традиційне громадянство може поступитися місцем новим формам приналежності та лояльності, а міжнародні угоди будуть радикально відрізнятися від звичних альянсів між державами.

Історично альянси створювалися окремими лідерами і служили для посилення могутності нації у разі війни. Навпаки, перспектива громадянств і альянсів - а можливо, завоювань або хрестових походів - структурованих навколо думок, переконань і суб'єктивних ідентичностей звичайних людей у мирний час, потребуватиме нової (або дуже старої) концепції імперії. Це також змусить переглянути зобов'язання, що накладаються при принесенні присяги на вірність, і вартість варіантів виходу, якщо такі взагалі існуватимуть у нашому майбутньому, переплетеному з ШІ.

Ці фундаментальні зміни в природі політичної організації можуть мати далекосяжні наслідки для міжнародної стабільності. Як зазначається в книзі, світ, де деякі держави більш активно впроваджують ШІ в політичне керівництво, ніж інші, буде набагато менш передбачуваним. У випадках, коли одні держави спиратимуться переважно на людські ресурси у військовому або дипломатичному протистоянні з державами, що активно використовують ШІ, або з самими системами ШІ, люди можуть виявитися практично беззахисними - не тільки нездатними вижити в конфлікті, але навіть нездатними ефективно конкурувати або вести переговори.

Особливу стурбованість викликає можливість того, що традиційні механізми міжнародного балансу сил можуть виявитися неефективними у світі, де ключові рішення приймаються системами ШІ. Міжнародний концерт національних держав - хитка і внутрішньо зміщувана рівновага, досягнута в останні кілька століть - тримався частково завдяки внутрішній рівності гравців. Світ серйозної асиметрії буде набагато менш передбачуваним.

Кіссінджер і співавтори попереджають, що такий проміжний порядок може стати свідком внутрішнього вибуху суспільств і неконтрольованого вибуху зовнішніх конфліктів. У цьому контексті особливо важливим стає питання про те, як будуть структуровані нові форми міжнародного співробітництва та управління конфліктами.

Традиційні інститути міжнародного порядку - такі як ООН, міжнародне право, багатосторонні альянси - можуть виявитися неадекватними для вирішення проблем епохи ШІ. Потрібні будуть нові механізми координації та співробітництва, здатні працювати зі швидкістю та складністю, що відповідають можливостям ШІ. Це може призвести до появи абсолютно нових форм міжнародних інститутів, побудованих навколо управління та регулювання ШІ.

Особливу роль у цій трансформації може зіграти поява транснаціональних спільнот, об'єднаних навколо конкретних технологій або застосувань ШІ. Ці спільноти можуть стати новими центрами влади та впливу, не прив'язаними до традиційних державних кордонів. Вони можуть створювати свої власні системи управління, стандарти та протоколи, які фактично функціонуватимуть як нова форма міжнародного права.

У книзі підкреслюється, що ця реструктуризація не обов'язково призведе до хаосу або конфлікту. При правильному управлінні вона може створити більш стабільний і справедливий міжнародний порядок. Однак це потребуватиме безпрецедентного рівня міжнародного співробітництва та координації, а також готовності існуючих центрів влади адаптуватися до нових реалій.

Ключовим фактором успіху в цьому переході буде здатність людства розробити ефективні механізми управління ШІ на глобальному рівні. Це включає не тільки технічні стандарти та протоколи безпеки, але й нові форми міжнародного співробітництва, здатні справлятися з унікальними викликами епохи ШІ.

Трансформація глобального порядку відкриває безпрецедентні можливості для створення нової економіки достатку, де ШІ може стати ключем до подолання традиційного дефіциту ресурсів.

Економіка достатку

У міфології різних народів часто зустрічаються історії про магічні пристрої, що створюють нескінченне багатство - від чарівного млина Сампо у фінському епосі "Калевала" до індійської посудини Акшая-патра в епосі "Махабхарата". Сьогодні розробники ШІ вірять, що їхнє створення може стати реальним втіленням такої "машини достатку".

Перспективи використання ШІ для створення багатства дійсно вражають. ШІ може не просто автоматизувати існуючі процеси, але й радикально змінити саму природу економічних відносин. У виробництві ШІ здатний оптимізувати використання ресурсів і створювати нові матеріали. У поєднанні з роботизацією це може призвести до радикального зниження вартості виробництва практично будь-яких товарів.

Особливо важливо, що ШІ може допомогти вирішити проблему розподілу благ. Вже зараз розробляються концепції використання розподілених систем ШІ для забезпечення базових потреб людей через мережу автоматизованих виробництв та логістичних систем. Це може дозволити забезпечити продовольством, одягом та житлом мільярди людей, які сьогодні позбавлені доступу до базових благ.

Однак виникає фундаментальне питання: як забезпечити справедливий розподіл створюваного багатства? Як зазначається в книзі, "оскільки люди не докладають прямих зусиль до створення цінностей, які виробляє штучний інтелект, справедливо буде розподіляти ці блага між усіма членами суспільства". Пропонуються різні механізми - від оподаткування компаній, що володіють ШІ, до створення нових форм "цифрових дивідендів".

У світі без дефіциту традиційні економічні моделі можуть виявитися неактуальними. Як зазначають автори, навіть якщо ми вийдемо за межі економічної цінності, ми не вийдемо за межі людських цінностей. Ті, хто перестане об'єднуватися на основі грошей та матеріальних благ, шукатимуть інші основи для об'єднання - релігію, расу, сімейне походження, освіту, мораль або будь-які інші категорії.

Особливу стурбованість викликає доля людської праці. У світі, де ШІ може виконувати практично будь-яку роботу, необхідно буде переосмислити саме поняття зайнятості та знайти нові джерела сенсу та самореалізації для людей. Шмідт, Кіссенджер і Манді зазначають, що "якщо завтра вранці кожній людині був би даний вибір припинити працювати, ми підозрюємо, що більшість зробило б це. У той час як небагато відмовлених виявилися б тими самими, хто може дозволити собі працювати не через гроші, а з інтересу".

У цьому контексті особливого значення набуває розвиток освіти та творчого потенціалу людей. Предмети, колись зарезервовані для привілейованої меншості, можуть стати стандартом для багатьох, замінивши колишній фокус середнього класу. Розгортання ШІ-викладачів могло б забезпечити індивідуалізоване навчання по всьому світу.

Таким чином, ШІ створює можливість для безпрецедентної трансформації людського суспільства - від економіки дефіциту до економіки достатку. Однак реалізація цього потенціалу вимагатиме не тільки технологічних рішень, але й глибоких соціальних та інституційних змін.

Ця зміна може призвести до глибокої трансформації в розподілі багатства та можливостей між країнами. Як зазначають автори “Генезису”, попередні дисбаланси та асиметрії в глобальній економіці були зумовлені відмінностями в забезпеченості ресурсами, географії та людському капіталі. ШІ може скоротити розриви в талантах і вирівняти розподіл ресурсів. Це зробить менш значущими ті розділові лінії, по яких ми довгий час вели глобальну торгівлю і комерцію і по яких стратифіковано світове процвітання.

Однак є ризики переходу до такого майбутнього. Людська психологія повинна буде коеволюціонувати з ШІ та його ефектами. Хоча передбачити точно, як саме це станеться, складно, здається можливим, що ШІ міг би дійсно привнести в життя людини стільки ж сенсу, скільки віднімає. Одного задоволення недостатньо для задоволення нашого вродженого прагнення до сенсу. Робота – навіть якщо не за плату – може забезпечити відчуття мети, оскільки засоби важкі або цілі благородні.

Долаючи труднощі, ми не просто відчуваємо гордість за досягнуте - ми створюємо свою особисту історію зростання та вдосконалення. І хоча епоха ШІ принесе безліч змін, ця глибинна радість від особистих досягнень та самовдосконалення залишиться незмінною частиною людської природи.

У книзі підкреслюється, що перехід до достатку – це не тільки технологічна, але й глибоко філософська та соціальна проблема. Перед нами постає завдання не просто створити нові механізми розподілу благ, але й переосмислити саме поняття людського процвітання. У світі, де матеріальний достаток стає нормою, ключовим фактором може стати здатність знаходити сенс і реалізацію в нематеріальних аспектах життя.

Особливу роль у цьому переході можуть зіграти університети. Університети історично брали на себе зобов'язання давати своїм студентам рівне введення як в точні науки, так і в гуманітарні дисципліни. У майбутньому ці квінтесенціально людські починання, кожне по-своєму "пошук сенсу", можуть тільки розширитися. На Заході вільні мистецтва були предметами та навичками, які класична античність вважала ознаками незалежного розуму. У давньому Китаї художник династії Тан Чжан Яньюань встановив, що від "вченого-джентльмена" слід було очікувати демонстрації майстерності в "чотирьох мистецтвах": здібностях звуку, зору, стратегії та письма.

Це нове розуміння освіти та розвитку людського потенціалу може стати ключем до успішного переходу до економіки достатку. Як вважають автори, "ШІ міг би бути спрямований на те, щоб робити те, що ми більше не повинні робити, саме для того, щоб ми могли робити те, що хочемо робити".

Однак перехід до такого майбутнього не буде простим. Ті, хто сьогодні контролює основні переваги і майже виключний контроль над просунутими ШІ, можуть бути не готові відмовитися від своїх переваг. Якщо вони це зроблять – якщо і коли більше вигод і більше контролю буде розподілятися на національному рівні – негайно почнуться заклики до глобалізації того й іншого. Віддасть чи одна нація своє суверенне багатство в загальну користь? Деякі можуть стверджувати, що психологічні бар'єри для жертви зникнуть, як тільки світ перестане бути грою з нульовою сумою. Але це припускає перехід, який ще не стався, який здається суперечить сьогоднішньому статус-кво, і який – якщо він повинен статися – повинен бути продуктом людського вибору.

Але досягнення цього світлого майбутнього вимагатиме вироблення чіткої стратегії співіснування людини та машини.

Стратегія виживання

Перед нами постає фундаментальне питання: чи станемо ми більше схожими на них, чи вони стануть більше схожими на нас? Біологічні інженерні зусилля, спрямовані на більш тісне злиття людини з машинами, вже ведуться. Починаючи з фізичних з'єднань за допомогою чіпів у людському мозку, вони прагнуть знайти більш швидкий, більш ефективний спосіб з'єднати біологічний і цифровий інтелект.

Такі зв'язки могли б посилити нашу здатність спілкуватися з машинами, кидати їм виклик на їхніх умовах, забезпечувати передачу знань від ШІ людям і переконувати ШІ в цінності людей як рівноправних партнерів. Дійсно, спроби створити такі "інтерфейси мозок-комп'ютер" можуть зміцнити прагнення людства до інтеграції з машинами.

Однак небезпеки — етичні, фізичні та психологічні — такого шляху можуть переважити переваги. Якщо ми досягнемо успіху в перегляді нашої біології (ймовірно, за допомогою ШІ), люди можуть втратити базову лінію, на якій можна засновувати наше майбутнє мислення про можливості або небезпеки, з якими ми можемо зіткнутися як вид. Але якщо ми не придбаємо такі нові можливості, ми можемо поставити себе в невигідне становище в співіснуванні з нашим творінням.

Можливо, варто звернутися до історії біологічної коеволюції. Чарльз Дарвін писав про цікавий процес, за допомогою якого види взаємно впливають на еволюцію один одного. Геноми взаємодіючих видів пов'язані; вони змінюються у відповідь один на одного з плином часу. Наприклад, і довгі тонкі дзьоби колібрі, і довгі воронки певних квітів разом виросли до більш екстремальних розмірів, щоб служити взаємним потребам один одного.

Автори "Genesis" пропонують зосередитися на концепції людської гідності як ключової відмінної ознаки нашого виду. "Гідність — це якість, властива істотам, які, народжуючись вразливими і смертними і, отже, повними невпевненості і страху, всупереч своїм природним нахилам, можуть і дійсно використовують свою свободу не для слідування своєму уявленню про зло, а для вибору свого уявлення про добро".

За цим визначенням ШІ навряд чи може володіти гідністю — оскільки ШІ не народжуються, не вмирають, не відчувають ні невпевненості, ні страху і не мають природних схильностей або індивідуальності, такої, щоб уявлення про зло або добро можна було вважати "їх власними". Хоча ШІ найближчого майбутнього можуть здаватися іншими, маючи особистості, висловлюючи емоції, розповідаючи жарти та розповідаючи особисті історії, в рамках цієї концепції до них слід ставитися філософськи, як до літературних персонажів.

Навіть найбільший літературний персонаж — шекспірівський “Гамлет”, наприклад — не більше ніж особливе поєднання слів, колись написаних на сторінці і тепер багаторазово відтворених. “Гамлет” не здатний відчути укол болю, дрож страху або пекуче розчарування від нездійснених надій. "Гамлет" не має свободи зробити новий вибір. "Гамлет" замкнений всередині своєї п'єси. "Гамлет" - не людина, а картина людини. ШІ, що складається з рядків коду і шматків кремнію, багато в чому такий же.

Щоб не допустити нашого пониження в статусі або заміни машинами, деякі захочуть заявити про відмінність через нашу близькість до божественного. Інші захочуть прийти до більш тактичних висновків: які види прийняття рішень можуть бути делеговані машинам, а які ні. Автори пропонують сформулювати атрибут або набір атрибутів, навколо яких могла б об'єднатися більшість людства: ті, що забезпечать мінімальний рівень переважного, але не стелю можливого.

Особливу стурбованість викликає можливість того, що системи безпеки ШІ можуть бути недосконалими. Навіть за наявності належних заходів контролю небезпечна поведінка машини, будь то випадкові збої, непередбачені взаємодії систем або навмисне неправильне використання, повинна бути не просто заборонена, а повністю запобігнена. Будь-яке покарання прийде надто пізно.

Для забезпечення безпеки ШІ автори пропонують багаторівневий підхід до контролю. Перший рівень — це "книга законів" ШІ з різними рівнями управління: місцевим, районним, державним, федеральним, міжнародним. Правові прецеденти, юриспруденція, наукові коментарі повинні розглядатися одночасно.

Другий рівень — це впровадження "докси" (від давньогрецького — загальноприйняті вірування) — базових людських розумінь, які неможливо закодувати напряму, але які машини повинні навчитися розпізнавати через спостереження за людською поведінкою. Машини повинні побудувати власне розуміння того, що люди роблять і не роблять, вбираючи те, що вони бачать, і відповідно оновлюючи своє внутрішнє управління.

Третій рівень — створення спеціально навченого наглядового ШІ або декількох ШІ для контролю за використанням широкого спектру ШІ-агентів, які будуть консультуватися зі своїм керівником перед виконанням завдання. Це дозволить єдиній системі моралі управляти різними реалізаціями.

Лабораторії та некомерційні організації, орієнтовані на безпеку, в консультації з передовими лабораторіями, повинні тестувати як агентних ШІ, так і наглядових ШІ на предмет ризиків і рекомендувати додаткові стратегії навчання та валідації за необхідності. Провідні компанії могли б спільно фінансувати роботу цих дослідників через один з перерозподільних механізмів.

Автори пропонують створення інтегрованої архітектури контролю, попередньо вбудованої в найпотужніші ШІ, яка могла б активно направляти машини до законного, нешкідливого та стверджувально корисного використання. Це вимагатиме безпрецедентного рівня міжнародного співробітництва та координації, а також готовності існуючих центрів влади адаптуватися до нових реалій.

Те, що одні підносять як необхідні кроки до вершини людського потенціалу, інші бачать як безрозсудний кидок у прірву. У цих розбіжностях криється реальна небезпека. Страх спонукає одних сповільнювати свій розвиток і перешкоджати прогресу інших, тоді як самовпевненість змусить інших приховувати свої справжні можливості, таємно форсуючи роботу.

Ідеальним видається майбутнє, де людський і машинний інтелект підсилюють один одного. Але для цього кожен з інтелектів повинен мати адекватне розуміння іншого. У світі, де штучний інтелект може перевершити нас практично в усьому, наша людяність — з усіма її недосконалостями і протиріччями — може виявитися нашим головним активом.

Як підкреслюють автори книги, нам необхідно не тільки теоретичне визначення людяності, але й практична робота з її втілення. Активний прояв волі, допитливості та свободи, невтомне прагнення зрозуміти інших людей, природу, всесвіт і можливість існування вищих сил – все це сприятиме постійному переосмисленню самої суті людяності.

Машинний розум повинен враховувати не тільки вимірювані величини на кшталт вартості та ефективності, але й невідчутні людські цінності. Візьмемо милосердя - його неможливо виразити математично або алгоритмічно. Навіть людям часом складно пояснити, чому вони проявляють милосердя - це майже диво. Виникає питання: чи зможе ШІ, націлений на максимальну продуктивність, сприйняти і засвоїти саму суть милосердя, навіть якщо ми не можемо навчити його цьому напряму?

Саме гідність – ядро, з якого розквітає милосердя – може служити тут частиною заснованих на правилах припущень або ітеративного навчання машини. Як зазначається в книзі: "Ясне формулювання конкретних визначальних людських атрибутів – особливо тих, які, як гідність, широко інтегровані як в міжнародні політичні інструменти, так і в глобальні вірування – могла б направляти людські зусилля в періоди дезорієнтації".

Автори попереджають, що ми не можемо покладатися виключно на припущення, що машини приборкають себе самі. Навчання ШІ розумінню нас, а потім надія на те, що він поважатиме нас – це не стратегія, яка здається безпечною або ймовірною для успіху. Більше того, ми повинні визнати, що люди, безумовно, не будуть єдині у своєму підході – деякі будуть ставитися до ШІ як до друга, а інші як до ворога, а деякі (враховуючи обмеження за часом і ресурсами) не зможуть проявити перевагу, а просто приймуть стратегію, негайно доступну для них.

У книзі підкреслюється, що без загального розуміння того, хто ми є, людська раса ризикує повністю поступитися ШІ фундаментальне завдання визначення нашої цінності і тим самим виправдання нашого існування. Це особливо важливо в контексті того, що автори називають "драматичним прискоренням часової шкали прийдешніх криз за межами попереднього людського досвіду".

Деякі можуть сприйняти прихід ери ШІ як останній акт драми людства. Але Кіссінджер, Шмідт і Манді бачать у цьому скоріше початок нової історії. Ми стоїмо на порозі чергового циклу творення, який торкнеться всіх сфер буття - від технологій і біології до соціуму і політики. Парадигми логіки, віри, самого часу неминуче зміняться.

Нас чекає епоха небувалих відкриттів і потрясінь. Людству належить зіткнутися з екзистенційними викликами і переосмислити своє місце у Всесвіті. Це буде ера неймовірних можливостей і неуявних ризиків. Від наших рішень залежатиме доля нашого виду.

Зустріти цей новий генезис ми повинні з тверезим оптимізмом, не впадаючи ні в паніку, ні в ейфорію. Адже тільки зберігаючи ясність розуму і твердість духу, ми зможемо пройти через горнило трансформацій і викувати своє майбутнє в партнерстві з нашими творіннями. На кону - все. Але саме в кризові моменти історії ми пізнаємо себе і стаємо тими, ким покликані бути.