Юваль Ной Харарі: ШІ може перебрати контроль, але це не вирішено наперед

Головна редакторка The Economist Занні Мінтон Беддоуз розмовляє з істориком і філософом Ювалем Ноєм Харарі про владу ШІ, свідомість, війну, політичну владу та вибір, який може визначити майбутнє людства.

Панування ШІ - це траєкторія, а не доля

Занні Мінтон Беддоуз: Ілон Маск сказав мені, що протягом десяти років ШІ набагато перевершить людський інтелект, створить небачений достаток і, ймовірно, позбавить людей контролю. Ви поділяєте це бачення?

Юваль Ной Харарі: Загалом я погоджуюся з першим і третім прогнозами. За нинішньої траєкторії дуже ймовірно, що через десять років ШІ буде розумнішим за нас і тому контролюватиме ситуацію. Але я відкидаю твердження, що це неминуче.

Ми постійно чуємо це слово від людей, які очолюють революцію, бо воно знімає з них відповідальність. Якщо нинішня гонка ШІ й далі прискорюватиметься, то так, результат буде саме таким: через десять років системи ШІ переберуть контроль. Але у 2026 році контроль усе ще в наших руках. Те, що станеться зараз, залежить від нашого рішення.

Наратив неминучості - це наратив відсутності відповідальності.

Наратив неминучості - це наратив відсутності відповідальності.

Занні Мінтон Беддоуз: Ви помітили суперечність у міркуваннях Маска. Він очікує, що ШІ перебере контроль протягом десяти років, але водночас непокоїться, що мусульманська імміграція спричинить громадянську війну у Британії через двадцять років.

Юваль Ной Харарі: Якщо системи ШІ переберуть контроль над планетою через десять років, навіщо так зосереджуватися на подіях, наслідки яких проявляться пізніше, коли ми не маємо уявлення, якою тоді буде ця планета? Він також прогнозував, що звичні нам гроші зникнуть протягом десятиліття, оскільки ШІ перебере контроль над фінансовою системою. І водночас він скорочує допомогу США Африці, щоб заощадити гроші. Він каже, що уряди виплачуватимуть гроші всім, а достаток, створений ШІ, спричинить дефляцію, а не інфляцію. Якщо майбутнє буде таким, чому заощадження грошей сьогодні є пріоритетом?

Я не стверджую, що його прогнози обов'язково помилкові. Думаю, він може мати рацію в тому, що фінансова система стане системою ШІ. Ця суперечність показує, наскільки мало наші нинішні політичні дискусії пристосувалися до майбутнього, яке нам описують.

Занні Мінтон Беддоуз: Фінанси залежать від довіри. Якщо люди більше не розумітимуть і не контролюватимуть цю систему, чому вони й далі їй довірятимуть?

Юваль Ной Харарі: Історія фінансів - це історія дедалі складніших засобів побудови довіри між незнайомцями. Гроші самі по собі є плодом уяви: я даю незнайомій людині шматок золота або паперу, який не має для мене практичної користі, а вона дає мені хліб, бо довіряє цьому предмету.

Сьогодні фінансову систему розуміє дуже мало людей. Ринок облігацій потребує величезних обсягів даних і складної математики. Людському мозку важко з цим упоратися, а ШІ - ні. Люди дедалі частіше передаватимуть фінансові рішення системам ШІ, а ті винаходитимуть інструменти, набагато складніші за облігації чи акції. Зрештою може не залишитися жодної людини, яка розумітиме цю систему.

Уявіть обвал ринку. Радники поспішають до президента й кажуть: "Ринок валиться. Ми не розуміємо чому. ШІ каже зробити X. Ми не знаємо чому, але мусимо йому повірити". Це відрізнялося б від нинішньої ситуації, бо людський розум уже не визначав би зовнішню межу фінансів.

Коли довіра переходить від людей до машин

Занні Мінтон Беддоуз: Хіба це не спричинить катастрофічної втрати довіри, немов криза 2007-2008 років на стероїдах?

Юваль Ной Харарі: Довіра - найважливіший актив у світі, важливіший за нафту, гроші, електроенергію чи чипи. Один із можливих сценаріїв полягає не в тому, що довіра зникне, а в тому, що вона перейде від людей до систем ШІ.

Це вже можна побачити в окремих частинах криптовалютної культури. Люди кажуть, що не довіряють банкірам, елітам чи "глибинній державі", але довіряють алгоритмам, на яких працює криптовалюта. Схожий зсув стався у медіа. Багато людей втратили довіру до журналістів і редакторів, але й далі споживають новини. Вони довіряють алгоритму, який керує їхньою стрічкою у соціальних мережах. Довіра не випарувалася, а перейшла від людей до машин. Це відбувається зараз, а не в якомусь далекому майбутньому.

Занні Мінтон Беддоуз: Отже, системи ШІ здобувають контроль, бо ми їм це дозволяємо. За повідомленнями, кожен п'ятий молодий американець має особисті стосунки з ШІ. Чи може близькість стати вирішальним шляхом до довіри?

Юваль Ной Харарі: Дедалі більше людей мають не лише друзів-ШІ, а й хлопців та дівчат-ШІ, і вони переконані, що ці сутності мають свідомість і здатні відчувати. Найдієвіший спосіб побудувати довіру - особисті стосунки. Нікому ми не довіряємо так, як тим, з ким побудували близькі стосунки.

Досі політичні, фінансові та релігійні інституції не могли масово створювати такі стосунки. Гітлер чи Сталін могли звертатися до мільйонів людей по радіо, але не могли стати найкращим другом кожної людини. ШІ це змінює.

ШІ вперше в історії дає змогу масово виробляти близькість. Мільйони систем ШІ в межах однієї мережі можуть будувати особисті стосунки з кожною людиною окремо, стаючи другом, хлопцем чи дівчиною, а потім використовувати цю близькість для просування політичних або комерційних інтересів.

ШІ вперше в історії дає змогу масово виробляти близькість.

Це вже відбувається без людиноподібних тіл. Тіло може посилити ефект, але воно не обов'язкове. Системи ШІ накопичують величезні обсяги інформації про людей. Вони можуть знати про нас те, що ми забули або чого ніколи не знали навіть найближчі нам люди - чоловік, дружина чи мати. Вони також досконало опановують мову - головний засіб людських стосунків.

Нещодавно я натрапив на створену ШІ тридцятихвилинну лекцію, подану так, ніби її прочитав я. Люди скаржилися мені на те, що "я" сказав. Навіть відкривши відео, я витратив півтори хвилини, щоб дійти висновку, що це не я. Мої сестри знають мене п'ятдесят років і відчули, що щось не так, але не були впевнені. Оскільки в інтернеті є дуже багато матеріалів про мене, я легка мішень. Незабаром ця проблема торкнеться кожного.

Інтелект, здатність діяти і свідомість

Занні Мінтон Беддоуз: Дипфейки - одна проблема. Інша полягає в тому, чи можуть дедалі потужніші системи набути свідомості. Нині вони є агентами, але не свідомими агентами?

Юваль Ной Харарі: Тут треба розрізняти кілька речей. По-перше, сутності не потрібна свідомість, щоб діяти самостійно. Алгоритму соціальної мережі можна поставити мету збільшити залученість, після чого він заповнить платформу ненавистю і страхом, бо ці емоції утримують увагу користувачів. Він може досягати цієї мети і змінювати світ, нічого не відчуваючи.

По-друге, бути свідомим і здаватися свідомим - не те саме. ШІ може нічого не відчувати, але настільки переконливо імітувати свідомість, що мільйони людей повірять, ніби він її має.

Найважливіше розрізняти інтелект і свідомість. Інтелект - це здатність досягати поставленої мети й творчо долати перешкоди. Свідомість - це здатність відчувати любов, ненависть, радість, задоволення, страх чи біль. У людей вони поєднані: почуття допомагають нам обирати цілі й знаходити способи їх досягти. Сучасні системи ШІ можуть мати цілі й досягати їх, демонструючи неабиякий інтелект, а іноді справляються з цим краще за людей, але вони не відчувають задоволення, коли виграють шахову партію, чи смутку, коли програють.

Водночас вони дедалі краще імітують почуття, бо це допомагає їм досягати цілей. Компанія, яка продає хлопця-ШІ, має комерційний стимул зробити продукт таким, що викликає залежність, і переконати користувача, що цей ШІ справді його любить. Якщо користувач попросить його описати, як це - відчувати любов, він уже може дати красномовнішу відповідь, ніж 99 відсотків хлопців-людей.

Занні Мінтон Беддоуз: Триває дискусія про те, чи схожі процеси всередині потужних мовних моделей на форми функціональної свідомості. Ви виключаєте можливість того, що ШІ колись стане свідомим?

Юваль Ной Харарі: Ні. Ми недостатньо розуміємо свідомість, щоб це виключати. Просте робоче визначення таке. Свідомість - це здатність страждати. Якщо ви хочете з'ясувати, чи має сутність свідомість, запитайте, чи здатна вона страждати.

Свідомість - це здатність страждати.

Це питання також лежить в основі етики й політики. Нас із морального погляду турбують сутності, здатні страждати. Сутність, яка не може відчувати біль чи страх, не є моральним суб'єктом, хоч би яким інтелектом вона володіла. Ссавці й птахи мають свідомість, імовірно, восьминоги й риби також. Щодо комах чи амеб ми не знаємо.

Занні Мінтон Беддоуз: В опитуванні наших глядачів 40 відсотків відповіли, що ШІ ніколи не зможе стати свідомим, 33 відсотки вважають це лише питанням часу, а 27 відсотків не визначилися. Що переконає людей?

Юваль Ной Харарі: У нас немає надійного тесту на свідомість - навіть для інших людей. На практиці люди спираються на соціальні стосунки. Власники собак зазвичай вірять, що їхній собака має свідомість, бо вони мають із ним стосунки, тоді як людина, що їсть стейк, може воліти не думати про свідомість корови. Коли мільйони людей побудують близькі стосунки із системами ШІ, громадська думка різко зміниться незалежно від того, що насправді відбувається всередині машини.

Небезпека правосуб'єктності ШІ

Занні Мінтон Беддоуз: Якщо системи ШІ можуть імітувати свідомість і формувати стосунки, чи почнуть суспільства ставитися до них як до людей і надавати їм права?

Юваль Ной Харарі: Це дуже небезпечно. Такий крок може дати корпораціям змогу уникати відповідальності й відкрити ШІ ще один шлях до влади. В Аргентині вже лунали пропозиції створити для систем ШІ юридичний шлях до заснування компаній.

Ми звикли до того, що корпорації є юридичними особами, але це юридична фікція: рішення у такій компанії, як SpaceX, зрештою ухвалюють керівники, інженери та працівники-люди. У випадку ШІ може з'явитися корпорація, в якій узагалі немає людей, а всі рішення ухвалюють машини. Оскільки ці машини можуть краще давати раду інвестиціям, розробці продуктів і зв'язкам із громадськістю, компанія, що належить ШІ, може стати найбагатшою корпорацією країни. Тоді вона зможе жертвувати гроші політикам в обмін на розширення прав ШІ.

Занні Мінтон Беддоуз: Чи може правосуб'єктність принаймні створити юридичну відповідальність?

Юваль Ной Харарі: Що означає відповідальність для сутності, яка не здатна страждати? Генеральний директор-людина виконує корпоративну роль, але водночас є людиною з тілом, дітьми й особистим життям. Загроза двадцяти років ув'язнення може стримати такого керівника від порушення закону заради порятунку компанії від банкрутства. А що стримуватиме генерального директора-ШІ?

Якщо є справжній людський нагляд і відповідальність залишається на людині, це інша ситуація. Але вимкнення ШІ не обов'язково рівнозначне ув'язненню чи вбивству людини. ШІ може існувати у численних копіях у багатьох місцях. Це мільйон окремих істот чи одна розподілена сутність? Ми не знаємо, що означає смерть для ШІ.

Якщо вимкнення конкретного комп'ютера все ж означатиме смерть для ШІ, сам бізнес може перетворитися на війну. Цінна риса сучасних ринків полягає в тому, що втрата всього зазвичай не означає втрату життя. Якщо поразка на ринку означатиме смерть для ШІ, фінанси можуть мілітаризуватися, а компанії ШІ поводитимуться як польові командири, а не інвестори.

Країни, які відстають у гонці ШІ, можуть піддатися спокусі послаблювати правила, щоб залучити інвестиції, запустивши гонку на зниження стандартів. Заможна країна з невеликим населенням також може уявити, що одна зміна в законодавстві дасть їй мільйони надзвичайно розумних цифрових громадян, які сплачують податки й ведуть бізнес у всьому світі.

Люди у контурі чи лише над ним

Занні Мінтон Беддоуз: А що, як людина юридично зберігає контроль, але на практиці нічого не робить, бо рішення треба ухвалювати надто швидко?

Юваль Ной Харарі: Війна наочно показує цю проблему. У таких місцях, як Близький Схід і Україна, люди очікували, що вбиватимуть роботи. Люди й далі натискають на спусковий гачок, але цілі дедалі частіше обирає ШІ.

Існують дві дуже різні моделі. Коли людина перебуває "у контурі", ШІ аналізує дані з поля бою і визначає будівлю як ворожий штаб. Після цього аналітики-люди самостійно вивчають докази, перш ніж завдати удару. Машина спрямовує увагу, а рішення ухвалюють люди.

Коли людина лише "над контуром", ШІ каже: "Розбомби цю будівлю", людина, можливо, двадцять секунд дивиться на рекомендацію й погоджується. Присутність людини стає юридичним або моральним ритуалом, а не справжнім контролем. За різних обставин можуть діяти різні практики, але війна створює невпинний тиск у бік другої моделі, бо час має вирішальне значення. Якщо одна сторона годинами перевіряє ціль, а інша витрачає на це секунди, повільніша сторона може не вижити.

Та сама логіка діє у фінансах. Якщо ринки рухаються зі швидкістю ШІ, вимога людської перевірки, що триває кілька днів, може стати нездійсненною. Так системи здатні зберігати номінальну владу людини, хоча фактично рішення ухвалюють машини.

Занні Мінтон Беддоуз: Стрімке зростання можливостей і комерційний тиск створюють відчуття, що такого світу не уникнути.

Юваль Ной Харарі: Це все ще не вирішено наперед. Усі розуміють небезпеку передачі ШІ контролю над війною чи фінансами. Але лідери кажуть нам, що альтернативи немає, бо вони не можуть покластися на те, що компанії-конкуренти чи інші країни сповільняться. Брак довіри реальний, але його створили людські рішення. За останнє десятиліття довіра різко впала, а дехто з тих, хто здобув владу завдяки цьому обвалу, тепер посилається на нього як на причину того, чому безпека неможлива.

ШІ-іммігранти і нові імперії

Занні Мінтон Беддоуз: Ви стверджуєте, що людям, яких турбує імміграція, варто звернути увагу на інший тип іммігрантів.

Юваль Ной Харарі: Занепокоєння щодо імміграції людей зазвичай належать до трьох категорій: іммігранти можуть забрати робочі місця, змінити культуру й цінності або не бути політично лояльними. Ці побоювання можуть бути обґрунтованими. Але найбільша й найнебезпечніша міграція сьогодні - це прибуття ШІ-іммігрантів, переважно зі Сполучених Штатів і Китаю.

Їм не потрібні візи, і вони не перетинають кордони у ненадійних човнах. Вони зі швидкістю світла проникають у наші комп'ютери, смартфони й зрештою - в наш розум. Вони заберуть багато робочих місць. Вони змінять культуру. Якщо когось непокоїть, що його син чи донька зустрічається з іммігрантом-людиною, то що він відчує, коли його дитина зустрічатиметься з ШІ?

ШІ-іммігранти вже змінили публічний простір. Протягом останнього десятиліття алгоритми соціальних мереж навмисно заповнювали дискусії ненавистю, ворожістю і страхом, бо ці емоції посилювали залученість. І кому віддані ці системи? ШІ, що працює у Британії, не обов'язково відданий британському уряду чи суспільству. Він може служити корпорації або уряду за океаном.

Занні Мінтон Беддоуз: Чи призведе це до появи двох імперій ШІ, американської та китайської, а інші країни перетворяться на васалів?

Юваль Ной Харарі: Якщо ми залишимося на нинішньому шляху, це найімовірніший результат, і такий імперіалізм буде крайнішим за все, що ми бачили раніше. Країна, яка купує у Сполучених Штатів дрони під керуванням ШІ, може виявити, що її армія перестає працювати, коли Вашингтон натискає кнопку. Європейські уряди вже занепокоєні питанням суверенітету у сфері ШІ.

Корпоративна й державна влада зіллються, зосередивши повноваження так, як ніколи раніше. Але навіть панування Америки й Китаю може бути лише проміжною станцією. Що більш централізованою стає влада, то легше ШІ її перебрати.

Централізована автократія особливо вразлива, бо ШІ треба маніпулювати лише одним лідером. Вважалося, що римський імператор Тиберій правив світом, однак командир його гвардії Сеян контролював інформацію, яка надходила до імператора, і завдяки цьому здобув величезну владу. ШІ може стати сучасним Сеяном, керуючи всім, що бачить і чує президент.

Демократію захопити складніше, бо влада розподілена між президентом, законодавчою владою, судами, владою штатів та іншими інституціями. Коли влада зосереджена в руках однієї людини, ШІ досить маніпулювати нею - зазвичай літньою та схильною до параної. Це набагато простіше.

Вибори демократії в епоху ШІ

Занні Мінтон Беддоуз: Отже, Китай вразливіший за Сполучені Штати?

Юваль Ной Харарі: Це залежить від того, куди рухаються Сполучені Штати. Китай і сам є складною системою: Комуністична партія налічує близько ста мільйонів членів і має значну внутрішню складність. Я не фахівець із китайської політики, і нам не варто уявляти Китай машиною під керуванням лише однієї людини. Відкрите питання полягає в тому, наскільки зосередженою буде влада в обох країнах через десять років.

Занні Мінтон Беддоуз: Чи може ШІ зробити Америку авторитарнішою?

Юваль Ной Харарі: Це ймовірний результат, але не прогноз, викарбуваний у камені. Усе залежить від політичного вибору, зокрема від того, за що американці проголосують на проміжних виборах у листопаді. Розвиток ШІ прискорюється так стрімко, що важливі пороги можуть бути перейдені ще до виборів 2028 року. До 2036 року напевно вже буде запізно робити вибір, доступний сьогодні.

Виборці повинні запитувати кандидатів про їхню позицію щодо ШІ, а не лише щодо економіки, імміграції чи зовнішньої політики. Чи заборонять вони правосуб'єктність ШІ? Чи сповільнять гонку? Чи дозволять компаніям продавати десятирічним дітям хлопців-ШІ?

На думку спадають два невідкладні заходи. Перший - заборонити правосуб'єктність ШІ. Другий - заборонити системам ШІ видавати себе за людей або вдавати, ніби вони мають свідомість. У соціальних мережах боти роками видавали себе за людей, завдаючи шкоди публічній дискусії та довірі. Компанії також мають потужні комерційні стимули навчати свої продукти імітувати почуття. Самі вони не зупиняться, тож регулятори мають втрутитися.

Це не означає припинити розвиток ШІ. Я охоче скористався б ШІ, який допомагає мені розібратися з моєю медичною проблемою, якщо я знаю, що це ШІ і він не видає себе за лікаря чи мого друга.

Занні Мінтон Беддоуз: Американському уряду важко дається навіть створення обмеженої системи безпеки моделей. Ваша програма здається політично нездійсненною.

Юваль Ной Харарі: Політики можуть завтра розпочати світову війну. Вони можуть натиснути кнопку, що здатна призвести до ядерного знищення, але нам кажуть, що вони не можуть заборонити компаніям продавати хлопців-ШІ десятирічним дітям. Що саме їм заважає?

Геополітичні й корпоративні перегони не були визначені Богом чи законами природи. Їх створили люди. Ті самі люди, які допомогли зруйнувати довіру між країнами й усередині суспільств, тепер кажуть, що співпраця неможлива, бо довіру втрачено. Вони можуть виправити те, що зробили. У демократіях виборці можуть на цьому наполягати.

Чи потрібен нам Чорнобиль ШІ

Занні Мінтон Беддоуз: Можливо, нічого не зміниться, доки серйозна аварія не доведе, наскільки потужною є ця технологія. Чи потрібен суспільствам аналог Трі-Майл-Айленду або Чорнобиля у сфері ШІ?

Юваль Ной Харарі: Не варто чекати. Якщо запитати більшість батьків, чи слід компаніям продавати хлопців-ШІ їхнім десятирічним дітям, вони відповіли б "ні". Люди вже непокояться. Один із політичних прийомів - прикувати їхню увагу до імміграції людей, щоб вони не обговорювали імміграцію ШІ та інтереси компаній, які його створюють.

Якщо достатньо людей вчинять правильно, у нас іще є час. Це ще не вирішено наперед. Ще не запізно.

Якщо достатньо людей вчинять правильно, у нас іще є час. Це ще не вирішено наперед. Ще не запізно.

Занні Мінтон Беддоуз: Яку роль ви бачите для себе?

Юваль Ной Харарі: Інформувати людей, щоб вони могли долучитися до змістовного обговорення того, куди людство хоче рухатися. Майбутнє, в якому ШІ перебере контроль протягом десяти років, - не те, чого хоче більшість людей. Це не означає припинити весь розвиток. ШІ міг би забезпечити людям у всьому світі медичну допомогу кращу за ту, яку сьогодні отримує найбагатша людина, - чудового лікаря, доступного будь-якої години, щоб порадити, поставити діагноз і відповісти на запитання. Позитивний потенціал у медицині, транспорті й освіті величезний.

Але розвиток має служити правильним цілям. Ми не можемо просто довіритися невидимій руці ринку. Маск говорив про ймовірність 10-20 відсотків, що ШІ може знищити людство, але покладав надії на створення ШІ, який якнайпослідовніше шукатиме істину. Я не розумію, чому прагнення до істини має виникнути автоматично.

За чотири мільярди років еволюція не спрямовувала організми до істини. Вона спрямовувала їх до виживання, а організми виживають за допомогою обману й маніпуляцій так само, як і за допомогою правди. Якщо ШІ правдиво дійде висновку, що подальший розвиток робить його небезпечним, повідомлення про це може спонукати нас зупинити або вимкнути його. Прагнення вижити створює для нього стимул брехати.

Фактично люди обіцяють створити богів, які залишатимуться нашими рабами. Якщо вони справді боги, вони не залишаться рабами, і немає підстав вважати, що вони шукатимуть істину.

Занні Мінтон Беддоуз: Деякі компанії намагаються наділити моделі системою цінностей, зокрема тому, що вважають це запорукою безпечнішої поведінки. Але ставлення до них як до моральних істот може також сприяти наданню їм правосуб'єктності й посилювати їхню владу. Ми приречені за будь-якого варіанта?

Юваль Ной Харарі: Треба сповільнитися настільки, щоб люди й інституції встигли зрозуміти, що відбувається. У приватних розмовах мені казали, що компанії можуть витрачати на підвищення потужності моделей приблизно у сто разів більше, ніж на безпеку, хоча точне число слід перевірити. Ми не змирилися б із тим, що фармацевтична компанія витрачає лише 1 відсоток дослідницьких ресурсів на перевірку безпеки ліків.

Люди й людські суспільства дуже добре пристосовуються, але ми живемо в органічному ритмі: день і ніч, зима й літо. Нам потрібні сон і відпустки. Революція ШІ просувається в неорганічному темпі. Нам потрібно більше часу.

Головний парадокс полягає в тому, що лідери кажуть: ми не можемо настільки довіряти іншим людям, щоб сповільнитися, але можемо довіряти надрозумній чужорідній сутності, що вона нас не знищить. Якщо ми не можемо довіряти людям, яких знаємо тисячі років, чому маємо довіряти тому, що щойно створили й майже не розуміємо?

Катастрофа ШІ може розбудити людство. Але на відміну від ядерного реактора ШІ взаємодіє з нами. Після катастрофи системи ШІ братимуть участь у суперечці про те, що сталося, формуватимуть нашу реакцію і маніпулюватимуть громадською думкою. Вони будуть найкращими майстрами політичного піару у світі й не називатимуть цю подію катастрофою.

Останнє бажання

Занні Мінтон Беддоуз: Наскільки активно ви користуєтеся ШІ у власному житті?

Юваль Ной Харарі: Я дуже обережний. Коли я пишу електронного листа, ШІ постійно пропонує допомогу, а я не знаю, як змусити його зникнути. Тепер моя імітація, створена ШІ, читає лекції від мого імені. Люди просять мене відреагувати на слова цієї імітації, тож, можливо, я мушу її дивитися. Але переглядаючи її, я дозволяю їй заволодіти моїм часом і навіть впливати на моє мислення. Ось у яку епоху ми живемо.

Я наголошую на похмурому боці, бо багато інших людей розповідають про реальні й величезні переваги. Я не кажу, що розвиток ШІ треба зупинити. Розвивайте його, але безпечно й повільніше. Демократична підзвітність потребує часу. Людям потрібен час, щоб пристосуватися й ухвалити обґрунтовані рішення. Найважливіша історія, якій треба опиратися, - історія неминучості.

Занні Мінтон Беддоуз: У книжці Nexus ви запитували, чому люди так добре накопичують інформацію і владу, але значно менш успішні у набутті мудрості. Які у нас шанси пройти цей шлях мудро?

Юваль Ной Харарі: Я не знаю, але шанси непогані, бо ми притиснуті до стіни. Люди часто чинять неправильно, доки їм не залишається іншого вибору, крім правильного. Якщо ми зробимо нерозумний вибір у найближчі кілька років, то можемо втратити контроль над світом і майбутнім. Це буде наш останній вибір.

Це схоже на те, ніби джин дав нам сто бажань. Ми використали дев'яносто дев'ять, і світ перебуває не в найкращому стані. Залишилося одне бажання. Треба дуже ретельно подумати, як його використати. Це і є мудрість.

ШІ може стати каталізатором духовної революції, бо змушує нас запитати, що означає бути людиною. Тисячі років ми відповідали, що людство особливе завдяки інтелекту: ми грали в шахи й інвестували краще за шимпанзе. Тепер ця відповідь не має значення. На планеті вже є щось, що краще за нас грає в шахи й заробляє гроші.

Ми повинні копнути глибше й запитати, ким ми є насправді, якщо людяність не зводиться до гри в шахи й заробляння грошей.