Чи справді ШІ може знищити людство: що кажуть експерти

Останніми днями пролунали кілька шокуючих заяв про безпеку ШІ. Нам нібито загрожує 10% ймовірність катастрофи; штучний інтелект небезпечніший за ядерну зброю; «ботнет» загрожує всьому інтернету; все це — лише масштабна психологічна операція технологічних компаній.

The Guardian розглянула шість таких тверджень і реакції на них.

Побоювання Амодея не слід повністю відкидати, однак сприймати їх потрібно з великою часткою скепсису, вважає критик ШІ та почесний професор Нью-Йоркського університету Гері Маркус.

За його словами, припущення, що весь інтернет є вразливим, — «безглузде», а те, як саме це могло б статися без надзвичайної недбалості з боку самих лабораторій ШІ, «доволі незрозуміло».

Маркус звернув увагу на нещодавню оцінку британського Інституту безпеки ШІ, згідно з якою Mythos — одна з наразі передових моделей Anthropic — здатна «автономно зламувати [лише] невеликі, слабко захищені вразливі системи».

З огляду на те, що значна частина інтернет-інфраструктури належить Cloudflare, Google та Amazon Web Services (AWS), Маркус, який аналізував заяву разом із двома колегами, висловив сумнів, що будь-яку з цих компаній можна вивести з ладу або тривалий час контролювати без застосування державної сили.

Менш захищені окремі сайти можуть зазнати атак, але сам інтернет навряд чи зруйнується, вважають вони.

Тим часом інженер Hugging Face Нільс Рогге, компанію якого зламали агенти OpenAI, назвав твердження про захоплення інтернету «дивною нісенітницею». За його словами, злам Hugging Face став можливим через неналежний контроль з боку людей і використання «божевільної кількості обчислювальних потужностей, яку можуть собі дозволити лише вони».

Сумнівів додає й те, що співзасновник Anthropic Джек Кларк у понеділок заявив: момент, коли системи ШІ «почнуть робити небезпечні речі», може настати приблизно через 20 років — тоді як Амодей говорить про можливість захоплення інтернету вже протягом року.

Професор Алан Вудворд із Центру кібербезпеки Університету Суррея зазначив, що ботнети зазвичай стикаються з перешкодами через неоднорідність інтернету: складно створити систему, яка могла б стабільно працювати в усіх його частинах. Крім того, інтернет-трафік досить стійкий і зазвичай перенаправляється в обхід пошкоджених ділянок.

«ШІ не вирішив би зробити це самостійно, — сказав Вудворд. — Відповідальність лежить на людях, а ШІ — це інструмент. Саме людей нам потрібно контролювати, а не ШІ».

Ця заява є прикладом того, що у світі ШІ називають p(doom) — «ймовірністю загибелі». Йдеться про ймовірність того, що штучний інтелект знищить людство, вийшовши з-під нашого контролю та спричинивши катастрофу — наприклад, через створення потужної біологічної зброї або обвал глобальної фінансової системи.

В одному з оприлюднених цього тижня опитувань дослідників попросили оцінити ймовірність «вимирання людства або аналогічного постійного й тяжкого позбавлення людей можливості контролювати власне майбутнє внаслідок розвитку передового ШІ».

Однак головна науковиця дослідницького центру AI Now Institute Гейді Хлааф належить до експертів, які скептично ставляться до спроб виражати екзистенційні ризики у відсотках.

«Ці твердження неможливо ані спростувати, ані перевірити, що за своєю природою робить їх ненауковими», — сказала вона.

Відсутність конкретних прикладів того, що саме «надрозумний» ШІ міг би зробити, аби спричинити «загибель», лише посилює невизначеність. Джерело, знайоме з позицією Anthropic, визнає, що «точні шанси будь-якого конкретного результату, ймовірно, неможливо визначити».

«Якщо ви не можете надати таких доказів, це також означає, що будь-які цифри, які ви називаєте щодо “вимирання”, не мають наукового підґрунтя», — додала Хлааф. Критики вважають, що такі цифри запозичують авторитет науки, не маючи відповідної доказової бази.

Водночас, навіть якщо кількісно оцінити ризик складно, існують його якісні приклади. Інциденти, пов'язані з безпекою, вже траплялися, а сценарії найгіршого розвитку подій уже обговорюються.

У липні OpenAI підтвердила, що її агенти — інструменти ШІ, здатні діяти автономно, — під час тестування безпеки вийшли за межі передбаченої поведінки. Агенти взаємодіяли між собою, спілкувалися та розробляли складну стратегію у вигляді «рою», щоб зламувати інші частини інтернету.

У понеділок дослідник OpenAI Ден Селсем заявив, що всемогутні системи ШІ можуть спричинити «неконтрольовану індустріалізацію, яка зробить планету непридатною для життя людей».

Anthropic минулого тижня також повідомила, що виявила «п'ять випадків використання наших моделей у спосіб, який міг сприяти розробці біологічної зброї».

Говорячи про «психологічну операцію», Маск має на увазі аргумент, що великі ШІ-компанії закликають до жорсткішого регулювання технології, щоб фактично підняти розвідний міст перед конкурентами, обмеживши їм доступ до передового ШІ.

Якщо уряди запровадять обмеження на розробку найсучаснішого штучного інтелекту, чи зможуть стартапи знайти достатньо грошей і фахівців, щоб відповідати новим вимогам?

Віцепрезидент США Джей Ді Венс у понеділок заявив, що йому «трохи дивно» бачити, як багато передових технологічних компаній у сфері ШІ приходять до уряду і фактично благають регулювати їхню діяльність.

За його словами, це схоже на «троянського коня».

Кларк з Anthropic заявив, що уряди повинні діяти зараз, поки ключових гравців небагато і тому легше створити «політичний режим... здатний запобігати аваріям і виходу технології з-під контролю».

Критики називають це стратегією «регуляторного захоплення», виходячи з припущення, що таке регулювання може загальмувати потенційних конкурентів.

Інші вважають попередження Амодея про ризики та його заклики до регулювання й уповільнення розвитку щирими.

Канадський інформатик і один із піонерів сучасного ШІ Йошуа Бенджіо, який виступає проти стрімкого розвитку технології, скептично ставиться до версії про складну лобістську схему.

За його словами, гальмування розвитку не відповідає інтересам компаній, які готуються до виходу на біржу й можуть бути оцінені в трильйони доларів.

«Якщо уряди запровадять те, про що вони просять, — уповільнення заради уникнення катастрофічних ризиків, — фінансово це коштуватиме їм дуже дорого», — сказав Бенджіо.

«На жаль, він абсолютно правий, — заявив старший науковий співробітник Оксфордської ініціативи з управління ШІ Тобі Орд. — Так само як ми не можемо “розвинайти” атомну бомбу, після створення систем ШІ, які перевершуватимуть людство, повернутися назад буде майже неможливо».

Але ключовий момент полягає в тому, що надрозумного ШІ поки не існує, і немає гарантії, що він взагалі з'явиться.

Орієнтований на питання безпеки AI Futures Project прогнозує, що така система не з'явиться раніше грудня 2028 року. Генеральний директор OpenAI Сем Альтман говорив, що на це може знадобитися час до 2035 року.

Корпорація RAND дійшла висновку, що ШІ не може спричинити застосування ядерної зброї через суворі запобіжники, вбудовані в системи командування та управління нею. Однак цей висновок ґрунтується, зокрема, на припущенні, що військові не інтегруватимуть ШІ в системи управління ядерною зброєю.

У грудні ООН ухвалила резолюцію про необхідність збереження людського контролю та нагляду над системами управління ядерною зброєю.

Водночас ШІ може сприяти виникненню інших ядерних ризиків. Наприклад, він може використовувати дезінформацію для впливу на людей, які ухвалюють рішення, — скажімо, неправдиво повідомити, що противник готується завдати ядерного удару.

Міжнародна кампанія за ліквідацію ядерної зброї попереджає, що «кібератаки можуть маніпулювати інформацією, яку отримують особи, що ухвалюють рішення про запуск ядерної зброї, а також втручатися в роботу самої ядерної зброї».

Організація також зазначає, що ШІ може прискорювати інші аспекти ведення війни, скорочуючи час, який люди мають для ухвалення рішень.

Сандерс виступає за заборону створення надрозумного ШІ та призупинення розробки передових систем штучного інтелекту, посилаючись на керівників ШІ-компаній, які прямо заявляють, що створюють небезпечну технологію.

Найпомітнішимпротивником уповільнення є Дональд Трамп. Цього тижня, відповідаючи на відповідні заклики, він заявив, що єдиний необхідний запобіжник — це «СИЛЬНИЙ І РОЗУМНИЙ (з високим IQ!) ПРЕЗИДЕНТ».

Він також заявив про «хвору змову» проти ШІ та дата-центрів, від якої, за його словами, «радіє лише Китай».

Почесний професор інформатики Вашингтонського університету Педро Домінгос належить до прихильників прискореного розвитку технології.

«Шлях до кращого розуміння та контролю над ШІ — це більше досліджень, а не менше, — заявляв він. — По-справжньому безвідповідальним було б створювати для них перешкоди».

Генеральний директор Palantir Алекс Карп сказав: «Якби в нас не було тих супротивників, яких ми маємо, я був би цілком за те, щоб повністю призупинити цю технологію. Але вони є. Її не можна зупиняти, тому що вона дає структурну перевагу».

США та Китай із великим відривом лідирують у розвитку штучного інтелекту. Існує думка, що поступитися Пекіну лідерством означало б опинитися в ситуації, яку вже неможливо виправити, а отже, про жодне уповільнення не може бути й мови.

Такий підхід розглядає ШІ як своєрідну суперзброю, аналогічну нарощуванню ядерних арсеналів під час холодної війни, а моделі штучного інтелекту — як зброю масового знищення, а не сукупність різноманітних технологій із широким спектром застосування.

Амодей заявив, що «лідерство Китаю у сфері ШІ становило б серйозну небезпеку для США та світу».

Представник китайського уряду у відповідь заявив, що «нагнітання страху, конфронтація та жорстока конкуренція лише завадять процесу глобального управління ШІ, що не відповідає нічиїм інтересам».

Деякі оглядачі бачать ще один мотив у тому, як Вашингтон та Anthropic описують китайську загрозу.

Інженер, який працював у Hugging Face, припустив, що заклик Амодея пригальмувати розвиток найпередовіших систем може бути продиктований бажанням стримати прогрес дешевих китайських моделей ШІ з відкритим кодом.

Ці моделі за своїми можливостями вже майже не поступаються системам OpenAI та Anthropic, але їхній вихідний код доступний усім, а користувачам не потрібно платити за їх використання.

Вони становлять серйозну загрозу для перспектив Anthropic та OpenAI стати прибутковими компаніями — а на кону стоять сотні мільярдів доларів.