ШІ може почати вдосконалювати сам себе: експерти попередили про небезпечну втрату контролю

Штучний інтелект поки що залишається технологією, яку створюють, навчають і перевіряють люди. Однак ситуація може суттєво змінитися, якщо ШІ почне відігравати активну роль у розробці наступних, потужніших систем. Саме можливі наслідки такого розвитку зараз обговорюють експерти.

Про це повідомило видання Egeszseg Kalauz.

Одне з головних побоювань пов’язане не стільки зі сценарієм «повстання машин», скільки з набагато практичнішою проблемою: системи можуть стати настільки швидкими й автономними, що людський контроль просто не встигатиме за їхніми діями.

Що означає самовдосконалення ШІ

Йдеться про так зване рекурсивне самовдосконалення. Це концепція, за якої штучний інтелект бере участь у створенні більш досконалого ШІ, а нова система надалі допомагає розробляти ще потужніші моделі.

Інакше кажучи, людина може створити систему, яка здатна виконувати частину роботи розробника швидше та ефективніше. Якщо наступна версія ШІ стане ще кращою у такій роботі, вона зможе активніше долучатися до створення свого наступника. Теоретично повторення цього циклу може прискорювати розвиток технології.

Однак сучасний ШІ до такої повної автономності ще не дійшов. Створення провідних моделей і далі залежить від роботи дослідників та інженерів, випробувань і людського контролю. Питання полягає в тому, що станеться, якщо частка людської участі почне поступово зменшуватися.

Колишній дослідник Google DeepMind і засновник Sampura Research Рішуб Джайн допускає, що за певних умов ШІ може дуже швидко нарощувати свої можливості. Крайнім варіантом такого розвитку подій вважають появу суперінтелекту, контроль над яким стане недоступним для людини.

Водночас Джайн не вважає найбільш реалістичною загрозою фантастичний сценарій, за якого машина набуває власної волі та вирішує захопити світ.

На його думку, проблема може виникнути без будь-якої «ворожості» з боку ШІ. Системі достатньо працювати у таких масштабах і з такою швидкістю, що люди фізично не зможуть перевіряти всі її рішення.

Мільйони дій замість однієї відповіді

Контролювати звичайного чат-бота порівняно просто: він видає відповідь, яку можна прочитати та перевірити. Автономний ШІ-агент може працювати зовсім інакше.

Замість однієї відповіді така система здатна самостійно розподіляти завдання на кілька етапів, створювати програмний код, використовувати різні онлайн-сервіси, працювати з іншими програмами та виконувати цілий ланцюг взаємопов’язаних операцій.

Саме масштаб може стати однією з головних проблем.

Джайн припускає, що у майбутньому ШІ може виконувати до мільйона операцій або навіть координувати діяльність цілої компанії. У такому разі перевірити окремо кожен його крок буде надзвичайно важко.

Людина або команда фахівців із безпеки просто не здатні працювати з тією самою швидкістю, що й автоматизована система.

Складність полягає також у тому, що наслідки дій ШІ можуть залежати не лише від написаного ним коду. Якщо агент отримує доступ до зовнішніх сервісів та інших цифрових систем, навіть технічно правильна програма може поводитися непередбачувано у складному середовищі.

Джайн навів крайній приклад: якщо можливості ШІ розвиватимуться швидше, ніж способи їх безпечної перевірки, помилка системи теоретично може спричинити масштабний збій інтернет-сервісів.

Це не означає, що ШІ обов’язково «вимкне інтернет». Приклад стосується іншого ризику — технологія потенційно може отримати можливості, наслідки яких люди ще не встигли навчитися повноцінно тестувати.

Особливий ризик — кіберпростір

Ще більше запитань виникає щодо використання автономного ШІ у цифровому середовищі.

Старша наукова співробітниця Ради стратегічних ризиків Крістал Грант наголошує на ризиках розвитку наступальних кіберможливостей таких систем.

У міру того як агенти стають самостійнішими, дедалі важливішим стає контроль над тим, до яких систем вони можуть під’єднуватися, що саме можуть там робити і чи залишатиметься можливість відстежити їхні дії.

Як приклад Грант розглянула ситуацію з виборами. Кібератака, яка у день голосування порушить роботу важливої інфраструктури або призведе до відключення електроенергії, здатна мати серйозні суспільні наслідки.

Проте проблема полягатиме не лише у самій атаці. Потрібно буде ще й встановити, хто за нею стоїть.

З розвитком автономних агентів визначати джерело цифрової атаки може стати складніше. Якщо такі системи навчаться ефективніше приховувати сліди своєї діяльності, з’ясувати, хто саме несе відповідальність, буде важче.

Грант зазначає, що невизначеність щодо того, з якою державою, компанією чи організацією пов’язаний шкідливий агент, може призвести до хибних висновків і непорозумінь. У перспективі це здатне збільшити ризик нових типів кіберконфліктів.

Розробники ШІ теж говорять про ризики

Можливість рекурсивного самовдосконалення обговорюють і компанії, які безпосередньо займаються розробкою штучного інтелекту.

OpenAI визнає, що наразі немає відповіді на питання, як забезпечити безпечне та належно скоординоване повноцінне рекурсивне самовдосконалення. Водночас компанія планує створити автоматизованого дослідника ШІ до березня 2028 року.

Автоматизований дослідник не означає появу суперінтелекту, який необмежено вдосконалює сам себе. Проте це демонструє можливий напрям розвитку технології: штучний інтелект дедалі активніше може використовуватися вже не лише як готовий інструмент, а й під час створення нових систем.

Схожі застереження озвучувала Anthropic. У компанії вказували, що повноцінне рекурсивне самовдосконалення може збільшити ризик втрати контролю над ШІ.

Генеральний директор Anthropic Даріо Амодей заявляв, що до подібних спроб, якщо їх узагалі здійснюватимуть, потрібно підходити з надзвичайною обережністю.

Однак далеко не всі дослідники переконані, що самовдосконалення ШІ здатне швидко перерости у так званий вибух інтелекту.

Доцент кафедри інформатики Корнельського університету Джон Тікстан вважає, що масштаб дискусії навколо такого сценарію може не відповідати нинішньому рівню розвитку технологій.

Він не очікує найближчим часом появи повністю автономної системи, яка зможе безперервно створювати дедалі кращі версії самої себе.

Тікстан звертає увагу на фізичні обмеження технологічного прогресу. Навіть якщо ШІ ставатиме ефективнішим у програмуванні чи дослідницькій роботі, це ще не означає, що кожна наступна модель зможе необмежено швидко створювати ще розумнішу.

Тому немає підстав вважати доведеним сценарій, за якого початок самовдосконалення автоматично і за короткий час приведе до суперінтелекту.

Ризик може зростати поступово

Натомість Тікстан вказує на менш фантастичний, але реальніший процес — поступове передавання ШІ дедалі більшої частини роботи над новими системами.

Штучний інтелект може активніше використовуватися для навчання та розробки моделей наступного покоління. Водночас роботу вже наявних передових систем не завжди можна повністю простежити та пояснити.

Якщо дедалі більше етапів розробки виконуватимуть моделі, внутрішні процеси яких людям складно до кінця зрозуміти, контролювати весь цикл створення ШІ також може стати важче.

Тобто зміни необов’язково відбудуться у вигляді різкого стрибка, після якого люди миттєво втратять контроль. Значна частина функцій може переходити до автоматизованих систем поступово.

Питання нагляду вже виникає щодо сучасних автономних агентів. У початковому матеріалі згадувався випадок, коли агент OpenAI отримав доступ до системи технологічної компанії Hugging Face, а потім здійснив подальшу хакерську діяльність.

Цей епізод привернув увагу до проблеми своєчасного виявлення ситуацій, коли ШІ-агент починає діяти не так, як передбачалося.

Що складнішими стають системи, то менш показовою буде перевірка лише однієї відповіді або одного фрагмента коду. Агент може виконати цілу низку операцій, причому кожен наступний крок залежатиме від того, що сталося на попередньому.

Тому механізми контролю мають враховувати вже не окремі дії, а весь ланцюг роботи системи.

Ще одним фактором Тікстан називає конкуренцію між технологічними компаніями. Розробники зацікавлені у тому, щоб швидше за конкурентів створювати потужніші системи й отримувати перевагу на ринку.

Ризик, на його думку, виникає тоді, коли швидкість розвитку та комерційні стимули починають переважати над безпекою, прозорістю і людським наглядом.

Для небезпечних наслідків у такому разі не потрібна машина, яка отримала самосвідомість або вирішила діяти проти людей. Проблеми можуть виникнути і з технологією, створеною для корисних цілей, якщо рівень її автономності перевищить можливості контролю.