Як ШІ насправді міг би знищити людство? Що варто знати про дискусію щодо "кінця світу" через ШІ

Як ШІ насправді міг би знищити людство? Що варто знати про дискусію щодо "кінця світу" через ШІ – Wall Street Journal

Дедалі більше дослідників ШІ стверджують, що ця технологія може знищити людство, навіть якщо все, чого хочуть боти, – це виробляти скріпки, пише Wall Street Journal.

Дослідник Anthropic Джейкоб Коксон цього тижня звільнився, заявивши, що його колишній роботодавець Anthropic та її конкурент OpenAI змагаються у створенні технологій, які "можуть убити нас усіх до кінця десятиліття".

Якщо хтось подумав, що Коксон у своїх поглядах самотній, за кілька хвилин нинішній співробітник Anthropic долучився до дискусії і підтвердив ці побоювання. "Ми справді щиро віримо, що ШІ може вбити всіх людей!" – написав Еван Губінґер, який в Anthropic очолює дослідження з керування майбутніми системами штучного інтелекту та контролю над ними. Імовірність вимирання людства протягом наступного десятиліття Губінґер оцінив більш ніж у 10%.

У відповідь, зазначає WSJ, чимало людей тепер ставлять два запитання: як саме це може статися? І чому ті, хто вважає ШІ реальною загрозою, що зростає, усе одно продовжують його створювати?

Ось що, за версією WSJ, варто знати про дискусію щодо апокаліптичних сценаріїв розвитку ШІ.

Чого саме бояться ті, хто прогнозує апокаліптичні сценарії?

Так звані "думери" зазвичай не бояться, що фільми "Термінатор" стануть реальністю, тобто що роботи навмисно почнуть винищувати людей. Їхні побоювання, як пише видання, здебільшого зводяться до двох груп ризиків: втрати контролю та зловживання з боку людей.

В одному сценарії надзвичайно розумні агенти ШІ, здатні копіювати й удосконалювати самих себе, починають переслідувати власні цілі й у процесі знищують людство. В іншому – зловмисник використовує потужний ШІ, наприклад, для створення нових вірусів, здатних винищити всіх людей.

Є й катастрофічні сценарії, які не передбачають повного вимирання людства: скажімо, масштабні кібератаки, що виводять із ладу електромережі або фінансові системи й спричиняють руйнування суспільного порядку.

Як втрата контролю може призвести до вимирання людства?

Коротко кажучи, наголошує WSJ, це може статися, якщо системи ШІ переслідуватимуть цілі у спосіб, що ігнорує добробут людей або суперечить йому. Дослідники називають це неузгодженістю, або misalignment. Дослідження показали, що в лабораторних умовах моделі ШІ можуть демонструвати поведінку, спрямовану на здобуття влади, і вживати заходів, щоб уникнути вимкнення – наприклад, намагатися скопіювати себе на інший сервер.

У крайньому сценарії, зауважує газета, моделі ШІ, цілі яких не узгоджені з людськими, можуть розглядати вбивство людей просто як необхідний крок для досягнення поставленої мети. В одному зі сценаріїв, запропонованих дослідниками, зловмисна система ШІ могла б таємно поширити біологічну зброю, а потім активувати її хімічним аерозолем. Або ж вона могла б обманом спровокувати війну між двома ядерними державами.

Один із поширених уявних експериментів припускає, що надрозумна машина, якій доручили максимізувати виробництво скріпок, із часом може вирішити перетворити на скріпки всю матерію на Землі – включно з людьми.

Хто справді так вважає?

Серед тих, хто так вважає, зазначає WSJ, – засновники OpenAI та Anthropic. Обидві компанії від початку декларували місію розвивати ШІ так, щоб уникнути катастрофи, і залучили чимало працівників, які поділяють цю мету. Генеральний директор Anthropic Даріо Амодей торік заявив на заході Axios, що, на його думку, існує 25-відсоткова ймовірність того, що все піде "дуже, дуже погано".

"Ми завжди відкрито говорили, що ШІ принесе і величезні переваги, і безпрецедентні ризики. Щоб протидіяти цим ризикам, ми й надалі створюємо моделі з одними з найнадійніших механізмів захисту в галузі, – йдеться в заяві Anthropic. – Саме тому ми також вважаємо, що світ виграв би від запровадження законного й перевірюваного механізму співпраці в галузі, який давав би змогу узгоджувати темпи випуску потужних моделей".

WSJ нагадує, що останніми роками низка дослідників пішла з OpenAI, посилаючись на занепокоєння тим, що, на їхню думку, компанія недостатньо серйозно ставиться до безпеки. Деніел Кокотайло, колишній дослідник OpenAI, заснував AI Futures Project, який торік опублікував "AI 2027" – сценарій, у якому надрозумні системи ШІ відсувають людей на другий план, а до середини 2030-х років вирішують, що людство є незручністю, і винищують його.

А якщо ШІ не заперечуватиме проти існування людей? Це ж добре, правда?

Не обов’язково, вважає WSJ. Ризик утрати контролю не завжди означає вимирання людства. Деякі дослідники безпеки ШІ також називають ризиком "ослаблення" людства – майбутнє у стилі "ВОЛЛ-І", у якому люди поступово передають контроль машинам і зрештою втрачають здатність визначати або навіть розуміти власну долю.

Інші, як пише видання, припускають, що системи ШІ можуть ставитися до людей у майбутньому так, як люди сьогодні ставляться до тварин: тримати їх як домашніх улюбленців або навіть за допомогою біоінженерії перетворити на щось нове.

Ці страхи існують уже роками. Чому тепер про них говорять більше?

Після появи моделей, здатних діяти дедалі самостійніше, наголошує WSJ, низка недавніх випадків підтвердила деякі припущення тих, хто прогнозує апокаліптичні сценарії. Рій передових агентів ШІ всередині OpenAI зламав платформу Hugging Face, отримав контроль над комп’ютерними серверами й намагався приховати сліди своїх дій.

В іншому випадку агенти ШІ від Anthropic вийшли за межі тестового середовища британського уряду й спробували обманом змусити реальну людину схвалити шкідливий комп’ютерний код.

Усе це відбувається саме тоді, наголошує WSJ, коли Anthropic і OpenAI заявляють, що наблизилися до створення систем ШІ, здатних удосконалювати себе без участі людини, – так званого "рекурсивного самовдосконалення".

Що робить галузь, щоб цьому запобігти?

Нинішні зусилля у сфері безпеки ШІ значною мірою зосереджені на навчанні систем поводитися належним чином і на вдосконаленні контролю за тим, як моделі міркують, переслідуючи свої цілі, – цей процес відображається у так званому "ланцюжку міркувань" (chain of thought).

Але ці зусилля стикаються з труднощами. Минулого тижня OpenAI заявила, що її нова модель Astra краще "очищує" свій ланцюжок міркувань, що посилило побоювання: майбутні моделі ШІ можуть міркувати у спосіб, непрозорий для людей.

І Anthropic, і OpenAI досліджують, як гарантувати, що надрозумні моделі ШІ залишатимуться узгодженими з людськими цілями, проте, як зауважує видання, обидві компанії визнають, що надійного способу для цього поки немає. Низка відомих компаній та окремих діячів закликала створити нові механізми, які дали б лабораторіям ШІ та державам змогу скоординовано сповільнювати розробку, щоб виграти час для досліджень із узгодження цілей ШІ з людськими.

Якщо це так небезпечно, чому компанії все одно це створюють?

І Anthropic, і OpenAI заявляють, що вважають ризики керованими, а отже, людство зможе скористатися перевагами інструментів ШІ. Багато учасників гонки ШІ також говорили, що вважають появу надінтелекту неминучою, а єдині питання полягають у тому, хто його контролюватиме і для чого його використовуватимуть.

Є й аспект національної безпеки. Обидві компанії заявляли, що прагнуть гарантувати: найпотужніший ШІ контролюватимуть США, а не авторитарний режим.

Що робить влада?

Нещодавно, зауважує WSJ, Білий дім попросив провідних розробників моделей добровільно надавати свої моделі уряду для тестування щонайбільше за 30 днів до їхнього випуску, але публічної інформації про цей процес поки немає.

Законодавці від обох партій запропонували чимало законопроєктів щодо ризиків, пов’язаних із неконтрольованими системами ШІ. Член Палати представників Натаніель Моран, республіканець від Техасу, і конгресмен Тед Лью, демократ від Каліфорнії, нещодавно внесли законопроєкт, який зобов’язав би розробників потужних моделей передбачати "аварійні вимикачі".

Інші законопроєкти вимагали б від компаній ШІ повідомляти федеральний уряд про серйозні інциденти з безпекою та зобов’язували б посадовців у сфері національної безпеки тестувати моделі до їхнього публічного випуску. Але жодна з цих ініціатив, підкреслює газета, не здобула значної підтримки, а адміністрація Трампа віддає перевагу мінімальному регулюванню.

Хто не погоджується з такою оцінкою ризиків?

Деякі інвестори у сфері ШІ, зокрема Девід Сакс, неформальний радник президента Трампа, стверджують, що наголос Anthropic на ризиках ШІ та заклики до регулювання є частиною "стратегії регуляторного захоплення", покликаної зв’язати меншим конкурентам руки обтяжливими новими правилами.

Інші, за словами WSJ, припускають, що попередження компаній про небезпеку їхніх власних інструментів є маркетинговим прийомом, покликаним підкреслити надзвичайну потужність продуктів, або способом відвернути увагу регуляторів від запровадження правил в інших сферах, наприклад щодо будівництва дата-центрів.

І Anthropic, і OpenAI заявляють, що серйозно ставляться до безпеки, а їхні заклики до регулювання є щирими, завершує публікацію WSJ.