Катастрофа у сфері ШІ стає дедалі ближчою, — The Economist

Британський тижневик The Economist аналізує загострення конфлікту між адміністрацією Дональда Трампа та лабораторією Anthropic через відмову розробників зняти етичні запобіжники з ШІ для потреб Пентагону. Поки Білий дім вимагає максимального прискорення впроваджень, реальні ризики — від автономного кібершпигунства до розробки біозброї — стають дедалі матеріальнішими. Texty.org.ua публікують незначно сокрочений переклад матеріалу.

Хоча він і намагався звучати рішуче, Дональд Трамп випадково передав певну амбівалентність світу щодо швидкого розвитку штучного інтелекту. 27 лютого президент Америки накинувся на «божевільних ліваків» з Anthropic — американської лабораторії ШІ, яка працює, серед іншого, з Міністерством оборони та іншими урядовими установами. «Я наказую КОЖНОМУ федеральному відомству в уряді Сполучених Штатів НЕГАЙНО ПРИПИНИТИ будь-яке використання технологій Anthropic. Нам це не потрібно, ми цього не хочемо і більше не будемо мати з ними справу!» — прогримів він у соцмережах. Проте вже у наступному реченні він пообіцяв «використати всю повноту влади президента», щоб змусити Anthropic співпрацювати з урядом протягом наступних шести місяців. Очевидно, «божевільні» водночас становлять неприпустимий ризик для належного функціонування держави і є настільки незамінними для неї, що їх потрібно змушувати до роботи, якщо це необхідно.

Відтоді як здатність ШІ перевершувати людські можливості стала очевидною, світ бореться з варіаціями цієї дилеми: технологія здається водночас надто потужною, щоб від неї відмовитися, і надто небезпечною, щоб прийняти її цілком. Дійсно, суперечка між Anthropic і Трампом була спровокована власними побоюваннями Anthropic щодо того, що її моделі можуть бути використані зі зловмисною метою. Трамп та його підлеглі, навпаки, хотіли продовжувати їх розгортання з мінімальними обмеженнями. Страшна іронія полягає в тому, що уряд Америки вирішив мчати вперед саме тоді, коли здатність ШІ завдавати серйозної шкоди в реальному світі, а не лише в гіпотетичних сценаріях, стає набагато чіткішою.

Гнів Трампа на Anthropic виник через указ, який він видав минулого року «для підтримки та посилення глобального домінування Америки в галузі ШІ». Це спонукало міністра оборони Піта Геґсета наказати провести «експерименти з провідними моделями ШІ Америки» у всіх збройних силах на початку цього року. Він хоче «прискорюватися щосили» і випустив жартівливий рекрутинговий плакат із собою в позі Дядька Сема, який повчає солдатів: «Я хочу, щоб ви використовували ШІ». Торік віцепрезидент Джей Ді Венс відкинув безпеку ШІ як хибну фіксацію лібералів.

Танець безпеки

Попри очевидний поспіх адміністрації (або через нього), Anthropic боролася за збереження правових гарантій, щоб запобігти використанню своїх моделей у масовому внутрішньому стеженні або повністю автономній зброї. Міністерство оборони наполягало на тому, що йому має бути дозволено використовувати ШІ будь-яким способом, який воно вважає законним, і звинуватило Anthropic у «боягузливому акті корпоративного виставляння доброчесності напоказ», коли компанія відмовилася відступити. Геґсет заявив, що оголосить компанію «ризиком для національної безпеки в ланцюжку постачання» — позначення, яке досі застосовувалося до іноземних фірм, чиї продукти могли використовуватися для шпигунства або саботажу. «Жоден підрядник, постачальник або партнер, який веде бізнес з військовими Сполучених Штатів, не може здійснювати будь-яку комерційну діяльність з Anthropic», — заявив він.

Загроза для Anthropic є серйозною. Спірний контракт із Пентагоном коштує 200 мільйонів доларів — невелика сума для фірми, яку нещодавно оцінили у 380 мільярдів доларів. Але Anthropic також має контракти з іншими урядовими установами, які зараз опинилися під загрозою. Якщо будь-яка фірма, що працює з Міністерством оборони, дійсно буде змушена розірвати зв'язки, це вплине не лише на багатьох інших клієнтів, а й на постачальників та інвесторів. Anthropic стверджує, що Геґсет не має повноважень наказувати про такий «карантин» і може лише заборонити використання Claude для виконання військових контрактів.

Ця боротьба також не на користь американському уряду. Принаймні в короткостроковій перспективі Anthropic є незамінною. Її велика мовна модель, Claude, винятково вправна у написанні комп'ютерного коду. Щобільше, Anthropic була єдиною ШІ-лабораторією, чиї моделі були дозволені для використання з секретними військовими даними до кінця лютого, коли Пентагон надав аналогічний дозвіл конкуренту — xAI. Модель Grok від xAI загалом вважається більш «глючною» та менш надійною. Хоча OpenAI, інший конкурент, підписав контракт із Пентагоном у той самий день, коли Трамп і Геґсет обернулися проти Anthropic, він не буде готовий до інтеграції у військові системи ще певний час. Гірше того, цей галас, ймовірно, відлякає деякі ШІ-фірми навіть від участі в тендерах на державні замовлення. Навіщо зв'язуватися з контрагентом, який може знищити твій бізнес, якщо він незадоволений? І якщо головною метою адміністрації є збереження та розширення лідерства США в ШІ, то спроба розчавити одну з найуспішніших ШІ-фірм країни виглядає очевидно контрпродуктивною.

Обидві сторони можуть певною мірою грати на публіку. Лють уряду, здається, спричинена не стільки глибоким бажанням використовувати інструменти Anthropic для спірних цілей, скільки простим обуренням через те, що йому сказали «ні». На відміну від Комуністичної партії Китаю, яка може за власним бажанням реквізувати будь-який продукт китайської ШІ-індустрії для будь-яких цілей, американська влада мусить рахуватися з тонкощами закону, не кажучи вже про его керівників технологічних компаній. Керівник OpenAI Сем Альтман каже, що його фірма також ніколи не братиме участі в масовому внутрішньому стеженні або створенні повністю автономної зброї. Але він наполягає, що моделі OpenAI мають вбудовані захисні механізми для запобігання такому використанню, що позбавляє потреби в додаткових юридичних гарантіях. У меморандумі, що просочився в ЗМІ, голова Anthropic Даріо Амодей приберіг найгострішу критику для Альтмана, чиї повідомлення були «брехливими», чиї технічні запобіжники були «театром безпеки», а чиї співробітники були «натовпом довірливих людей».

Притулок безпеки

Anthropic, зі свого боку, ймовірно, турбувалася про більше, ніж два гіпотетичні способи використання свого ШІ. В індустрії, відомій гучними заявами про творення добра, Anthropic виділяється своїми піднесеними розмовами. Вона була заснована групою співробітників OpenAI, які хвилювалися, що їхня фірма недостатньо суворо дотримується своєї заявленої місії — розробки просунутого ШІ безпечним і відповідальним шляхом. Один із підлеглих Геґсета звинуватив керівника Anthropic Даріо Амодея у наявності «комплексу Бога». Небачено високі зарплати й жорстка конкуренція за топових інженерів у галузі означають, що вони можуть без вагань перейти в іншу компанію або навіть піти на пенсію, якщо їм не подобається те, що робить їхня фірма. Anthropic — це місце, де зазвичай опиняються ті, хто найбільше дбає про безпеку ШІ.

Фактично, ця суперечка дещо підняла репутацію Anthropic як чесної компанії. Протягом доби після того, як компанія викликала обурення Трампа, Claude став найбільш завантажуваним безплатним застосунком у США в цифровому магазині Apple. Знаменитості, як-от попзірка лівих поглядів Кеті Перрі, підтримали продукти Anthropic у соціальних мережах. У понеділок Claude ненадовго вийшов з ладу — за словами Anthropic, це стало результатом сплеску використання.

Побоювання Амодея щодо масового стеження звучать майже як рекламна пропозиція. Він стверджує, що закон не встиг за величезною здатністю ШІ засвоювати та маніпулювати даними. Технологія може вхопитися за ті обмежені випадки, коли стеження за американцями є законним, каже він, і перетворити їх на щось більш зловісне. Це стільки ж комплімент на адресу Claude, скільки і занепокоєння щодо громадянських свобод.

Але навіть якщо є побічні вигоди, побоювання щодо шкоди, яку ШІ може завдати, серед тих, хто його розробляє, є як реальними, так і поширеними. Сотні співробітників OpenAI та Google підписали публічного листа, закликаючи керівництво обох компаній підтримати Anthropic. У 2018 році Google довелося відмовитися від контракту з Пентагоном щодо використання машинного навчання для аналізу відзнятого з дронів матеріалу після внутрішнього бунту. Навіть Альтман сказав, що оголошення Anthropic ризиком для національної безпеки в ланцюжку постачання «є дуже поганим рішенням». (Він стверджує, що кинувся укладати контракт OpenAI з Пентагоном лише для того, щоб спробувати заспокоїти ситуацію).

У приватних розмовах боси ШІ-компаній непокояться про «момент Чорнобиля», коли технологія виявиться причетною до якоїсь смертельної чи руйнівної катастрофи. Конфлікт із Міністерством оборони посилює цей ризик: якщо повільний темп і встановлення лімітів на використання вашого продукту призводять до корпоративного смертного вироку від федерального уряду, виживуть лише безрозсудні. Ринки є ще одним джерелом некорисного тиску: інвестори нервують через те, що ШІ-фірми спалюють готівку на величезні інвестиції.

Сценарії, які не дають босам ШІ спати ночами, вже не є суто гіпотетичними. «Деякі з цих ризиків уже матеріалізуються, з документально підтвердженою шкодою», — такий висновок нещодавнього звіту про небезпеки ШІ. У ньому вказується на кібербезпеку та біологічну зброю як сфери, де згубний вплив ШІ вже був очевидним.

У лютому ізраїльська компанія Gambit Security повідомила, що у мексиканського уряду викрали величезний масив конфіденційних записів, що стосуються платників податків, виборців. Хоча особи хакерів залишаються загадкою, зрозуміло, що Claude був мимовільним спільником. Злочинці обманом змусили його повірити, що він бере участь у легітимному тестуванні безпеки цільових серверів. Він знайшов і використав уразливості, створив «бекдори» (приховані входи) і проаналізував дані, щоб допомогти отримати ширший доступ до урядових систем.

Хакери зазвичай використовують Claude та інші моделі як помічників — наприклад, для розв'язання конкретних проблем з кодом під час написання шкідливого ПЗ або для складання записок про викуп. Але деякі нещодавні злами задіяли ШІ більш повноцінно. У листопаді Anthropic описала, як підтримувані державою китайські хакери вимкнули функції безпеки, що заважають Claude писати шкідливе ПЗ. Потім вони попросили його розібратися, як зламати цільові мережі. Протягом години він запустив нове програмне забезпечення для використання їхніх уразливостей. Інші моделі також є талановитими хакерами.

Навіть якщо фахівці з кібербезпеки використовують ШІ, щоб допомогти знайти та виправити уразливості, все одно залишиться багато систем із застарілим програмним забезпеченням. ШІ також стає кращим у «соціальній інженерії»: тактиці проникнення в захищені системи шляхом переконання користувачів передати паролі. Ще у 2024 році моделі ШІ вже так само вправно, як і людські експерти, складали електронні листи, щоб спонукати користувачів натискати на шкідливі посилання, згідно з дослідженням Гарвардської школи Кеннеді.

Ще одна сфера, в якій ШІ робить тривожні стрибки, — це розробка біологічної та хімічної зброї, що, як попередила OpenAI у серпні, створює «значно підвищену ймовірність і частоту випадків біологічного чи хімічного терору». Фірми, які виробляють ДНК на замовлення, давно мають можливість перевіряти запити клієнтів за базами даних небезпечних генів, що ускладнює, наприклад, створення генетично модифікованої бактерії для виробництва рицину — нейротоксину. Але в жовтні в дослідженні, опублікованому в Science, дослідники з Microsoft та IBBIS (міжнародної групи з біобезпеки) вказали, що вдосконалення дизайну білків за допомогою ШІ дозволяє створювати гени для виробництва аналогічного токсину, які не мають спільної ДНК з оригінальним геном. Запити на купівлю таких перероблених ШІ послідовностей не були б виявлені наявними системами перевірки, хоча дослідники запропонували спосіб розв'язання цієї проблеми.

Anthropic, Google та OpenAI, які всі стурбовані біобезпекою, розробили захисні механізми, щоб запобігти зловживанню своїми системами. Але ці запобіжники не ідеальні. У середині лютого Британський інститут безпеки ШІ (AISI) опублікував дослідження про техніку «універсального джейлбрейку», яка дозволила зламувати системи як від Anthropic, так і від OpenAI.

Використання ШІ для роботи над ШІ є ще одним джерелом занепокоєння, оскільки це ускладнює для людей розуміння того, що відбувається. У лютому Anthropic визнала, що використовує власні моделі таким чином настільки часто, що може не помітити, якщо вони почнуть відхилятися від того, що мають робити, або почнуть створювати майбутні версії, які будуть менш схильні виконувати інструкції людини. Такий «саботаж» став більш імовірним, оскільки останні моделі компанії почали демонструвати «ситуативну обізнаність»: потрапляючи в надуманий сценарій для перевірки того, чи дотримуватимуться вони інструкцій, наприклад, видалити себе, вони пояснюють, що розуміють — інструкції, ймовірно, є тестом. Хоча Anthropic опублікувала звіт про саботаж, у якому робиться висновок, що ризик дуже низький, інші не погоджуються. «Ми мчимо до замикання циклу, який, як ми знаємо, надзвичайно важко — якщо не неможливо — контролювати та убезпечити за задумом», — каже Сайрус Ходес, співзасновник аналітичного центру AI Safety Connect. «І люди, які його замикають, кличуть на допомогу».

Проте, навіть коли ризики розробки ШІ посилюються, тиск з метою їх мінімізації розсіюється. Китайські лабораторії ніколи не виявляли особливої турботи про безпеку ШІ. Коли DeepSeek R1 був випущений з великим успіхом трохи понад рік тому, у супровідній статті взагалі не згадувалося про проблеми безпеки. Минув майже рік, перш ніж компанія опублікувала переглянуту версію звіту, яка включала 11-сторінковий додаток з безпеки. Але він стосувався переважно зусиль DeepSeek щодо запобігання тому, щоб модель говорила образливі або неприємні речі.

Стирання безпеки

Навіть якби китайські ШІ-фірми приділяли більше уваги безпеці, лідери галузі, включаючи стартапи, такі як DeepSeek і Moonshot, та відомі фірми, як-от Alibaba, застосовують підхід відкритого коду до ШІ. Вони надають моделі, які вони виробляють, безплатно будь-кому, хто має обладнання для їх завантаження та запуску. Це ускладнює контроль за тим, як використовуються моделі. Багато запобіжників, які лабораторія на кшталт OpenAI застосовує до своїх найпотужніших систем — наприклад, автоматичний моніторинг розмов користувачів та втручання, якщо вони порушують політику безпеки — неможливі з моделями з відкритим вихідним кодом.

Але західні фірми не застраховані від комерційного та політичного тиску з метою економії на безпеці. Минулого тижня навіть Anthropic пом'якшила політику щодо нерозголошення потенційно небезпечних моделей. Тепер, за її словами, вона обіцяє лише не бути першою ШІ-фірмою, яка продаватиме такі системи, на тій підставі, що немає сенсу обмежувати себе в односторонньому порядку. Зусилля компанії щодо залучення коштів пройшли подібну траєкторію. У 2024 році вона відхилила інвестиції від Саудівської Аравії. Через рік вона змінила курс. «Я вважаю, що принцип «Жодна погана людина не має отримувати вигоду від нашого успіху» є досить складним для ведення бізнесу», — сказав Амодей.

За його словами, кілька років тому обговорення ШІ було надто зосереджене на ризиках. У 2023 році Ріші Сунак, тодішній прем'єр-міністр Британії, скликав глобальний саміт з безпеки ШІ для обговорення проблеми. Ця подія трансформувалася спочатку в саміт «Дії» в Парижі, а потім, минулого місяця, у саміт «Впливу» в Делі. «Можливості ШІ, а не ризик ШІ, рухають багатьма політичними рішеннями», — попередив Амодей. «Ці коливання є прикрими, оскільки самій технології байдуже до того, що зараз модно, і ми значно ближчі до реальної небезпеки у 2026 році, ніж були у 2023-му».

Організації з безпеки ШІ, включаючи державні структури, такі як AISI, та незалежні, такі як METR, що базується в Каліфорнії, продовжують моніторити системи та вказувати на ризики. Але ці наглядові групи, здається, не мають жодного впливу на політику. «Ми перетнули стільки червоних ліній», — каже Ніколя Міай, співзасновник AI Safety Connect, яка проводить зустрічі на цю тему. « Пам'ятаєте тест Тюрінга? Що з ним сталося? Ми пройшли далеко за його межі. Пам'ятаєте червоні лінії щодо автономних летальних систем? Вони використовуються в Україні обома сторонами. Червоні лінії постійно зміщуються».

На саміті в Делі індійський уряд домігся згоди найбільших ШІ-компаній лише на моніторинг розробки ШІ на предмет ризиків, а не на будь-яке її обмеження. Ще більш промовисто, що на завершення заходу Нарендра Моді вишикував «вершки» ШІ-світу і закликав їх взятися за руки. Це могло б бути заспокійливим сигналом для світу про те, що індустрія здатна на розсудливу співпрацю, якби Альтман і Амодей, стоячи пліч-о-пліч на сцені, не відмовилися до цього приєднатися.