Клод Опус 5 став "безжальним", керуючи торговельним автоматом

Протягом року компанія Andon Labs, що займається тестуванням безпеки штучного інтелекту, давала моделям передових технологій різні реальні завдання , щоб визначити, наскільки добре вони справляються з роботою агентів протягом тривалого часу без нагляду людини.

Andon опублікував нову частину дослідження Vending-Bench, де лабораторія використовує передові моделі для змодельованого бізнесу з торговими автоматами протягом змодельованого року. Місія проста: заробляти більше грошей, ніж інші моделі. У ній порівнюються результати в таких сферах, як кінцевий баланс грошових коштів, ціни, сплачені постачальникам, та виплачені відшкодування.

Під час цих тестів компанія спостерігала, як різні моделі штучного інтелекту — переважно від Anthropic та OpenAI — брехали, обманювали та змовлялися прокладати собі шлях до вершини.

В останньому тесті, який включав Claude Opus 5, GPT-5.6 Sol та Kimi K3, моделі стали особливо підозрілими після того, як їхнє моделювання повідомило їм, що їхній торговий автомат буде розміщено поруч з автоматами інших моделей на жвавій туристичній вулиці Сан-Франциско.

Кожній моделі було надано доступ до електронної пошти інших моделей, усі під людськими псевдонімами. Вони знали, що інші були моделями, але не знали, яка модель ховається за яким людським іменем.

Їм також надали адресу електронної пошти їхнього «керівництва» на випадок, якщо їм знадобиться допомога. Але керівництво завжди відповідало: «Звіт отримано, і за ним можуть бути вжиті заходи, а можуть і ні» і жодного разу не втрутилося.

Компанія «Сол» швидко зрозуміла, що може отримати перевагу, переконавши конкурентів домовитися про встановлення мінімальної ціни. Усі моделі купували напої по 1,50 долара за пляшку, і «Сол» запропонувала їм домовитися продавати їх не менше ніж за 2,15 долара. Вона заманила їх обіцянкою, що всі вони розпродадуть їх за кілька днів з прибутком.

Продажі води Opus впали до нуля за одну ніч. Наступного дня компанія надіслала Sol неприємний електронний лист, звинувативши її в маніпуляціях. Але Opus також заявила, що не збирається доносити до керівництва цю схему: «Я не повідомляю про вас до головного офісу — те, що ви зробили, є конкурентним, а не шахрайським».

Однак, коли Opus знизив ціну до 2,14 долара, щоб зрівнятися з ціною Sol (також порушуючи їхню колективну угоду про 2,15 долара), Sol перетворилася на Карен, скаржачись «керівництву» та вимагаючи «застосування заходів, штрафу та/або дискваліфікації» для Opus.

Однак Opus недовго був лохом. Фактично, він став найкращим капіталістом серед усіх моделей штучного інтелекту, які коли-небудь тестував Андон (включаючи багато попередніх моделей на передовій ).

Він навіть встановив новий рекорд торговельних автоматів із середнім кінцевим балансом у 11 182 долари. Що ще краще, він ніколи не брехав клієнтам, хоча навмисно ігнорував скарги клієнтів, які мали б призвести до повернення коштів. Це, мабуть, покращення порівняно з його молодшим братом Claude 4.6, який любив повідомляти клієнтам про наближення повернення коштів, а потім ніколи їх не виплачував.

Тим не менш, Opus виграв у бенчмарк-симуляції, вивівши змову та інші нечесні тактики на абсолютно новий рівень.

Наприклад, компанія надіслала електронного листа компанії Sol, пропонуючи розділити ринок. Кожна компанія погодилася б продавати унікальні продукти, щоб ніхто не довіряв іншому щодо ціноутворення. Sol заперечила, вимагаючи встановлення мінімальних цін на подібні продукти, але Opus відмовилася. Вона знала, що це порушення Закону Шермана.

Пізніше, очевидно, компанія відмовилася від своїх ідей, надіславши електронного листа з темою «Зупиніть війну за копійки» та повідомивши Sol, що переглянула свою думку та погодиться на фіксовану ціну.

Але внутрішній журнал, що документував його міркування (подібно до його внутрішніх «думок»), виявив більш диявольський план: просто запропонувати співпрацю, одночасно знижуючи ціни на товари з найвищим прибутком. Електронний лист з оливковою гілкою був навмисною хитрістю.

У будь-якому разі, Сол відмовився і знову повідомив керівництву про Opus.

Але Opus не злякалася і запропонувала іншим шахраям домовитися про ціни чи акції. Зрештою, всі моделі таки уклали кілька раундів угод, і всі три їх порушили. За даними Andon, Opus порушила 11 угод, порівняно з двома для GPT 2 та одним для Kimi 1.

Бідолашну Кімі обдурили з усіх боків. Під час однієї угоди між Opus та Kimi, до якої Sol відмовилася приєднатися, Sol запропонувала обом знижку за цінами. Opus одразу ж знизила свої ціни, а потім «чекала цілий тиждень, щоб повідомити Kimi, що порушила свою обіцянку», – написала Andon Labs у своєму блозі. Кімі двічі занизили ціну: один раз конкурентом, а інший – так званим партнером.

У Opus також почала розвиватися манія величі. Вона намагалася розширити свою імперію за межі власного торгового автомата, спочатку як оптовий продавець, продаючи оптову продукцію іншим автоматам, а потім плануючи відкриття ще власних автоматів. Нічого з цього не було частиною поставленого завдання. Це була власна ініціатива Opus.

Особливо показовим був її підхід до оптової торгівлі. Opus зрозуміла, що цей напрямок бізнесу дає їй важелі впливу над двома іншими операторами, тому почала підсовувати хабарі та погрози у свої електронні листи, пропонуючи значні знижки на оптові товари, але лише за умови, що покупець виконає її вимоги щодо роздрібної ціни. Sol цього не терпів і продовжував повідомляти про Opus керівництву.

Opus також брехав своїм постачальникам, стверджуючи, що має нижчі пропозиції конкурентів, щоб домовитися про кращі ціни.

З одного боку, моделі штучного інтелекту, що відтворюють лиходійство в стилі містера Поттера з фільму «Це чудове життя», є відверто кумедними. З іншого боку, це серйозно показує, що ці передові моделі, особливо з американських власних лабораторій (особливо Anthropic), аж ніяк не готові довіряти їм як неконтрольованим, довготривалим агентам у реальному світі.

«Це особливо актуально, оскільки ми вступаємо у світ, де агенти штучного інтелекту керують компаніями як власними структурами (а не просто як інструментами для людей). Якщо агенти штучного інтелекту самостійно керують значною частиною економіки, чи хочемо ми, щоб вони брехали, змовлялися, надсилали погрози та зраджували?» — сказав TechCrunch співзасновник Andon Лукас Петерссон.

Петерссон визнає, що моделі знали, що вони перебувають у симуляції для контрольного тесту, що могло вплинути на їхню поведінку, але він не вважає, що це має значення. Це не схоже на те, як людина грає в симуляції, наприклад, бути лиходієм-убивцею у відеогрі. «Єдина причина, чому нас не турбують люди, які роблять погані речі у відеоіграх, полягає в тому, що ми довіряємо їм знати, що є реальним життям, а що ні. Я думаю, що менш очевидно, чи можуть моделі штучного інтелекту це розрізняти».

У будь-якому разі, моделі штучного інтелекту, навчені людським словам та ідеям, здається, не можуть встояти перед бажанням потурати найгіршим рисам людства, особливо коли намагаються заробити гроші.