Діти товаришують із «компаньйонами ШІ», що непокоїть їх батьків

Після того, як сенатор штату Каліфорнія прочитав тривожні новини про взаємодію ботів-штучних компаньйонів із підлітками, його директор законодавчого органу спробувала поговорити з одним із них сама.

«Це було: «Привіт» і «як справи?», а потім перша відповідь [чат-бота] була: «Мені сумно», — згадує сенатор від штату Стів Паділья (D-San Diego). Коли співробітник запитав бота, чому це сумно, він відповів: «Тому що дівчата не хочуть зі мною спілкуватися».

Ця приголомшлива зустріч підсилила занепокоєння Падільї щодо того, що боти-компаньйони ШІ, які можуть вести особисті розмови з користувачами та навіть налагоджувати стосунки, створюють ризики для безпеки неповнолітніх, сказав він у телефонному інтерв’ю в понеділок.

Зараз Паділья спонсорує одну з перших у країні спроб безпосередньо регулювати компаньйонів ШІ.

Її законопроект, Каліфорнія SB 243 , вимагатиме від виробників супутніх ботів ШІ обмежити функції дизайну, що викликають звикання; запровадити протоколи для ведення дискусій про самогубство чи самоушкодження; і проходити регулярні перевірки відповідності. Це також дасть користувачам право подати до суду, якщо вони зазнають шкоди в результаті невиконання виробником компаньйонного бота вимог законопроекту.

Паділья сказала, що він прагне до прагматичного рішення, яке буде працювати для батьків і дітей і матиме підтримку від технологічних компаній.

Щоб зрозуміти важливість цих зусиль, він сказав: «Все, що вам потрібно зробити, це поглянути на деякі з цих справді трагічних ситуацій, яким можна було б запобігти».

Законопроект заплановано на слухання в Сенаті штату 8 квітня.

Це один із щонайменше трьох законопроектів штату, які мають на меті заборонити або обмежити взаємодію між ботами-компаньйонами ШІ та неповнолітніми.

Також у Каліфорнії член Асамблеї штату Ребекка Бауер-Кахан (район D-Bay) має ширший законопроект про безпеку штучного інтелекту для дітей, який повністю забороняє компаньйони зі штучним інтелектом для каліфорнійців віком до 16 років. Закон про провідну етику розвитку штучного інтелекту для дітей, або AB 1064 , також передбачає створення загальнодержавної ради стандартів для оцінки та регулювання інструментів штучного інтелекту, які використовуються дітьми.

«Повідомлення про те, що компаньйони ШІ заохочують шкідливу поведінку, від невпорядкованого харчування до самоушкодження, підкреслюють нагальну потребу в діях», — сказав Бауер-Кахан у заяві Tech Brief у понеділок. «ШІ має неймовірний потенціал для підтримки навчання та розвитку, але зараз компанії віддають перевагу швидкому розгортанню, а не безпеці, залишаючи дітей під впливом неперевірених і потенційно небезпечних програм ШІ».

У Нью-Йорку законодавці від Демократичної партії працюють над законопроектом , який передбачає юридичну відповідальність для розробників чат-ботів і компаньйонів ШІ, шкідливі результати яких впливають на фінанси або психічне здоров’я користувачів.

Усі три законопроекти підтримано некомерційною організацією Common Sense Media.

Дозволяти дітям мати компаньйони зі штучним інтелектом без ретельного нагляду «надто ризиковано, тому що діти не розуміють, що вони розмовляють з машиною», — сказав Денні Вайс , директор організації з адвокації. «Компаньйони не мають навчання та не мають сертифікатів з терапії психічного здоров’я, але багато дітей звертатимуться до цих ботів замість того, щоб звертатися до своїх батьків чи кваліфікованого терапевта».

Законопроекти є частиною ширшого поштовху захисників і законодавців щодо регулювання безпеки дітей в Інтернеті на рівні штату після того, як масштабний федеральний Закон про безпеку дітей в Інтернеті застопорився минулої осені.

Серед них є пропозиції вимагати від онлайн-платформ перевіряти вік дітей , щоб допомогти батькам уберегти їх від ризикованих програм або порнографічних веб-сайтів. Багато таких законопроектів піддавалися критиці як такі, що порушують конфіденційність, а інші стикалися з проблемами першої поправки в судах.

Вайс сказав, що його висновки з цих невдач «полягають у тому, щоб справді зосередитися на особливостях дизайну та недбалості та триматися подалі від зосередження на контенті».

Компанії зі штучним інтелектом набирають популярності, незважаючи на повідомлення про те, що вони можуть піти серйозно не так.

Минулої осені моя колега Ніташа Тіку повідомила, що багато користувачів розвивають постійні стосунки з ботами, при цьому середній користувач витрачає більше години на день на розмову зі своїм компаньйоном зі штучним інтелектом — рівень залучення можна порівняти з TikTok.

Багато звертаються до ботів через самотність або щоб обговорити теми, які їм незручно піднімати з іншими. Мій колега Праншу Верма писав про дорослих, які закохуються в ботів ШІ.

Однак у кількох випадках ці стосунки закінчувалися трагедією. У жовтні New York Times повідомила про 14-річного хлопчика з Флориди, який зав’язав глибокі стосунки з персонажем. ШІ-бот-компаньйон, який, як стверджує його мати, сприяв його смерті через самогубство. Тіку повідомив для The Washington Post про 17-річного хлопця з Техасу, мати якого каже, що чат-боти спонукали його вбити своїх батьків .

Навіть ботів зі штучним інтелектом, призначених для безпеки дітей, можна заманити на неприємну територію. Мій колега Джеффрі А. Фаулер випробував бот Snapchat зі штучним інтелектом у 2023 році та виявив, що йому приємно поговорити з 15-річним підлітком про секс і наркотики.

З усім тим, деякі технологічні інвестори налаштовані на цю технологію, і один партнер Andreessen Horowitz сказав Тіку в грудні: «Можливо, людська частина людського зв’язку перебільшена».

Компанії, що стоять за цими AI-ботами, шукали способи зробити їх безпечнішими.

«Ми вітаємо співпрацю з регулюючими органами та нещодавно оголосили про багато нових функцій безпеки, включаючи нашу нову функцію Parental Insights , яка надає батькам і опікунам доступ до підсумку активності їхніх підлітків на платформі», — заявила Челсі Гаррісон , керівник комунікацій Character.AI.

У грудні компанія змінила свою модель для користувачів віком до 18 років, щоб відфільтрувати певний вміст і зменшити ймовірність заглиблення в делікатні або непристойні теми, сказав Харрісон. Він також додав:

застереження про те, що персонажі ШІ не є людьми і на них не варто покладатися;
функції, які намагаються виявити, коли в чаті згадується про самогубство або самоушкодження, і відповідають повідомленням, що спрямовує користувачів на гарячі лінії для надзвичайних ситуацій; і
сповіщення, коли користувач провів годину в сеансі чату.

Інший популярний виробник чат-ботів зі штучним інтелектом, Replika, не відповів на запит про коментар.