Темний бік прогресу: як сталкери використовують діпфейки для переслідування та цькування жертв

Запуск Sora 2 від OpenAI був хаотичним. Інструмент, що перетворює текст на відео, миттєво став популярним для створення різноманітного контенту, зокрема й провокативного. Соцмережі швидко заповнилися різноманітними відео різного рівня реалістичності. Деякі з них справді важко відрізнити від реальних футажів, якби не водяний знак, розповідає 24 Канал з посиланням на Futurism.

Наприклад, у мережі з'явилися відео з Губкою Бобом, який готує метамфетамін, а також фейкові записи з камер спостереження, де нібито зафіксовані злочини засновника OpenAI Сема Альтмана. Це порушило питання про авторські права та легкість створення шкідливих фейків.

Щодо першого, то OpenAI, схоже, знайшла рішення. Компанія розглядає нові моделі монетизації, з можливістю розподілу доходів з правовласниками за використання їхніх образів. Також планується додавання спеціальної функції автоматичного виявлення персонажів у відео.

Наскільки небезпечним є новий інструмент OpenAI?

Майже одразу після запуску Sora 2 знайшлося іще одне зловісне застосування – сталкінг. Журналістка Тейлор Лоренц розповіла, що її "психотичний сталкер" почав використовувати інструмент для створення ШІ-відео з нею.

Хтось надіслав моєму психотичному переслідувачу запрошення до Sora, і він вже створює про мене відео з використанням штучного інтелекту. Я вдячна, що Sora має можливість блокувати та видаляти несанкціонований контент із моїм зображенням. Це небезпечний чоловік, який веде сотні (так, сотні) акаунтів, присвячених мені,
– написала Тейлор.

За її словами, ця людина раніше вже наймала фотографів для стеження, з'являлася на заходах, де вона була, та видавала себе за її друзів і родичів в інтернеті для збору інформації.

На щастя, функціонал Sora 2 дозволив Лоренц заблокувати та видалити небажані відео з її зображенням. Однак залишається ймовірність, що сталкер встиг їх завантажити.

Основною функцією Sora 2, яку OpenAI називає "Камео", є створення "багаторазових персонажів" на основі завантажених користувачами відео. Хоча для використання образу іншої людини потрібен її дозвіл, випадок з Лоренц доводить, що системи безпеки не є надійними.

Деякі користувачі вже продемонстрували, що можуть генерувати відверті та двозначні відео з людьми. У системній карті Sora 2 сама OpenAI визнала, що в 1,6% випадків застосунок не зміг заблокувати запити на створення відео з оголеним тілом або сексуальним контентом за участю реальної особи, про що вперше написав PCMag. При мільйонах запитів це означає, що значна кількість небезпечних відео може просочитися в мережу.

Проблема використання ШІ для переслідування, особливо жінок, не нова. Раніше жертвою діпфейків стала співачка Тейлор Свіфт, а також звичайні люди. Наприклад, один сталкер створював фейкові оголені фотографії жінки, яку переслідував, а інший – порнографічні ШІ-відео з десятками жертв, надсилаючи їх їхнім родинам.

Такі відео стають все більш реалістичними та легкими у створенні. Ситуацію ускладнює те, що керівник OpenAI Сем Альтман дозволяє шанувальникам вільно використовувати його образ для створення діпфейків, що може применшувати серйозність проблеми.