Стартап зі ШІ ElevenLabs блокує джерело аудиіо Deepfake Байдена

Творця аудіодипфейку президента США Джо Байдена, який закликав людей не голосувати на цього тижневих праймериз у Нью-Гемпширі, призупинила діяльність ElevenLabs.

Цього тижня ElevenLabs стало відомо про висновки Піндропа та проводить розслідування, сказав він. Після того, як дипфейк був відстежений до його творця, обліковий запис цього користувача було призупинено, сказав чоловік, попросивши не називати його особу, оскільки інформація не є публічною.

ElevenLabs, стартап, який використовує програмне забезпечення штучного інтелекту для відтворення голосів більш ніж двома десятками мов, заявив у своїй заяві, що не може коментувати конкретні інциденти. Але додав: «Ми прагнемо запобігати неправильному використанню аудіоінструментів AI і дуже серйозно ставимося до будь-яких інцидентів неправильного використання».

Раніше цього тижня ElevenLabs оголосила про фінансовий раунд у розмірі 80 мільйонів доларів від інвесторів, включаючи Andreessen Horowitz і Sequoia Capital. Головний виконавчий директор Маті Станішевскі сказав, що останнє фінансування дає оцінку його стартапу в 1,1 мільярда доларів.

Минулого тижня в інтерв’ю Станішевський сказав, що аудіо, яке імітує голоси без дозволу, буде видалено. На своєму веб-сайті компанія повідомляє, що дозволяє голосові клони публічних діячів, наприклад політиків, якщо кліпи «виражають гумор або глузування таким чином, щоб слухачу було зрозуміло, що те, що вони чують, є пародією».

Фальшивий автоматичний дзвінок Байдена, який закликав людей зберегти свої голоси на виборах у США в листопаді, викликав занепокоєння як експертів з дезінформації, так і представників виборних органів. Це не тільки проілюструвало відносну легкість створення аудіо дипфейків, але й натякало на потенціал зловмисників використовувати цю технологію, щоб утримати виборців від виборчих дільниць.

Представник генерального прокурора штату Нью-Гемпшир тоді заявив, що повідомлення виглядають «незаконною спробою зірвати первинні вибори президента Нью-Гемпшира та придушити виборців Нью-Гемпшира». Агентство почало розслідування.

Користувачі, які хочуть клонувати голоси на ElevenLabs, повинні використовувати кредитну картку для оплати цієї функції. Незрозуміло, чи передала ElevenLabs цю інформацію владі Нью-Гемпшира.

Bloomberg News отримав копію запису 22 січня від офісу генерального прокурора і спробував визначити, яка технологія була використана для його створення. Ці зусилля включали запуск його через власний інструмент «класифікатора мовлення» ElevenLabs, який має показати, чи було створено аудіо за допомогою штучного інтелекту та технології ElevenLabs. Відповідно до інструменту, запис показав 2% ймовірності бути синтетичним або створеним за допомогою ElevenLabs.

Інші інструменти deepfake підтвердили, що це був deepfake, але не змогли виявити технологію аудіо.

Дослідники Pindrop очистили аудіо, усунувши фоновий шум, тишу та розділивши аудіо на 155 сегментів по 250 мілісекунд кожен для глибокого аналізу, сказав в інтерв’ю засновник Pindrop Віджай Баласубраманіян. Потім компанія порівняла аудіо з базою даних інших зразків, які вона зібрала з понад 100 систем перетворення тексту в мовлення, які зазвичай використовуються для створення глибоких фейків, сказав він.

Дослідники дійшли висновку, що він майже напевно був створений за технологією ElevenLabs, сказав Баласубраманіян.

У каналі підтримки ElevenLabs на Discord модератор вказав на загальнодоступному форумі, що класифікатор мовлення компанії не може виявити власне аудіо, якщо він не аналізує необроблений файл, що повторив Баласубраманіян. Під час розмови Байдена єдиними файлами, доступними для негайного аналізу, були записи телефонної розмови, сказав він, пояснивши, що це ускладнило аналіз, оскільки були видалені фрагменти метаданих і виявити довжину хвилі було складніше.