Нова голосова ШІ модель Block вражає користувачів своєю емоціональністю

Компанія Block, розроблена Джеком Дорсі, випустила нову голосову модель, розроблену у дослідницькій лабораторії компанії. Вона працює локально та звучить дивно по-людськи завдяки таким виразам обличчя, як сміх, паузи та плач. Компанія заявила, що модель під назвою Dessa повністю навчена людському мовленню та одній стійці з відеокартою NVIDIA.

Dessa — це повнодуплексна модель, що означає, що вона може одночасно розмовляти та слухати, як і модель GPT-Live, випущена OpenAI на початку цього року . Зазвичай моделі мовлення поєднуються з великою мовною моделлю для пошуку знань. Блок сказав, що знання Dessa походять з даних розмов, які вона має.

Блок сказав, що сучасні моделі можуть звучати неприродно та дратувати, оскільки в них є текст у конвеєрі, який керує генерацією мовлення. Багато моделей, таких як ElevenLabs v4 або Fish Audio Drama 3, використовують голосові теги для керування емоціями під час генерації мовлення. Компанія Дорсі стверджує, що емоції вбудовані в їхню модель. Незрозуміло, чи керуються ці емоції якимись тегами.

«Взаємодія з сучасним голосовим ШІ може бути просто жахливою. Він перетворює ваш голос на текст і викидає неймовірну кількість інформації, яку сам по собі текст не може передати. Найпотужніші ШІ у світі не можуть розчути ваші почуття. Ми вважаємо, що це абсурдно, призводить до гіршого досвіду та потенційно небезпечно», – йдеться в блозі компанії .

Дослідники компанії опублікували кілька прикладів розмов з Дессою, де агент мав різні голоси, ритми та емоції. Наприклад, під час розмови бот сказав, що втомився від роботи, і в цей момент це звучало втомлено.

У наведеному нижче прикладі бот говорив про людину, яка намагається заспокоїтися, водночас звучав емоційно та майже зривався.

На іншому зображенні показано члена команди Block, який грає в гру з голосовим помічником.

Компанія заявила, що модель може працювати локально на комп'ютері споживчого класу, такому як MacBook M4 Max або кращого. Однак наразі публічного доступу до Dessa немає, і Блок звернувся до дослідників безпеки з проханням протестувати модель. Це, ймовірно, має на меті перевірити випадки, коли голосовий агент може обдурити людей на іншому кінці.

Block займається фінансами та продає свої рішення малому бізнесу. Square вже використовує голосовий штучний інтелект для обробки замовлень . Але завдяки власній голосовій моделі, яка може працювати на пристрої, вона може забезпечити набагато більше бізнес- та споживчого досвіду за нижчою ціною.