ШІ відтворює голоси людей, які більше не можуть говорити

Штучний інтелект допомагає людям, які втрачають здатність говорити через хвороби, відтворювати власний голос — із характерними інтонаціями, паузами, диханням і навіть заїканням. Для американця Джулса Родрігеса така технологія стала можливістю знову спілкуватися голосом, який пам’ятають його дружина та син.

Про це пише Science News.

У Родрігеса бічний аміотрофічний склероз (БАС) — прогресивне захворювання нервової системи, яке поступово позбавляє людину контролю над м’язами, зокрема тими, що відповідають за мовлення. Коли його власний голос почав слабшати, він спробував традиційний метод збереження голосу, але результат звучав неприродно.

У червні 2024 року Родрігес скористався технологією клонування голосу на основі штучного інтелекту від ElevenLabs. Коли він уперше почув цифрову копію свого колишнього голосу, то відчув, ніби знову повернувся до себе. Його дружина також розплакалася, почувши знайоме звучання.

Про історію Родрігеса та інших людей, які використовують ШІ для відновлення голосу, розповіло видання Science News у подкасті The Deep End.

Як ШІ відтворює голос людини

Ще до появи сучасних голосових моделей люди могли заздалегідь зберігати власне мовлення. Для цього використовують два методи: message banking і voice banking.

Перший передбачає запис окремих фраз, які людина хоче зберегти для майбутнього спілкування. Це можуть бути привітання, слова підтримки, особисті звернення до рідних або повсякденні вислови.

Voice banking працює інакше: людина записує спеціально підібрані слова та звуки, з яких програмне забезпечення згодом формує синтетичне мовлення. Однак традиційні системи часто створювали голос, який звучав механічно й помітно відрізнявся від оригіналу.

Сучасні моделі штучного інтелекту можуть відтворювати мовлення значно природніше. Вони здатні передавати інтонації, ритм, характерні паузи та інші особливості голосу, завдяки яким людина впізнає співрозмовника.

У випадку Родрігеса цифрову копію створили на основі його попередніх записів. Вона не просто вимовляє слова, а відтворює характерне звучання його голосу.

Його дружина МА згадувала, що перше прослуховування викликало в неї сильні емоції. Вона впізнала голос, якого поступово ставало дедалі менше в їхньому повсякденному житті.

Чому власний голос має таке значення

Голос — це не лише спосіб передавати інформацію. За його допомогою люди жартують, висловлюють прихильність, сваряться, розповідають історії та підтримують близькість у стосунках.

Для Родрігеса та його дружини довгі розмови були важливою частиною спільного життя. Тому втрата мовлення означала не просто появу труднощів зі спілкуванням, а й зміну звичного способу взаємодії.

Каріна Нагін, керівниця некомерційної організації Bridging Voice, яка допомагає людям із БАС використовувати комунікаційні технології, розповіла Science News, що значення персоналізованого голосу спочатку недооцінювали навіть фахівці.

За її словами, можливість говорити голосом, який звучить як власний, виявилася важливою не лише для самих користувачів технології, а й для їхніх родин.

Нагін також розповіла, що деякі люди після отримання цифрової копії голосу переглядали свої попередні рішення щодо медичної допомоги. Можливість і надалі спілкуватися з близькими могла впливати на їхнє сприйняття майбутнього.

Це не означає, що клонування голосу саме по собі змінює перебіг хвороби. Однак технологія може повернути людині важливий спосіб виражати себе й підтримувати соціальні зв’язки.

Як цифровий голос змінив рішення Джулса Родрігеса

У міру прогресування БАС Родрігес зіткнувся з необхідністю вирішувати, які медичні втручання він готовий прийняти.

Одним із найскладніших рішень стала трахеостомія — процедура, під час якої в трахеї створюють отвір для встановлення трубки, що може бути частиною тривалої респіраторної підтримки. У випадку Родрігеса це означало б повну втрату можливості говорити природним голосом.

Спочатку він не хотів проходити цю процедуру. Проте після серйозного погіршення стану здоров’я влітку 2024 року Родрігес змінив рішення та погодився на трахеостомію. Операцію провели 1 жовтня 2024 року.

За словами його дружини, можливість продовжувати спілкування за допомогою цифрового голосу стала одним із чинників, які допомогли йому розглянути цей варіант.

Вона наголошувала, що це рішення залежало від багатьох обставин, а не лише від технології. Водночас клонований голос дав Родрігесу змогу уявити майбутнє, у якому він і надалі зможе висловлювати свої думки та брати участь у житті родини.

Після операції він не повернув собі фізичної здатності говорити. Натомість цифровий голос дозволив йому продовжити спілкування іншим способом.

Від розмов із родиною до виступів на сцені

Родрігес використовує технологію не лише для повсякденного спілкування. Він давно мріяв виступати зі стендапом, але через втрату голосу вважав, що ця можливість для нього закрита.

Після створення цифрової копії він знову почав писати жарти. У листопаді 2024 року, приблизно через місяць після трахеостомії, Родрігес виступив на сцені місцевого комедійного клубу, використовуючи свій відтворений голос.

Сучасні голосові моделі дають йому змогу не лише вимовляти текст. За його словами, система може відтворювати різні інтонації, сміх, шепіт і навіть спів. Він також може керувати звучанням голосу за допомогою текстових інструкцій.

Це має значення, оскільки живе спілкування складається не тільки зі слів. Іронія, емоційні акценти та індивідуальна манера говорити допомагають передавати зміст, який складно відобразити звичайним синтезованим мовленням.

Водночас користування технологією потребує зусиль. Родрігес набирає текст за допомогою системи відстеження руху очей: пристрій визначає, на які елементи екрана він дивиться, і допомагає формувати повідомлення. Після цього цифрова копія озвучує написане.

Такий процес може бути повільним і вимагати концентрації, особливо коли потрібно підтримувати жваву розмову.

ШІ допомагає не лише людям із БАС

Родрігес — не єдина людина, яка використовує цифрову копію голосу для збереження звичного способу спілкування.

Пеггі Меррілл, яка також втратила голос через БАС, застосовує свою цифрову копію, щоб читати онукам, проводити заняття з йоги та записувати медитації.

Вона розповіла Science News, що можливість чути й використовувати власний голос допомагає їй відчувати зв’язок із самою собою.

Музикант і композитор Патрік Дарлінг використовує клонований голос для створення та виконання пісень. За його словами, хоча фізично він не співає власним голосом, використання цифрової копії повертає відчуття зв’язку з музикою та власною творчістю.

Ці приклади показують, що персоналізоване синтетичне мовлення може виконувати різні функції: від передачі повсякденних повідомлень до творчої діяльності.

Які обмеження має технологія клонування голосу

Попри значний прогрес, цифровий голос не відновлює фізичну здатність людини говорити. Він озвучує текст, який потрібно спочатку сформувати за допомогою клавіатури, системи відстеження погляду або іншого інтерфейсу.

Тому швидкість комунікації залежить не лише від якості синтезу мовлення, а й від того, наскільки швидко людина може вводити текст. Дослідники працюють над технологіями, які потенційно дозволять перетворювати сигнали, пов’язані з процесом мовлення, на слова швидше, ніж це можливо за допомогою ручного введення.

Інше питання — доступність. Для створення персоналізованого голосу потрібні записи мовлення, сумісне програмне забезпечення та пристрої, за допомогою яких людина зможе вводити повідомлення.

Важливо також враховувати безпеку голосових даних. Технологія, здатна переконливо імітувати конкретну людину, потребує належного захисту записів і контролю над використанням цифрової копії, щоб зменшити ризик видавання себе за іншу особу.

Чому це більше, ніж синтез мовлення

Історія Родрігеса показує, що цінність голосових технологій полягає не лише в тому, наскільки природно звучить синтетичне мовлення. Важливо й те, чи допомагає воно людині зберігати зв’язки з близькими, продовжувати творчу діяльність і висловлювати власну індивідуальність.

Для його родини цифрова копія стала способом знову почути знайомий голос у ситуації, коли фізично відновити мовлення вже неможливо. Для самого Родрігеса вона відкрила можливість повернутися до занять, від яких він раніше відмовився.