Новий нейроімплантат для мозку забезпечує майже миттєве перетворення думок у мовлення

Новітнє рішення для відновлення голосу

Британський фізик Стівен Гокінг багато років спілкувався зі світом за допомогою сенсора в окулярах, що фіксував рухи м’язів щоки та дозволяв обирати літери на екрані. За хвилину він міг написати одне слово, після чого спеціальний синтезатор перетворював текст у мову. Сучасні технології після смерті Гокінга значно просунулись уперед: сьогодні імпланти дають змогу безпосередньо перекладати мозкові сигнали у текст або навіть музику. Проте такі системи довго обробляли інформацію, мали обмежений словник і не відтворювали інтонацій. Команда з Університету Каліфорнії під керівництвом Майтреї Вайрагкар представила дещо проривне, повідомляє 24 Канал з посиланням на ArsTechnica.

Нова технологія перекладає мозкову активність не у слова, а відразу у звуки, роблячи це в режимі реального часу. Такий підхід фундаментально відрізняє цю розробку від попередників та відкриває шлях до створення повністю цифрового голосового трактування.

У дослідженні взяв участь пацієнт із тяжким паралічем, відомий як Т15. Для роботи пристрою йому імплантували 256 мікроелектродів у зону мозку, що відповідає за керування м’язами мовного апарату. Система реєструє сигнали нейронів, які штучний інтелект розпізнає та перетворює на акустичні характеристики, зокрема висоту звуку й характер звучання. Далі ці дані надходять у "вокодер" (Voice decoder), що синтезує мовлення, максимально схоже на голос пацієнта до хвороби. Уся обробка триває лише 10 мілісекунд, тому процес повністю реалістичний та наближений до миттєвого.

На відміну від текстових рішень, новий імплантат не обмежує вибір слів. Пацієнт може вимовляти будь-які фрази, вигуки, неіснуючі слова та навіть співати.

Результати роботи вражають

Щоб перевірити ефективність, команда спочатку попросила слухачів співставити запис синтезованої мови пацієнта T15 з шістьма можливими варіантами подібної довжини. Тобто їм давали прослухати фразу пацієнта, а потім показували можливі варіанти того, що він сказав. Тут результати були абсолютно досконалими, система досягла 100-відсоткової розбірливості.

Проблеми почалися, коли команда спробувала тест на транскрипцію, де слухачі мали працювати без будь-яких підказок. У цьому другому тесті рівень помилок у словах становив 43,75 відсотка, що означає, що учасники правильно розпізнали трохи більше половини сказаних слів. Це, безумовно, краще, ніж реальна мова пацієнта без допомоги, де рівень розпізнавання становив лише трохи більше трьох відсотків, але недостатньо, щоб нормально спілкуватися.

Технологія обіцяє великі можливості, але її, очевидно, потрібно покращувати. Вчені планують збільшення кількості електродів і подальше вдосконалення системи, щоб досягти стійкого результату. Найближчим часом стартують клінічні випробування з 1600 електродами.