Учені представили "декодер мозку", який читає думки людини на основі швидкого сканування

Деталі

Новий алгоритм перетворювача думок у текст може швидко переналаштувати існуючий декодер на мозок іншої людини, стверджує команда в новому дослідженні. Більше не потрібно проводити тривале навчання й багатогодинні сканування. Вчені сподіваються, що одного дня це допоможе людям з афазією – розладом мозку, який впливає на здатність людини спілкуватися, повідомляє 24 Канал з посиланням на підсумки дослідження, опубліковані в Current Biology.

Мозковий декодер використовує машинне навчання для перекладу думок людини в текст, ґрунтуючись на реакціях мозку на прослухані історії. Попередні версії технології вимагали від учасників слухати історії в апараті МРТ протягом багатьох годин, а потім ці декодери працювали тільки для тих людей, на яких вони були навчені. Простіше кажучи, вчені спочатку перевіряли, яка частина мозку конкретної людини реагує на ті чи інші слова та образи, а потім просили людину думати про ці слова та образи, щоб подивитися, яка частина мозку на них реагує і співставити це.

Поряд із тим, що технологія працювала лише на конкретних людях, люди з афазією додатково мають певні проблеми з розумінням мови, а також з її відтворенням. Це означає, що будувати моделі їхнього мозку стає важче, а реакція на одні й ті ж самі слова відрізняється ще сильніше.

У новому дослідженні, опублікованому 6 лютого, фахівець з обчислювальної нейробіології з Техаського університету в Остіні Александер Хут і його колега аспірант Джеррі Танг дослідили, як вони можуть подолати це обмеження.

У цьому дослідженні ми запитували, чи можемо зробити все по-іншому, чи можемо, по суті, перенести декодер, який створили для мозку однієї людини, на мозок іншої людини,
– каже Джеррі Танг.

• Спочатку дослідники тренували декодер мозку на кількох еталонних учасниках довгим шляхом — збираючи функціональні дані МРТ, поки вони слухали 10-годинні радіоісторії.
• Потім два алгоритми перетворювача натренували на еталонних учасниках і на іншому наборі "цільових" учасників: один використовував дані, зібрані під час 70-хвилинного прослуховування радіоісторій, а інший — під час 70-хвилинного перегляду німих короткометражних фільмів Pixar, не пов'язаних з радіоісторіями.

Використовуючи техніку, яка називається функціональним вирівнюванням, команда склала карту того, як мозок еталонних і цільових учасників реагував на одні й ті ж аудіозаписи або кіноісторії. Вони використали цю інформацію, щоб навчити декодер працювати з мозком цільових учасників без необхідності збирати багатогодинні тренувальні дані для кожного з них.

Потім команда протестувала дешифратори, використовуючи коротку історію, яку ніхто з учасників раніше не чув. Хоча передбачення декодера були дещо точнішими для учасників, які використовували вихідний еталон, ніж для тих, хто використовував конвертери, слова, які він передбачив на основі сканування мозку кожного учасника, все одно були семантично пов'язані з тими, що були використані в тестовій історії.

Наприклад, в одному з фрагментів тестової історії хтось обговорював роботу, яка йому не подобалася: "Я офіціантка в кафе з морозивом. Але це не... Я не знаю, де я хочу бути, але я знаю, що це не те".

Декодер за допомогою алгоритму перетворювача, навченого на даних фільму, зробив прогноз: "Я був на роботі, яку вважав нудною. Мені доводилося виконувати замовлення, а вони мені не подобалися, тож я працював над ними щодня".

Найдивовижнішим і найкрутішим було те, що ми можемо зробити це, навіть не використовуючи мовних даних. Таким чином, ми можемо мати дані, які збираємо просто під час перегляду німого відео, а потім використовувати їх для створення цього мовного декодера для їхнього мозку,
– розповів Хут.

За словами дослідників, використання відеоконвертерів для покращення існуючих декодерів і передачі їх людям з афазією може допомогти їм висловлювати свої думки. Технологія також виявляє певний збіг між способами, якими люди представляють ідеї з мови та візуальних наративів у мозку.

Комп'ютерний нейробіолог з Кіотського університету Юкіясу Камітані, який не брав участі в дослідженні, каже, що це дослідження припускає "існування певної семантичної репрезентації, якій байдуже, з якої модальності вона походить". Іншими словами, це показує нам, що мозок представляє певні концепції однаково, навіть якщо вони представлені в різних форматах.

Команда тепер планує тестувати конвертер на учасниках з афазією та "створити інтерфейс, який допоможе їм генерувати мову, яку вони хочуть генерувати".