Языковые модели и человеческая речь работают похоже — ИИ помог ученым в изучении мозга

Исследователи из Еврейского университета в Иерусалиме с помощью языковой модели ИИ сравнили механизмы искусственного интеллекта и мозга человека при обработке речевой информации.

Сходство механизмов, которые используют модели искусственного интеллекта и человеческий мозг при обработке речевой информации, может в дальнейшем помочь в разработке устройств, которые будут помогать людям во время общения.

Отталкиваясь от того, как языковая модель Whisper трансформирует аудиозаписи разговоров реальных людей в текст, исследователи смогли точнее отразить активность мозга во время будничных разговоров, чем это делают традиционные языковые модели ИИ, кодирующие определенные особенности структуры языка, в частности фонетические звуки, из которых состоят слова и отдельные части речи. 

Вместо этого Whisper обучали на аудиозаписях и текстовых транскрипциях разговоров. Используя полученные статистические данные, языковая модель путем сопоставления училась создавать текст из тех аудиозаписей, которые она до этого не слышала. Таким образом, эта модель использует исключительно полученные статистические данные, а не особенности языковой структуры, закодированные в исходные настройки. Однако, тем не менее, результаты исследований продемонстрировали, что Whisper все равно использовала особенности речевой структуры после обучения.

Исследование также продемонстрировало принцип работы больших языковых моделей искусственного интеллекта. Однако исследователей больше интересовало понимание того, как такие модели освещают процессы, связанные с речью в мозге человека.

В исследовании приняли участие 4 добровольца, больные эпилепсией, которым уже провели операции по вживлению электродов для мониторинга работы мозга. С их согласия исследователи записывали разговоры этих пациентов во время пребывания в больнице. Всего было записано более 100 часов аудио.

Каждому из участников вживили от 104 до 255 электродов для отслеживания активности мозга. Как отмечает Ариэль Гольдштейн, большинство подобных исследований проводится в лабораторных, контролируемых условиях, однако его коллеги изъявили желание исследовать активность мозга в условиях реальной жизни.

Ученый подчеркнул, что не прекращаются дебаты о том, активируются ли отдельные части мозга во время процесса речи и распознавания слов, или же мозг реагирует более коллективно. Исследователи предполагают, что одна часть мозга может отвечать за распознавание фонетических звуков, тогда как другая — занимается интерпретацией значений слов. При этом третья часть мозга обрабатывает движения и мимику, которые сопровождают речь.

Гольдштейн склоняется к тому, что разные области мозга работают слаженно, распределяя между собой разные задачи. Например, области, которые, как известно, участвуют в обработке звука, такие как верхняя височная извилина, показали большую активность при обработке слуховой информации, а области, участвующие в мышлении высшего уровня, такие как нижняя лобная извилина, были более активными при понимании смысла речи.

Исследователи также фиксировали, что различные области мозга активировались последовательно. В частности, область, которая отвечает за восприятие слов, активизировалась раньше области, ответственной за трактование слов. Однако исследователи также ясно увидели, что области мозга также активизировались в ответ на действия, к обработке которых, как казалось ученым, они не предназначены.

Чем удивила исследователей языковая модель ИИ

Ученые использовали 80% записанных аудиоразговоров и сопутствующих транскрипций для обучения языковой модели Whisper, которая после этого должна была самостоятельно научиться создавать текстовую форму остальных 20% аудиозаписей.

Исследователи проанализировали, как именно Whisper обрабатывает аудиоматериалы и текстовые транскрипции, и сопоставили эти механизмы с активностью мозга, зафиксированной с помощью электродов. На основе этого анализа ученые смогли использовать языковую модель для прогнозирования того, какие области мозга будут проявлять активность во время разговоров, не включенных в процесс обучения. Точность модели превзошла точность других моделей, базирующихся на особенностях структуры языка

И хотя исследователи не программировали для Whisper понятие фонем или слов, они обнаружили, что эти языковые структуры все еще отражаются в том, как модель производит свои транскрипты. Таким образом она извлекла эти особенности без указания сделать это.

Исследование опубликовано в журнале Nature

Источник: LiveScience