Мовні моделі та людська мова працюють схоже — ШІ допоміг вченим у вивченні мозку

Дослідники з Єврейського університету у Єрусалимі за допомогою мовної моделі ШІ порівняли механізми штучного інтелекту та мозку людини під час обробки мовної інформації.

Подібність механізмів, які використовують моделі штучного інтелекту та людський мозок під час обробки мовної інформації, може у подальшому допомогти у розробці пристроїв, що допомагатимуть людям під час спілкування.

Відштовхуючись від того, як мовна модель Whisper трансформує аудіозаписи розмов реальних людей у текст, дослідники змогли точніше відобразити активність мозку під час буденних розмов, ніж це роблять традиційні мовні моделі ШІ, що кодують певні особливості структури мови, зокрема фонетичні звуки, з яких складаються слова та окремі частини мови. 

Замість цього Whisper навчали на аудіозаписах та текстових транскрипціях розмов. Використовуючи отримані статистичні дані, мовна модель шляхом співставлення навчалась створювати текст з тих аудіозаписів, які вона до цього не чула. Таким чином, ця модель використовує виключно отримані статистичні дані, а не особливості мовної структури, закодовані у вихідних налаштуваннях. Однак, тим не менш, результати досліджень продемонстрували, що Whisper всеодно використовувала особливості мовної структури після навчання.

Дослідження також продемонструвало принцип роботи великих мовних моделей штучного інтелекту. Однак дослідників більше цікавило розуміння того, як такі моделі висвітлюють розуміння процесів, пов’язаних з мовленням у мозку людини.

У дослідженні взяли участь 4 добровольці, хворі на епілепсію, яким вже провели операції по вживленню електродів для моніторингу роботи мозку. За їхньої згоди дослідники записували розмови цих пацієнтів під час перебування у лікарні. Загалом було записано понад 100 годин аудіорозмов.

Кожному з учасників було вживлено від 104 до 255 електродів для відстежування активності мозку. Як зазначає Аріель Гольдштейн, більшість подібних досліджень проводиться у лабораторних, контрольованих умовах, однак його колеги виявили бажання дослідити активність мозку в умовах реального життя. 

Науковець підкреслив, що не припиняються дебати стосовно того, чи активуються окремі частини мозку під час процесу мовлення та розпізнавання мови, або ж мозок реагує більш колективно. Дослідники припускають, що одна частина мозку може відповідати за розпізнавання фонетичних звуків, тоді як інша — займається інтерпретацією значень слів. При цьому третя частина мозку обробляє рухи та міміку, які супроводжують мовлення.

Гольдштейн схиляється до того, що різні області мозку працюють злагоджено, розподіляючи між собою різні задачі. Наприклад, області, які, як відомо, беруть участь у обробці звуку, такі як верхня скронева звивина, показали велику активність при обробці слухової інформації, а області, які беруть участь у мисленні вищого рівня, такі як нижня лобова звивина, були активнішими при розумінні сенсу мови.

Дослідники також фіксували, що різні області мозку активувались послідовно. Зокрема, область, яка відповідає за сприйняття слів, активізувалась раніше області, відповідальної за тлумачення слів. Проте дослідники також ясно побачили, що області мозку також активізувались у відповідь на дії, до обробки яких, як здавалось науковцям, вони не призначені. 

Чим здивувала дослідників мовна модель ШІ

Науковці використали 80% записаних аудіорозмов та супутніх транскрипцій для навчання мовної моделі Whisper, яка після цього мала самостійно навчитись створювати текстову форму решти 20% аудіозаписів. 

Дослідники проаналізували, як саме Whisper обробляє аудіоматеріали та текстові транскрипції і співставили ці механізми з активністю мозку, зафіксованою за допомогою електродів. На основі цього аналізу науковці змогли використати мовну модель для прогнозування того, які області мозку проявлятимуть активність під час розмов, не включених у процес навчання. Точність моделі перевершила точність інших моделей, що базуються на особливостях структури мови. 

І хоча дослідники не програмували для Whisper поняття фонем або слів, вони виявили, що ці мовні структури досі відображаються у тому, як модель виробляє свої транскрипти. Таким чином вона витягла ці особливості без вказівки зробити це.

Дослідження опубліковане у журналі Nature

Джерело: LiveScience