Суперкомпьютер помог ученым понять принципы джазовой импровизации

Ученые надеются использовать суперкомпьютеры для исследования сложных сетей, лежащих в основе творчества в языке и музыке. Они утверждают, что мозг часто подходит к творчеству, сначала полагаясь на простые вещи, а затем уже исследует более сложные и более творческие концепции.

Даже великие джазмены чувствуют, что за музыкальной импровизацией скрывается секрет. Джазовый трубач Уинтон Марсалис говорил, что «В джазе импровизация — это не просто придумывание чего-то старого. Джаз, как и любой язык, имеет свою грамматику и словарный запас».

Теперь команда исследователей под руководством Пенсильванского университета использует суперкомпьютер Roar Института вычислительной техники и наук о данных (ICDS), чтобы попытаться расшифровать грамматику и словарный запас, который использует мозг, чтобы музыканты могли на лету раскручивать новые музыкальные идеи.

По словам Ханны Мерсил, аспиранта в области когнитивных наук и члена Лаборатории когнитивной нейробиологии творчества, разгадка может заключаться в объяснении того, насколько мозг легко включается в поток творческой деятельности. Мерсил, когда-то руководившая джаз-фанк-группой, впервые заинтересовалась связью между мозгом и творческими способностями после собственного опыта на сцене в качестве кларнетистки.

По словам Мерсил, во время импровизации, мозг музыкантов занят управлением комбинацией умственных действий — от активации памяти до участия в управлении моторикой и вниманием. И все это под бдительным взглядом и критическими ушами аудитории.

Чтобы справиться с когнитивной нагрузкой, исследователи предполагают, что джазовые музыканты могут начать импровизированное соло, прибегая сначала к простым, надежным музыкальным фразам. Позже, в соло, они превращаются в более сложные пассажи. По словам ученых, это служит хорошей «дорожной картой» того, как мозг подходит к другим творческим начинаниям — например таким, как речь и письмо.

«Мы в основном думали об импровизации как о чем-то, что называется иерархическим поведением. Это то, что происходит в режиме реального времени и организовано таким образом, что меньшие фрагменты подпадают под более крупные, что также похоже на то, как работает язык», — объяснила ученый.

Музыканты также могут полагаться на «фрагменты» музыки, что может быть еще одним способом,с помощью которого мозг справляется со значительной когнитивной нагрузкой во время соло.

«Когда мы думаем об импровизации, мы в основном думаем об исполнителях, которые исполняют небольшие фрагменты музыки — например, музыкальные ноты, которые они хранят в памяти. Они разбивают эту информацию таким образом, чтобы ее было легко хранить и переупорядочивать», — добавила Мерсил.

По словам Роджера Бити, доцента психологии и главного исследователя Cognitive, исследования творческих начинаний, а не только музыки, позволили взглянуть на роль памяти в творчестве и, в частности, на то, как мозг использует сети ассоциаций для подпитки творчества.

«Наши воспоминания могут организовывать категории вещей, объединяя их вместе, и мы можем смоделировать это как определенную структуру. Ранее проводились исследования по моделированию сетей и семантической памяти. Совсем недавно мы, и некоторые из наших коллег, пытались проверить это, используя вычислительные подходы науки о сетях».

Анализ великих джазовых исполнителей

Чтобы изучить эти музыкальные структуры, исследователи проанализировали базу данных соло из Weimar Jazz Database , в которой представлены некоторые отрывки из импровизаций величайших джазменов мира, таких как саксофонисты Чарли «Берд» Паркер и Джон Колтрейн, а также легендарный трубач Майлз Дэвис. В ходе первоначального анализа исследователи определили сложность последовательностей в течение каждой музыкальной фразы и обнаружили, что уровень сложности увеличивается в течение большинства фраз, подобно структурам easy-first, встречающимся в языке.

Затем команда разбила эти соло на пять последовательностей нот, чтобы создать большую структуру со всеми нотами, использованными артистами в базе данных. В ходе эксперимента исследователи попросили участников оценить родство музыкальных идей и обнаружили, что эти оценки соответствуют расположению последовательностей в структуре. Эти результаты дают первое представление о том, как импровизированные мелодии могут храниться в памяти.

Для анализа этого большого объема данных на стандартном компьютере потребовались бы недели: исследовательская группа смоделировала огромную сеть, содержащую тысячи узлов, требующую обширной компьютерной памяти и вычислительной мощности. Поэтому команда решила провести исследования на суперкомпьютере Penn State Roar.

По словам Бити, сетевая наука и суперкомпьютеры дают ученым возможность исследовать другие области творчества. Например, лаборатория применяет аналогичный подход к поиску признаков творчества среди писателей с помощью концепции под названием «семантическая дистанция», которая очень похожа на игру словесных ассоциаций.

«Один из распространенных способов измерения креативности, который мы используем, — это проведение конкурсов словесных ассоциаций, и тех, кто может придумать более отдаленные ассоциации, мы можем считать их более творческими», — рассказал Бити.

Команда создала веб-сайт SemDis на основе этой работы, выполненной на ROAR, что позволяет другим ученым и преподавателям самостоятельно исследовать творческие способности.

По словам Мерсил, работа над музыкальной импровизацией находится на стадии проверки концепции. В 2022 году она планирует изучить реальный мозг музыкантов во время импровизации.

Команда будет использовать технологии нейровизуализации или сканирования мозга, такие как магнитно-резонансная томография (МРТ), чтобы наблюдать, как мозг музыкантов реагирует во время игры. По словам Мерсил, технология может дать представление о роли, которую разные стили и уровни музыкального мастерства играют в импровизации.

«Я очень рада провести целевую выборку начинающих и опытных импровизаторов, а также классических музыкантов, чтобы мы действительно могли вникнуть в это и увидеть, чем отличаются эти сети и какие стратегии они используют», — отметила Мерсил.

Узнать больше о суперкомпьютере Roar и исследованиях, которые он поддерживает, можно здесь.