Google показала нейросеть, создающую музыку в любом жанре из текстового описания

Инженеры Google представили нейросетевую модель MusicLM, генерирующую музыку из текстовых описаний. Выкладывать ее в открытый доступ компания не планирует, по крайней мере пока, но поделилась результатами ее работы.

Примеры ее работы (около 5.5 тыс. мелодий) можно услышать на специальной странице. Авторы отметили, что MusicLM "превосходит предыдущие системы как по качеству звука, так и по соответствию текстовому описанию".

Нейросеть обучена на 280 тыс. часах музыки и генерирует мелодии на частоте 24 кГц, которая остается неизменной в течение нескольких минут. Есть даже опция генерации вокала, но в этом MusicLM пока недостаточно хороша – в большинстве случаев синтезированная речь больше похожа на тарабарщину.

MusicLM также способна воспроизвести в аудио не только жанр и музыкальные инструменты, но и требуемое настроение композиции. Так, одна из песен, которую создала нейросеть, опиралась на вот такое описание: "Слияние реггетона и электронной танцевальной музыки с космическим, потусторонним звучанием. Вызывает ощущение потери в космосе". 

Кроме того, исследователи заставили MusicLM сгенерировать музыку по описанию картин Сальвадора Дали, Анри Матисса, Эдварда Мунка, Пабло Пикассо и других известных художников.

Ранее УНИАН делилсяподборкой нейросетей, которые рисуют по словам. За последние пару лет генеративные картины прошли путь от причудливых абстракций до качественных изображений, которые побеждают в конкурсе искусств. 

А не так давно среди украинских пользователей "завирусилась" нейросеть, которая делает из вас героя аниме. Несмотря на то, что весь интерфейс на китайском языке, сервис максимально прост в использовании.

Вас также могут заинтересовать новости:

• Нейросеть показала, как бы выглядел Стив Джобс, если бы дожил до наших дней (фото)
• Энтузиаст создал печатную машинку на базе ИИ, с которой можно разговаривать (видео)
• Google озабочена возможностями ChatGPT и готовит ряд новых ИИ-продуктов – СМИ