Музыка, которую вы слушаете, создает определенные паттерны активности мозга, которые искусственный интеллект может использовать для генерации подобного звука. Вот как это работает.
Google не впервые использует искусственный интеллект для создания музыки, в январе они запустили MusicLM, который генерирует музыку на основе текста. Теперь Google подняла планку и использует искусственный интеллект для чтения вашего мозга и создания звука на основе активности мозга.
В новой исследовательской статье «Brain2Music» Google использует искусственный интеллект для восстановления музыки на основе активности мозга, видимой через функциональную магнитно-резонансную томографию (fMRI).
Исследователи изучали данные fMRI, собранные у пяти испытуемых, которые слушали одни и те же 15-секундные музыкальные отрывки разных жанров, включая блюз, классику, кантри, диско, хип-хоп, джаз, металл, поп, регги и рок.
Затем они использовали эти данные для обучения глубокой нейронной сети, чтобы она научилась отношению между паттернами активности мозга и различными элементами музыки, такими как ритм и эмоция.
После обучения модель могла восстанавливать музыку из fMRI, используя MusicLM. Поскольку MusicLM генерирует музыку на основе текста, он был настроен на создание музыки, похожей на оригинальные музыкальные стимулы на семантическом уровне.
При тестировании сгенерированная музыка напоминала музыкальные стимулы, которые участник изначально слушал, в таких характеристиках, как жанр, инструменты, настроение и другие.
На сайте исследовательской страницы вы можете послушать несколько отрывков оригинальных музыкальных стимулов и сравнить их с реконструкциями, сгенерированными MusicLM. Результаты довольно невероятные.
Для одного отрывка стимулом был 15-секундный отрывок знаменитой песни «Oops!…I Did It Again» Бритни Спирс. Три реконструкции были веселыми и живыми, как и оригинал.
Звук, конечно, не напоминал оригинал, так как исследование фокусировалось на различных элементах музыки, а не на текстовой составляющей.
По сути, модель может «читать» ваш разум (технически — паттерны активности вашего мозга), чтобы создавать музыку, похожую на ту, что вы слушали.