В слабо освещенной звукозаписывающей студии в Сеуле продюсеры музыкального лейбла K-pop, который привнес в мир хитовую группу BTS, используют искусственный интеллект для слияния вокала корейского певца с голосами носителей пяти других языков.
Благодаря этой технологии HYBE, крупнейший музыкальный лейбл Южной Кореи, в мае выпустил трек певца MIDNATT на шести языках — корейском, английском, испанском, китайском, японском и вьетнамском.
Некоторые исполнители K-pop выпускали песни на английском и японском языках, помимо родного корейского, но использование новой технологии для одновременного выпуска на шести языках является мировой новинкой, по словам HYBE, и может открыть путь к ее использованию более популярными исполнителями.
«Сначала мы прислушиваемся к реакции, голосу поклонников, а затем решаем, какими должны быть наши следующие шаги», — сказал Чунг Ву Ёнг, руководитель интерактивного медиа-блока HYBE, в интервью в студии компании.
Ли Хьен, 40-летний исполнитель, известный как MIDNATT, владеет ограниченным английским и китайским языками, кроме корейского, записал песню «Masquerade» на каждом из этих языков.
Носители языка зачитывали текст песни, а затем два варианта были легко объединены с помощью собственной AI-технологии музыки HYBE, сказал Чунг.
Песня является последним признаком растущего влияния искусственного интеллекта в музыкальной индустрии в то время, когда премия Грэмми вводит новые правила использования технологии, а социальные сети заполняются мэшапами песен, созданными при помощи ИИ.
«Мы разделили звук на разные компоненты — произношение, тембр, тональность и громкость», — сказал Чунг. «Мы обратили внимание на произношение, которое связано с движением языка, и, используя свою фантазию, мы решили, какой результат можно получить с помощью нашей технологии».
В сравнении до и после, показанном Reuters, к слову «twisted» в английском тексте был добавлен удлиненный гласный звук, чтобы звучать более естественно, в то время как голос певца остался неизменным.
Использование глубокого обучения на основе разработанной Supertone платформы Neural Analysis and Synthesis (NANSY) делает звучание песни более естественным по сравнению с не-ИИ программным обеспечением, заявил главный операционный директор Supertone Чой Хи Ду.
HYBE объявила о приобретении Supertone за 45 миллиардов вон ($36 миллионов) в январе. HYBE заявила, что планирует сделать некоторую часть использованной в песне MIDNATT технологии ИИ доступной для создателей и публики, но не уточнила, будет ли взимать плату.
«Погружающее впечатление»
MIDNATT сказал, что использование ИИ дало ему «более широкий спектр художественных выражений».
«Я чувствую, что языковой барьер был снят, и глобальным поклонникам гораздо легче углубиться в мою музыку», — сказал он в заявлении.
Хотя технология не нова, это инновационный способ использования ИИ в музыке, сказал Валерио Велардо, директор The Sound of AI, испанской консалтинговой службы по музыке и звуку с использованием ИИ.
Из этой технологии будут извлекать пользу не только профессиональные музыканты, но и широкая публика в долгосрочной перспективе, сказал Велардо.
«Это снизит барьер для создания музыки. Это немного похоже на Instagram* для фотографий, но в случае музыки».
На данный момент технология коррекции произношения HYBE требует «несколько недель или месяцев» для выполнения своей работы, но когда процесс ускорится, она сможет использоваться для более широкого круга целей, таких как перевод на видеоконференциях, сказал продюсер песни «Masquerade» от MIDNATT Чои Чин-у, известный под именем Hitchhiker.
*Деятельность Meta (Facebook и Instagram) запрещена в России как экстремистская.