С ростом популярности больших языковых моделей (LLM) и генеративных инструментов ИИ, таких как ChatGPT, разработчики нашли варианты преобразования текста для использования различными способами — от написания электронных писем до резюмирования статей. Теперь они стремятся помочь вам сгенерировать кусочки музыки, просто набрав несколько слов.
Бретт Бауман, разработчик PlayListAI (ранее LinupSupply), на этой неделе выпустил новое приложение Songburst в App Store. В приложении нет крутого обучения. Вам просто нужно ввести текст-подсказку, например, «Успокаивающая фортепианная музыка для прослушивания во время учебы» или «Зажигательные ритмы для вступления к подкасту», чтобы приложение сгенерировало музыкальный клип.
Если вы не можете придумать подсказку, в приложении есть подсказки в разных категориях, включая видео, лоу-фай, подкасты, игры, медитация.
Бауман рассказал TechCrunch, что он построил бэкенд приложения с использованием Vercel, а музыка генерируется через Leap. В настоящее время есть ограничение на генерацию 30 секунд, и качество некоторых результатов может быть не очень хорошим. Бауман сказал, что со временем он постарается увеличить длину сгенерированного музыкального клипа и улучшить качество.
Songburst бесплатен для пробной версии, но предлагает подписку за 9,99 долларов в месяц или 79,99 долларов в год. Подписка дает вам 20 кредитов на песни в месяц и возможность скачивать треки в формате mp3. Пользователи также могут покупать дополнительные кредиты пакетами по пять (7,99 долларов), 10 (11,99 долларов) или 20 (15,99 долларов).
Бауман сказал, что он сделал приложение, потому что существует немного простых решений для преобразования текста в музыку для мобильных устройств, в которых не используются спамерские тактики для получения денег за подписку.
Он не одинок в попытках сделать аккуратное приложение для преобразования текста в музыку. Ахил Толани, создатель таких приложений, как приложение для совместного создания музыки Rapchat, запустил CassetteAI, который доступен в вебе и App Store.
На вводном уровне CassetteAI работает аналогично другим приложениям. Вы вводите подсказку для музыки, и оно выдает трек. Однако, он может сгенерировать образец длиной до трех минут. Создатель приложения сказал, что это потому, что приложение работает на пользовательской модели, основанной на иерархической архитектуре seq2seq, и оно обучено на специализированном наборе данных для генерации музыки, не нарушающей авторские права.
Инструмент также предоставляет интерфейс для пользователей, чтобы создавать различные версии сгенерированных треков, редактировать и микшировать их, чтобы создать новый трек. Эти инструменты довольно базовые, так что пока не ждите, что сможете создать из этого многослойный мастер-трек.
Толани сказал, что инструмент работал на основе списка ожидания, но он открывает его сейчас для большего количества людей. Он сказал TechCrunch, что также ожидается подписка Cassette AI Pro по цене 4,99 доллара в месяц, которая даст пользователям доступ к неограниченной генерации песен и доступ к моделям ИИ лучшего качества для улучшения генерации песен.
Разработчик упомянул, что Cassette AI лучше, чем другие генераторы музыки, такие как Mubert и Beatbot, потому что он генерирует музыку более высокого качества с более быстрым временем отклика. Он добавил, что с Cassette AI он хочет уважать этические границы музыкальной индустрии.
«Мы хотим, чтобы люди видели ИИ как инструмент для создания музыки, а не замену создателям: калькуляторы не заменили математиков, они просто облегчили вычисления. Мы хотим сделать производство музыки доступным для всех и для любых случаев использования», — сказал он.
Эти инструменты в основном ориентированы на создателей, которые могут использовать музыку, не нарушающую авторские права, в своих видео или подкастах. Разработчики также надеются, что музыканты заметят их инструменты и впишут их в свой процесс создания сэмплов или песен.
Помимо независимых разработчиков, крупные технологические компании также пытаются решить проблему генерации текста в музыку. Google сделал свой инструмент MusicLM публичным во время конференции разработчиков Google I/O в мае. В июне Meta* опубликовала исходный код собственного ИИ-генератора музыки под названием MusicGen.
Хотя модели улучшаются, когда дело доходит до качества сгенерированных треков, есть опасения относительно обучающих данных, которые они используют для создания музыки. Чтобы избежать юридических проблем, OpenAI частично сделала открытой модель своего Jukebox и запретила пользователям создавать музыку для коммерческого использования. Также есть некоторые музыканты, ориентированные на ИИ, как Граймс, которая в апреле пригласила поклонников создавать песни с ее голосом и делиться с ней прибылью.
*Meta признана экстремистcкой организацией в России.