MuLaCover

MuLaCover — открытая модель для генерации кавер-версий и ремиксов, которую разворачивают у себя на машине с NVIDIA GPU. Она возьмёт референсную песню (или пару MIDI-файлов с мелодией и аккордами), новый текст и краткое описание стиля, а на выходе отдаст готовый WAV с перепетой и пересобранной композицией. Разворачивать придётся самостоятельно: есть код на GitHub, веса на Hugging Face и CLI-утилита, готового веб-интерфейса нет.

Референс не копируется покадрово. Аудио сначала прогоняется через транскрипцию и превращается в символическую партитуру — мелодию, гармонию и, если нужно, партию барабанов. Дальше этот «lead sheet» подмешивается в предобученный text-to-song бэкбон через gated adaptive cross-attention. Поэтому от оригинала остаётся музыкальный каркас, а жанр, инструменты, настроение и тему можно менять как угодно.

Два пути на входе. Первый — референсное аудио, тогда модели дополнительно понадобятся чекпоинты YourMT3 и ChordNet для расшифровки. Второй — сразу MIDI: мелодия плюс аккорды, барабаны опционально. Тайминг читается в долях, метаданные темпа сохраняются при экспорте MIDI, но отдельным условием генерации не служат.

Текст песни подаётся обычным UTF-8 файлом с маркерами секций на отдельных строках — поддерживаются [Intro], [Verse], [Chorus], [Interlude], [Bridge] и [Outro]. Никаких таймкодов и названий аккордов внутри, переносы строк нужно сохранять. Стиль описывается одной строкой с полями в квадратных скобках, вроде topic:[Longing]; genre:[country]; instrument:[Strings,acoustic guitar]; mood:[hopeful]. Оригинальные слова можно оставить, а можно подставить полностью новый текст — модель справится с обоими вариантами.

Что понадобится для запуска:

• Linux с картой NVIDIA, Python 3.10, драйвер под выбранную сборку PyTorch с CUDA;
• ffmpeg и libsndfile1 для работы с аудио (для режима «только MIDI» их можно пропустить);
• чекпоинты: сам MuLaCover, кодек HeartCodec-oss, энкодер стиля Qwen3-Embedding-0.6B, плюс модели транскрипции, если планируется работа с референсным аудио.

Управлять можно из командной строки или через Python API — класс MuLaCoverGenPipeline с параметрами temperature, topk и cfg_scale. Ленивая загрузка включена по умолчанию, так что энкодер стиля, основная модель, кодек и транскрипторы не будут одновременно висеть в памяти GPU. Разработчики отдельно предупреждают про конфликт LD_LIBRARY_PATH на AWS Deep Learning AMI: если cuBLAS ругается на Invalid handle, запускайте через env -u LD_LIBRARY_PATH.

По лицензиям всё разделено. Код и документация — Apache-2.0, коммерческое использование разрешено. Официальные веса и всё, что с их помощью сгенерировано, — CC BY-NC 4.0 плюс условия MODEL_LICENSE, то есть только некоммерчески, без письменного разрешения дальше идти нельзя. Сторонние компоненты живут по своим правилам. Есть результаты объективной оценки по шести системам и человеческой — по четырём, с 22 участниками; статья заявлена, но пока не опубликована.