# MuLaCover

> Любую песню на свой лад: ИИ делает каверы и ремиксы по аудио или MIDI

MuLaCover — открытая модель для каверов и ремиксов: генерация по референсному аудио или MIDI с новым текстом и текстовым описанием стиля.

- Что делает: генерирует кавер-версии и ремиксы песен
- Категории: Opensource, Инструменты разработчика, Музыка
- Работает из России: Да
- Бизнес-модель: Бесплатно
- Ограничения: веса и результаты только для некоммерческого использования; нужен NVIDIA GPU
- Модели: MuLaCover, HeartCodec-oss, Qwen3-Embedding-0.6B, YourMT3, ChordNet
- Сайт сервиса: https://github.com/HeartMuLa/MuLaCover
- Карточка в каталоге: https://ailibri.com/mulacover
- Обновлено: 2026-09-21

## Описание

MuLaCover — открытая модель для генерации кавер-версий и ремиксов, которую разворачивают у себя на машине с NVIDIA GPU. Она возьмёт референсную песню (или пару MIDI-файлов с мелодией и аккордами), новый текст и краткое описание стиля, а на выходе отдаст готовый WAV с перепетой и пересобранной композицией. Разворачивать придётся самостоятельно: есть код на GitHub, веса на Hugging Face и CLI-утилита, готового веб-интерфейса нет.

Референс не копируется покадрово. Аудио сначала прогоняется через транскрипцию и превращается в символическую партитуру — мелодию, гармонию и, если нужно, партию барабанов. Дальше этот «lead sheet» подмешивается в предобученный text-to-song бэкбон через gated adaptive cross-attention. Поэтому от оригинала остаётся музыкальный каркас, а жанр, инструменты, настроение и тему можно менять как угодно.

Два пути на входе. Первый — референсное аудио, тогда модели дополнительно понадобятся чекпоинты YourMT3 и ChordNet для расшифровки. Второй — сразу MIDI: мелодия плюс аккорды, барабаны опционально. Тайминг читается в долях, метаданные темпа сохраняются при экспорте MIDI, но отдельным условием генерации не служат.

Текст песни подаётся обычным UTF-8 файлом с маркерами секций на отдельных строках — поддерживаются [Intro], [Verse], [Chorus], [Interlude], [Bridge] и [Outro]. Никаких таймкодов и названий аккордов внутри, переносы строк нужно сохранять. Стиль описывается одной строкой с полями в квадратных скобках, вроде topic:[Longing]; genre:[country]; instrument:[Strings,acoustic guitar]; mood:[hopeful]. Оригинальные слова можно оставить, а можно подставить полностью новый текст — модель справится с обоими вариантами.

Что понадобится для запуска:

- Linux с картой NVIDIA, Python 3.10, драйвер под выбранную сборку PyTorch с CUDA;

- ffmpeg и libsndfile1 для работы с аудио (для режима «только MIDI» их можно пропустить);

- чекпоинты: сам MuLaCover, кодек HeartCodec-oss, энкодер стиля Qwen3-Embedding-0.6B, плюс модели транскрипции, если планируется работа с референсным аудио.

Управлять можно из командной строки или через Python API — класс MuLaCoverGenPipeline с параметрами temperature, topk и cfg_scale. Ленивая загрузка включена по умолчанию, так что энкодер стиля, основная модель, кодек и транскрипторы не будут одновременно висеть в памяти GPU. Разработчики отдельно предупреждают про конфликт LD_LIBRARY_PATH на AWS Deep Learning AMI: если cuBLAS ругается на Invalid handle, запускайте через env -u LD_LIBRARY_PATH.

По лицензиям всё разделено. Код и документация — Apache-2.0, коммерческое использование разрешено. Официальные веса и всё, что с их помощью сгенерировано, — CC BY-NC 4.0 плюс условия MODEL_LICENSE, то есть только некоммерчески, без письменного разрешения дальше идти нельзя. Сторонние компоненты живут по своим правилам. Есть результаты объективной оценки по шести системам и человеческой — по четырём, с 22 участниками; статья заявлена, но пока не опубликована.

## Похожие сервисы в каталоге

- [Polymath](https://ailibri.com/polymath): Инструмент для превращения любой музыкальной библиотеки в сэмпл-банк для продакшена с помощью машинного обучения
- [Magenta RealTime](https://ailibri.com/magenta-realtime): ИИ-инструмент для живой музыки на MacBook. Клонирование звуков, смешение жанров, MIDI-управление, Text-to-Synth и сопровождение в реальном времени.
- [Open Voice OS](https://ailibri.com/open-voice-os): Открытая платформа для голосового искусственного интеллекта, которая позволяет создавать настраиваемые голосовые интерфейсы для разных устройств с помощью обработки естественного языка, настраиваемого пользовательского интерфейса и с упором на конфиденциальность и безопасность.
- [ACE-Step](https://ailibri.com/ace-step): ACE-Step - локальная модель генерации музыки с поддержкой Mac, AMD, Intel и CUDA. Превосходит коммерческие аналоги по качеству создания музыкальных композиций.
- [DeepSeek](https://ailibri.com/deepseek): DeepSeek — китайская платформа для общения с AI-моделями. Бесплатный чат, мобильное приложение и недорогой API. Модель DeepSeek-V4.1 Flash с режимом рассуждений, пониманием картинок и поиском.
- [Superagent](https://ailibri.com/superagent): AI-сервис Superagent автоматически находит, исправляет и раскрывает уязвимости в коде и агентах с доставкой исправлений через PR. Бесплатно для open source.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com