ACE-Step - это локальная модель для генерации музыки, которая работает прямо на твоем компьютере и при этом выдает результат уровня коммерческих сервисов. Никаких облачных подписок, никаких лимитов - просто скачал, запустил и создаешь треки хоть целый день.
Модель умеет генерировать композиции от 10 секунд до 10 минут, причем делает это быстро: меньше 2 секунд на полную песню на A100 и до 10 секунд на RTX 3090. Можешь запускать сразу до 8 треков в пакетном режиме. Главное - она работает даже на слабом железе, требуя меньше 4 ГБ видеопамяти, и поддерживает Mac, AMD, Intel и CUDA.
ACE-Step понимает больше 50 языков, умеет работать с текстами песен, контролирует BPM, тональность, размер такта и стиль. Можешь загрузить референсный трек, чтобы модель ориентировалась на его звучание, создать кавер на существующую песню, перерисовать отдельные фрагменты аудио или разделить трек на стемы. Есть функция автоматической генерации аккомпанемента для вокала и добавление слоев, как в Suno Studio.
Если хочешь натренировать модель на своем стиле, достаточно нескольких треков и одного клика в интерфейсе Gradio - LoRA обучается за час на RTX 3090 с 12 ГБ памяти. Модель автоматически оценивает качество сгенерированного аудио, извлекает метаданные из загруженных файлов и даже создает файлы с таймкодами для текстов песен.
Запускается через Gradio UI или REST API, модели скачиваются автоматически при первом запуске. Для Windows и macOS есть готовые портативные пакеты с предустановленными зависимостями.
Блог