AuK — открытая модель для генерации и редактирования речи от команды Tencent Hunyuan. Внутри 1,5 млрд параметров и обучение на миллионах часов разного аудио, а управляется всё это обычными текстовыми инструкциями: пишешь, что нужно сделать с голосом или речью, и модель выполняет. Подойдёт разработчикам, звукорежиссёрам и исследователям, которым нужен один инструмент вместо десятка узких утилит — код и веса лежат на GitHub, Hugging Face и ModelScope.
Главная идея — единый интерфейс: любая задача описывается фразой на естественном языке, а не отдельным скриптом с кучей параметров. Отсюда и широкий охват сценариев:
- синтез речи — zero-shot по референсному аудио (озвучит текст голосом из образца) и instruct TTS, где голос задаётся только описанием, без референса;
- редактирование содержания — заменить, вставить или убрать слова в готовой записи, а в пении переписать строчку, сохранив мелодию и голос исполнителя;
- акустика — поднять или опустить высоту на нужное число полутонов, поменять темп речи, подкрутить громкость в децибелах;
- паралингвистика — сменить эмоцию или тембр, убрать региональный акцент, добавить или вычистить вздохи, смех и покашливания, перевести шёпот в обычную речь и обратно;
- очистка и разделение — шумоподавление и дереверберация, изоляция одного спикера, извлечение вокала из музыки, выделение нужного голоса по тому, что он говорит.
Версий две. Базовая AuK ориентирована на максимальное качество, а AuK-Flash — дистиллированная, ей хватает четырёх шагов инференса, так что результат вы получите заметно быстрее. Для запуска понадобится Python 3.10 (uv или conda), стек PyTorch и, помимо самих чекпойнтов, энкодер Qwen2.5-Omni-3B — он загружается отдельно.
Работать можно по-разному: через CLI-команду auk-infer, в интерактивном Gradio-демо, нодами в ComfyUI или прямо из Python API. Отдельно стоит отметить Prompt Enhancer — если вы не знаете, как правильно сформулировать инструкцию, он разберёт свободный запрос, определит задачу, посчитает нужную длительность, подготовит аудио и выдаст готовую строку для запуска. Есть файнтюнинг, поддержка инференса через MLX на Apple Silicon и выгрузка на CPU для CUDA-сборок, если видеопамяти не хватает.
Модель бесплатна и открыта — платить нужно только за собственное железо или облако. Попробовать без установки получится в демо-пространствах на Hugging Face и ModelScope. Дополнительный аргумент к серьёзности проекта: AuK выбрана end-to-end бейзлайном для Single Model Track на ICASSP 2027 Audio Editing Challenge.
Блог