Qwen3-TTS CustomVoice

Qwen3-TTS-12Hz-1.7B-CustomVoice — модель синтеза речи с набором из 9 готовых голосов и поддержкой текстовых инструкций для управления подачей.

Модель генерирует речь на 10 языках: китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский. Голос можно выбрать из 9 вариантов, охватывающих разные комбинации пола, возраста, языка и диалекта, а затем настроить через текстовую инструкцию — задать эмоцию, темп, интонацию.

Задержка при стриминге — от 97 мс: первый аудиопакет уходит уже после одного символа на входе. Это делает модель пригодной для реального времени, а не только для офлайн-рендеринга. Архитектура использует дискретный мультикодбук-LM и полностью обходится без каскадной схемы LM+DiT, что устраняет накопление ошибок и снижает нагрузку на GPU.

Скачать модель можно через Hugging Face CLI или ModelScope. Для запуска рекомендуется Python 3.12 в изолированном окружении и пакет qwen-tts из PyPI. Для снижения потребления видеопамяти рекомендуется GPU с поддержкой FlashAttention 2. Загрузка весов происходит автоматически по имени модели, либо вручную через командную строку, если среда не позволяет тянуть файлы во время выполнения.

В семействе Qwen3-TTS есть и другие варианты: Base-модели для быстрого клонирования голоса по 3-секундному референсному аудио, VoiceDesign для генерации голоса по текстовому описанию, а также облегчённые версии на 0.6B параметров. Все они доступны на Hugging Face в открытом доступе.