MOSS-Audio

MOSS-Audio — открытая модель понимания аудио от MOSI.AI, команды OpenMOSS и Shanghai Innovation Institute. Она предназначена для единого моделирования сложного реального звука: речи, окружающих звуков и музыки, через описание, ответы на вопросы и рассуждение. При локальном инференсе поможет описать аудио, расшифровать речь, ответить на вопросы, сделать речевые подписи и распознать речь с временными метками. Подойдёт тем, кому нужно вытащить ключевую информацию из речи, подкастов, встреч, интервью и записей окружающей среды.

В выпуске четыре модели: MOSS-Audio-4B-Instruct, MOSS-Audio-4B-Thinking, MOSS-Audio-8B-Instruct и MOSS-Audio-8B-Thinking. Варианты Instruct оптимизированы для прямого следования инструкциям, варианты Thinking — для более сильного пошагового рассуждения. Модель поймёт речь и содержание, опишет аудио, ответит на вопросы с учётом времени и проведёт сложное рассуждение.

Речь она переведёт в чистый структурированный текст и выровняет временные метки на уровне слов и предложений. Определит характеристики говорящего, по тону, тембру и контексту разберёт эмоциональное состояние и обнаружит ключевые акустические события. Из фоновых звуков, шума, музыки и неречевых сигналов извлечёт смысловые признаки, чтобы определить контекст и атмосферу сцены. В музыкальном фрагменте разберёт стиль, эмоциональное развитие, инструментальный состав и заметные акустические особенности.

По речи, подкастам, встречам, интервью и записям окружающей среды ответит на вопросы и составит сводки. Поддержит вопросы с учётом времени, включая распознавание речи с метками на уровне слов и предложений. Многошаговое рассуждение по аудиоконтенту опирается на обучение цепочке рассуждений и обучение с подкреплением.

Архитектура модульная: аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и большая языковая модель. Исходное аудио кодируется в непрерывные временные представления с частотой 12,5 Гц, проецируется в пространство эмбеддингов языковой модели и используется для авторегрессионной генерации текста. Собственный энкодер обучен с нуля, чтобы речевые представления были устойчивее, временное выравнивание точнее, а акустические домены расширялись легче. В ранние слои языковой модели попадают не только признаки последнего слоя энкодера, но и независимо спроецированные признаки ранних и промежуточных слоёв: от ритма, тембра и переходных процессов до фона и семантики. На предобучении между представлениями аудиокадров через фиксированные интервалы вставляются явные временные токены, и это поддерживает ASR с метками времени, локализацию событий, вопросы по времени и ретроспективу длинного аудио.

Варианты 4B используют энкодер MOSS-Audio-Encoder и основу Qwen3-4B, общий размер каждой около 4,6 млрд параметров. Варианты 8B используют тот же энкодер и основу Qwen3-8B, у каждой около 8,6 млрд параметров.

На вход подаётся исходное аудио, на выходе модель авторегрессионно сформирует текст: транскрипцию, описание, ответ, сводку или результат с временными метками. Для инференса нужны аудиофайл и текстовый промпт, обучающие данные — JSONL с аудиотекстовыми диалогами, полный формат указан в документации дообучения.

Доступны локальный запуск, приложение Gradio, веса моделей, дообучение и оценка. Веса четырёх вариантов можно скачать с Hugging Face организации OpenMOSS-Team. В таблице выпуска для этих вариантов указаны каналы Hugging Face и ModelScope, но конкретные ссылки там не заполнены. В дообучении есть примеры LoRA и обучения всех параметров, отдельно предусмотрено обслуживание через SGLang. Рекомендуемая среда локального инференса — Python 3.12 в чистом Conda, ffmpeg 7 из conda-forge и установка пакета с extra torch-runtime через индекс PyTorch cu128. FlashAttention 2 можно подключить отдельно, только если GPU его поддерживает, для базового инференса он не обязателен.

На общем понимании аудио, по метрике Accuracy, чем выше, тем лучше, MOSS-Audio-8B-Thinking показывает среднюю точность 71,08 и, по заявлению проекта, превосходит все открытые модели в этом сравнении. В том же сравнении средняя точность 64,04 у 4B-Instruct, 68,37 у 4B-Thinking и 66,32 у 8B-Instruct.

Модели доступны бесплатно на условиях Apache License 2.0. Сейчас выпущены четыре варианта, дополнительные семейства, размеры и варианты заявлены только как будущие выпуски.