# MOSS-Audio > Модель разбирает речь, шум и музыку и отвечает текстом MOSS-Audio — открытые аудиомодели для локального описания, транскрипции и ответов по речи, звукам и музыке, включая метки времени. Бесплатно по Apache 2.0. - Что делает: понимает речь, звуки и музыку - Категории: Opensource, Бесплатные, Речь-в-текст - Бизнес-модель: Бесплатно - Модели: MOSS-Audio-8B-Thinking, MOSS-Audio-8B-Instruct, MOSS-Audio-4B-Thinking, MOSS-Audio-4B-Instruct, Qwen3-8B, Qwen3-4B, MOSS-Audio-Encoder - Сайт сервиса: https://github.com/OpenMOSS/MOSS-Audio - Карточка в каталоге: https://ailibri.com/moss-audio - Обновлено: 2026-09-28 ## Описание MOSS-Audio — открытая модель понимания аудио от MOSI.AI, команды OpenMOSS и Shanghai Innovation Institute. Она предназначена для единого моделирования сложного реального звука: речи, окружающих звуков и музыки, через описание, ответы на вопросы и рассуждение. При локальном инференсе поможет описать аудио, расшифровать речь, ответить на вопросы, сделать речевые подписи и распознать речь с временными метками. Подойдёт тем, кому нужно вытащить ключевую информацию из речи, подкастов, встреч, интервью и записей окружающей среды. В выпуске четыре модели: MOSS-Audio-4B-Instruct, MOSS-Audio-4B-Thinking, MOSS-Audio-8B-Instruct и MOSS-Audio-8B-Thinking. Варианты Instruct оптимизированы для прямого следования инструкциям, варианты Thinking — для более сильного пошагового рассуждения. Модель поймёт речь и содержание, опишет аудио, ответит на вопросы с учётом времени и проведёт сложное рассуждение. Речь она переведёт в чистый структурированный текст и выровняет временные метки на уровне слов и предложений. Определит характеристики говорящего, по тону, тембру и контексту разберёт эмоциональное состояние и обнаружит ключевые акустические события. Из фоновых звуков, шума, музыки и неречевых сигналов извлечёт смысловые признаки, чтобы определить контекст и атмосферу сцены. В музыкальном фрагменте разберёт стиль, эмоциональное развитие, инструментальный состав и заметные акустические особенности. По речи, подкастам, встречам, интервью и записям окружающей среды ответит на вопросы и составит сводки. Поддержит вопросы с учётом времени, включая распознавание речи с метками на уровне слов и предложений. Многошаговое рассуждение по аудиоконтенту опирается на обучение цепочке рассуждений и обучение с подкреплением. Архитектура модульная: аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и большая языковая модель. Исходное аудио кодируется в непрерывные временные представления с частотой 12,5 Гц, проецируется в пространство эмбеддингов языковой модели и используется для авторегрессионной генерации текста. Собственный энкодер обучен с нуля, чтобы речевые представления были устойчивее, временное выравнивание точнее, а акустические домены расширялись легче. В ранние слои языковой модели попадают не только признаки последнего слоя энкодера, но и независимо спроецированные признаки ранних и промежуточных слоёв: от ритма, тембра и переходных процессов до фона и семантики. На предобучении между представлениями аудиокадров через фиксированные интервалы вставляются явные временные токены, и это поддерживает ASR с метками времени, локализацию событий, вопросы по времени и ретроспективу длинного аудио. Варианты 4B используют энкодер MOSS-Audio-Encoder и основу Qwen3-4B, общий размер каждой около 4,6 млрд параметров. Варианты 8B используют тот же энкодер и основу Qwen3-8B, у каждой около 8,6 млрд параметров. На вход подаётся исходное аудио, на выходе модель авторегрессионно сформирует текст: транскрипцию, описание, ответ, сводку или результат с временными метками. Для инференса нужны аудиофайл и текстовый промпт, обучающие данные — JSONL с аудиотекстовыми диалогами, полный формат указан в документации дообучения. Доступны локальный запуск, приложение Gradio, веса моделей, дообучение и оценка. Веса четырёх вариантов можно скачать с Hugging Face организации OpenMOSS-Team. В таблице выпуска для этих вариантов указаны каналы Hugging Face и ModelScope, но конкретные ссылки там не заполнены. В дообучении есть примеры LoRA и обучения всех параметров, отдельно предусмотрено обслуживание через SGLang. Рекомендуемая среда локального инференса — Python 3.12 в чистом Conda, ffmpeg 7 из conda-forge и установка пакета с extra torch-runtime через индекс PyTorch cu128. FlashAttention 2 можно подключить отдельно, только если GPU его поддерживает, для базового инференса он не обязателен. На общем понимании аудио, по метрике Accuracy, чем выше, тем лучше, MOSS-Audio-8B-Thinking показывает среднюю точность 71,08 и, по заявлению проекта, превосходит все открытые модели в этом сравнении. В том же сравнении средняя точность 64,04 у 4B-Instruct, 68,37 у 4B-Thinking и 66,32 у 8B-Instruct. Модели доступны бесплатно на условиях Apache License 2.0. Сейчас выпущены четыре варианта, дополнительные семейства, размеры и варианты заявлены только как будущие выпуски. ## Похожие сервисы в каталоге - [Whisper](https://ailibri.com/whisper): Нейросеть для распознавания речи с поддержкой 99 языков, которая одинаково точно работает с любыми акцентами и качеством аудио. - [Speakr](https://ailibri.com/speakr): Самостоятельно размещаемое веб-приложение для транскрибации аудиозаписей с помощью ИИ. Записывайте в браузере или загружайте файлы для преобразования в текст. - [Handy](https://ailibri.com/handy): Бесплатное приложение для преобразования речи в текст на вашем компьютере. Нажмите горячую клавишу, говорите и получайте текст в любом поле ввода. - [Lipflow](https://ailibri.com/lipflow): Lipflow читает по губам с веб-камеры и вводит текст в позицию курсора. Беззвучная диктовка, локальная обработка на Mac и Windows, дообучение на лице - [Hermes Agent](https://ailibri.com/hermes-agent): Hermes Agent — агент с открытым исходным кодом от NousResearch, который развивается вместе с вами. Поддержка инструментов, веб-исследований и автоматизации зада - [HeyCLI](https://ailibri.com/heycli): Инструмент для перевода команд с обычного языка на язык Linux. Просто опишите словами, что нужно сделать, и получите готовую команду. --- Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com