MLX-Audio

MLX-Audio — библиотека для обработки аудио на Mac с Apple Silicon: она поддерживает синтез и распознавание речи, преобразование речи в речь и генерацию музыки. Она рассчитана на разработчиков, которые создают аудиофункции для приложений и инструментов, и доступна через Python, командную строку и веб-интерфейс.

Работа строится вокруг загружаемых моделей: выбранная модель определяет доступные языки и функции. Для синтеза можно подобрать готовый голос или клонировать его по аудиообразцу, если модель это поддерживает. В режиме TTS доступны потоковая генерация и немедленное воспроизведение; несколько сегментов по умолчанию сохраняются отдельными WAV-файлами, но их можно объединить.

• Синтезирует речь из текста.
• Транскрибирует аудио, в том числе потоком при выборе подходящей модели.
• Помогает получить метки времени и разделение по говорящим при выборе подходящей модели.
• Поможет подавить шум в записи речи при использовании MossFormer2.
• Генерирует песни с текстом и стереозвуком при использовании MiniMax Music 3.

Для распознавания можно выбрать модель под задачу: одни поддерживают потоковую выдачу текста, другие — выравнивание записи с готовым текстом по словам, перевод речи или анализ аудио. Например, VibeVoice-ASR выдаёт сегменты с текстом, временем и идентификаторами говорящих для записей длительностью до 60 минут. Если нужно отделить конкретный звук от остальной записи, при использовании SAM-Audio его можно задать текстовым описанием; длинное аудио обрабатывается по фрагментам.

Попробовать библиотеку можно после установки через pip: модели вызываются из Python, а для TTS и STT есть примеры командной строки. Веб-интерфейс и API-сервер запускаются отдельно; API поддерживает синтез речи и транскрибацию, а интерфейс синтеза совместим с OpenAI. Для приложений iOS и macOS предусмотрен пакет Swift. Исходный код бесплатен и опубликован под лицензией MIT, но для работы нужны Python 3.10 или новее, Mac с Apple Silicon и MLX.