pyannote.audio

pyannote.audio — библиотека с открытым исходным кодом на Python для диаризации речи: она помогает определить, кто и когда говорит в аудиозаписи. Конвейер принимает аудиофайл и возвращает интервалы речевых фрагментов с назначенным каждому говорящим. Это инструмент для тех, кто работает с аудио в Python и хочет встроить разметку говорящих в свой проект.

Для начала можно использовать предобученный конвейер community-1: он работает локально, но требует принять условия использования модели и создать токен Hugging Face. В сравнении с прежним конвейером 3.1 у него улучшены определение количества говорящих и отнесение реплик к говорящим. Если нужен контроль над отдельными этапами обработки, в библиотеке есть нейросетевые компоненты для поиска речи, смены говорящего и одновременной речи.

• Размечает, кто и когда говорит.
• Обнаруживает речь и смену говорящего.
• Выявляет одновременную речь.
• Строит векторные представления говорящих.
• Позволяет дообучать модели на своих данных.

Конвейеры принимают точное или примерное число говорящих через параметры num_speakers, min_speakers и max_speakers; для community-1 также показано отслеживание прогресса. Предобученные модели и конвейеры доступны через Hugging Face Model Hub, а обучение на нескольких GPU поддерживается через PyTorch Lightning.

В библиотеке предусмотрен и премиальный конвейер precision-2: он обрабатывает аудио на серверах pyannoteAI и требует API-ключ. Для него заявлены улучшения точности и скорости относительно community-1, причём сравнение скорости относится к самостоятельно размещённой версии precision-2.

pyannote.audio и community-1 представлены как решения с открытым исходным кодом; для pyannoteAI упомянуты бесплатные кредиты, но их размер и условия платного использования не указаны. Перед локальным запуском community-1 потребуется установить ffmpeg для декодирования аудио через torchcodec. Если планируете учиться по материалам репозитория, учитывайте, что они написаны для прежних версий библиотеки и требуют обновления.