Слушать умеют все, а вот слышать — единицы. Audio Flamingo из тех, кто не просто пропускает звук через уши (ну, или что там у нейросетей вместо ушей), а реально разбирается в том, что происходит в аудио. Модель собрала в себе всё, что нужно для глубокой работы со звуком: от банального распознавания речи до анализа музыкальных фрагментов и странных шумов, которые обычные транскрибаторы просто игнорируют.
Когда 10 минут аудио — не приговор
Большинство голосовых моделей задыхаются уже на третьей минуте записи. Audio Flamingo спокойно переваривает до 10 минут звука за раз — удобно, если нужно разобрать лекцию, подкаст или длинное интервью. Не придётся резать файл на куски и склеивать результаты вручную, как в каменном веке.
Ещё интереснее то, что модель понимает контекст. Можно загрузить несколько аудиофайлов и вести с ней диалог, где она будет помнить, о чём речь в предыдущих фрагментах. Как если бы ты обсуждал с коллегой несколько записей совещаний, а не тупо гонял каждую через транскрибатор отдельно.
Не только слова, но и всё остальное
Речь — это лишь верхушка айсберга. Audio Flamingo работает с музыкой, звуковыми эффектами, фоновыми шумами. Единый энкодер на базе Whisper large-v3 обрабатывает всё это одновременно, не переключаясь между режимами. Записал что-то в метро? Модель не только вытащит слова, но и опишет гул поезда, объявления и музыканта на фоне.
Как это работает на практике
В основе лежит энкодер Whisper large-v3, к которому прикрутили Transformer-декодер. Получилась конструкция, способная не просто распознавать, а рассуждать — модель генерирует пошаговые объяснения своих выводов. Полезно, когда нужно понять, почему она интерпретировала звук именно так, а не иначе.
Голосовое общение тоже в арсенале. Можно задавать вопросы голосом и получать ответы в том же формате — своего рода аудиочат, где не надо ничего печатать. Для тех, кто привык думать вслух или просто устал от клавиатуры, вариант рабочий.
Код выложен на GitHub, так что при желании можно разобрать, как всё устроено внутри, подкрутить под свои задачи или просто поэкспериментировать. Модель открытая, без подписок и ограничений по использованию — бери и пользуйся.
Блог