Lipflow — инструмент для беззвучного ввода текста: удерживаешь клавишу, беззвучно артикулируешь слова, и после отпускания текст вставляется в позицию курсора. Основной режим работает без микрофона, опираясь только на веб-камеру. Обработка выполняется локально на Mac или Windows, а необязательный проход LLM исправляет ошибки чтения по губам.
При первом запуске выполняется настройка длительностью около 8 минут: на Mac один раз запрашиваются Camera, Input Monitoring и Accessibility, на Windows этот шаг не выполняется; при наличии импортируется история Wispr Flow, пользователь беззвучно произносит 24 тренировочные фразы, после чего модели дообучаются. Дообучение настраивает языковую модель на формулировки пользователя и модель чтения по губам на его лицо; на GPU Mac это относится только к версии для Mac.
Режим Whisper одновременно использует тихое аудио и чтение по губам через аудиовизуальную модель Auto-AVSR, загружаемую при первом включении и занимающую 1,8 ГБ. На тестовых фразах ошибка по словам составила 31,9% только по губам и 6,9% при сочетании губ и аудио. Живой шёпот менее разборчив, поэтому ожидаемый результат находится между 31,9% и 6,9%.
Без ключа на Apple Silicon очистка идёт в процессе через MLX: Qwen3-0.6B в 4-битном режиме, около 350 МБ, загрузка при первом запуске и около 0,2 секунды на фразу, полностью офлайн.
- Беззвучная диктовка по губам с веб-камеры без микрофона
- Локальная обработка на Mac и Windows
- Дообучение модели на лице и формулировках пользователя
- Режим Whisper с тихим шёпотом для точности
- Очистка LLM для исправления ошибок чтения по губам
- Импорт истории Wispr Flow
Блог