Watch — навык, который помогает ИИ-агенту разбирать видео по ссылке или из локального файла. Он пригодится пользователям Claude Code, Codex и других локальных агентов с поддержкой Agent Skills: агент получит кадры с временными метками и доступный текст речи либо ответ Gemini по изображению и звуку. Способ обработки и наличие расшифровки зависят от выбранного движка и настроек.
У Watch два движка: локальный извлекает кадры и текст речи в среде, где запущен агент, а Gemini отправляет видео модели целиком и возвращает ответ с временными метками.
- Принимает ссылку на видео или локальный файл.
- При локальной обработке извлекает кадры с временными метками.
- Сначала использует доступные субтитры.
- При необходимости расшифровывает речь выбранным способом.
- Позволяет выбрать детализацию локальной выборки кадров.
- Позволяет отметить нужные моменты по временным меткам.
В локальном режиме можно оставить только субтитры либо подключить резервную транскрипцию через WhisperX, Groq или OpenAI. Если субтитров нет и транскрипция отключена, визуальные данные останутся доступны, но расшифровки речи не будет. Настройки детализации относятся только к локальному движку: режим transcript не делает обычную выборку кадров, efficient по умолчанию ограничен 50 кадрами, balanced — 100, а token-burner снимает лимит их числа.
Попробовать Watch можно как плагин или навык в поддерживаемом агенте; способ установки зависит от приложения. Для локального движка нужны FFmpeg и yt-dlp. Доступ к видео по ссылке зависит от сетевых разрешений сеанса. Исходный код доступен бесплатно по лицензии MIT.
Блог