# Gander

> Смотрит, слушает и делает: ИИ, который понимает вас на ходу

Gander — омнимодальный агент: 12 демо с голосом, видео и текстом, полнодуплексный диалог, синхронный перевод, асинхронное выполнение задач.

- Категории: ИИ-агент, Исследования, Чат-боты
- Сайт сервиса: https://omni-interaction-gander.github.io/Omni-Interaction-Agent/
- Карточка в каталоге: https://ailibri.com/gander
- Обновлено: 2026-09-10

## Описание

Gander — исследовательский проект команды Hunyuan Speech: омнимодальный интерактивный агент, который одновременно слушает речь, смотрит видео, читает текст и выполняет задачи, не прерывая разговор. Страница, о которой речь, — технический блог с двенадцатью демо-роликами, разбором архитектуры, описанием обучающих данных и результатами тестов. Это техническая публикация: тарифов и открытого доступа на странице нет.

Идея простая: живое сотрудничество идёт параллельными потоками. Человек говорит, показывает экран, поддакивает, перебивает, добавляет требования на ходу. Gander пытается работать в том же режиме — принимать поток аудио и видео непрерывно и решать, слушать дальше, отвечать, замолчать или вызвать инструмент. Заявленные ключевые способности сводятся к трём:

- понимать меняющуюся обстановку — связывать звук с картинкой и сам напоминать, когда в кадре появляется что-то нужное;

- держать ритм разговора — различать короткое «ага», настоящее перебивание и посторонний шум, и по этому решать, продолжать рассказ или отдать слово;

- вести диалог во время работы — пока задача крутится в фоне, можно голосом уточнить детали, дослать требования или спросить, как продвигается.

Демо показывают это на конкретике. Пользователь просит собрать HTML-Тетрис, потом добавляет перезапуск по клику, а затем шарит экран с игрой и просит перекрасить кнопку паузы — всё в рамках одной задачи. В другом ролике на экран выводят технический отчёт, и Gander берёт его как основу для исследования и сводки, параллельно уточняя, что именно обрабатывать. Есть подбор локаций для съёмки под Шанхаем с запросом прогресса по ходу, потоковое комментирование видео из путешествия (морская набережная, улочки, прохожие), реакция на просьбу «скажи, когда увидишь пингвина», синхронный перевод в обе стороны между китайским и английским, разговор под посторонние голоса, разбор диалога двух собеседников и голосовое объяснение бытовой физики про открытую дверь холодильника.

Внутри — схема «малый мозг — большой мозг». Фронтальная часть непрерывно принимает поток аудио и видео, отвечает за реалтайм-диалог и решения о взаимодействии. Задняя берёт на себя тяжёлые рассуждения, вызовы инструментов и долгие задачи, причём её можно заменить другой моделью без дополнительного обучения. Между ними — рантайм-оркестратор, который держит статусы задач и передаёт прогресс и результаты в обе стороны; фронт управляет этим через команды запуска задачи, досылки уточнений и отмены или подтверждения. Фронтальная модель построена по потоковой схеме Thinker–Talker с шагом в одну секунду и окном из 128 блоков — примерно две минуты контекста. Авторы отдельно оговаривают: это параметры архитектуры, а не измеренная задержка отклика.

Обучающий корпус — около 2,7 млн примеров: голосовое взаимодействие, аудиовизуальное, агентское плюс отдельная категория помех и негативных примеров, где правильный ответ — молчать. Отдельно интересен блок про то, как размечали тайминги реплик, перекрытия и разницу между поддакиванием и перебиванием.

На Full-Duplex-Bench v3 из 100 сценариев Gander даёт 100% своевременных вступлений и 8% преждевременных перебиваний — лучший показатель по преждевременным перебиваниям и максимум по своевременным вступлениям наравне с каскадной системой Whisper → GPT-4o → TTS, — но по строгому Pass@1 набирает 0,400 и уступает всем шести бейзлайнам. На аудиовизуальном понимании модель проигрывает своей же базовой инициализации, зато совместный вход аудио и видео заметно выигрывает у любой одной модальности: до +19 процентных пунктов на Daily-Omni. В блоге приведены сами таблицы с этими цифрами и ссылки на соответствующие разделы технического отчёта.

## Похожие сервисы в каталоге

- [ChatGPT](https://ailibri.com/chatgpt): Модель ИИ, которая взаимодействует с пользователем в диалоговом формате. ChatGPT может отвечать на дополнительные вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неподходящие запросы.
- [Алиса Плюс](https://ailibri.com/alisa-pro): Алиса Про (с 2026 года — «Алиса Плюс») — платная опция ассистента Алиса AI от Яндекса: модели Alice AI и YandexGPT 5.1 Pro, приоритет без очередей, бессрочная история, агенты, камера и файлы. Цена, что входит и лимиты бесплатной версии.
- [Perplexity AI](https://ailibri.com/perplexity-ai): Perplexity AI — мультимодельный ИИ-поисковик: отвечает на вопросы со ссылками на источники. Модели Sonar 2, GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.7 Flash, режимы Research и Model Council.
- [LiveAgent](https://ailibri.com/liveagent): LiveAgent объединяет почту, чат, звонки, соцсети и WhatsApp в одном окне. ИИ-чатбот отвечает клиентам 24/7. 30 дней бесплатно, карта не нужна.
- [Framix](https://ailibri.com/framix): Framix — ИИ-бот отвечает клиентам, показывает свободное время, записывает и принимает оплату на сайте, в Telegram и ВКонтакте 24/7.
- [Liner](https://ailibri.com/liner): ИИ-агенты для поиска со ссылками, разбора научных статей и черновиков. Бесплатный тариф с рекламой, Pro — $14.99/мес при оплате за год.

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com