Gander

Gander — исследовательский проект команды Hunyuan Speech: омнимодальный интерактивный агент, который одновременно слушает речь, смотрит видео, читает текст и выполняет задачи, не прерывая разговор. Страница, о которой речь, — технический блог с двенадцатью демо-роликами, разбором архитектуры, описанием обучающих данных и результатами тестов. Это техническая публикация: тарифов и открытого доступа на странице нет.

Идея простая: живое сотрудничество идёт параллельными потоками. Человек говорит, показывает экран, поддакивает, перебивает, добавляет требования на ходу. Gander пытается работать в том же режиме — принимать поток аудио и видео непрерывно и решать, слушать дальше, отвечать, замолчать или вызвать инструмент. Заявленные ключевые способности сводятся к трём:

• понимать меняющуюся обстановку — связывать звук с картинкой и сам напоминать, когда в кадре появляется что-то нужное;
• держать ритм разговора — различать короткое «ага», настоящее перебивание и посторонний шум, и по этому решать, продолжать рассказ или отдать слово;
• вести диалог во время работы — пока задача крутится в фоне, можно голосом уточнить детали, дослать требования или спросить, как продвигается.

Демо показывают это на конкретике. Пользователь просит собрать HTML-Тетрис, потом добавляет перезапуск по клику, а затем шарит экран с игрой и просит перекрасить кнопку паузы — всё в рамках одной задачи. В другом ролике на экран выводят технический отчёт, и Gander берёт его как основу для исследования и сводки, параллельно уточняя, что именно обрабатывать. Есть подбор локаций для съёмки под Шанхаем с запросом прогресса по ходу, потоковое комментирование видео из путешествия (морская набережная, улочки, прохожие), реакция на просьбу «скажи, когда увидишь пингвина», синхронный перевод в обе стороны между китайским и английским, разговор под посторонние голоса, разбор диалога двух собеседников и голосовое объяснение бытовой физики про открытую дверь холодильника.

Внутри — схема «малый мозг — большой мозг». Фронтальная часть непрерывно принимает поток аудио и видео, отвечает за реалтайм-диалог и решения о взаимодействии. Задняя берёт на себя тяжёлые рассуждения, вызовы инструментов и долгие задачи, причём её можно заменить другой моделью без дополнительного обучения. Между ними — рантайм-оркестратор, который держит статусы задач и передаёт прогресс и результаты в обе стороны; фронт управляет этим через команды запуска задачи, досылки уточнений и отмены или подтверждения. Фронтальная модель построена по потоковой схеме Thinker–Talker с шагом в одну секунду и окном из 128 блоков — примерно две минуты контекста. Авторы отдельно оговаривают: это параметры архитектуры, а не измеренная задержка отклика.

Обучающий корпус — около 2,7 млн примеров: голосовое взаимодействие, аудиовизуальное, агентское плюс отдельная категория помех и негативных примеров, где правильный ответ — молчать. Отдельно интересен блок про то, как размечали тайминги реплик, перекрытия и разницу между поддакиванием и перебиванием.

На Full-Duplex-Bench v3 из 100 сценариев Gander даёт 100% своевременных вступлений и 8% преждевременных перебиваний — лучший показатель по преждевременным перебиваниям и максимум по своевременным вступлениям наравне с каскадной системой Whisper → GPT-4o → TTS, — но по строгому Pass@1 набирает 0,400 и уступает всем шести бейзлайнам. На аудиовизуальном понимании модель проигрывает своей же базовой инициализации, зато совместный вход аудио и видео заметно выигрывает у любой одной модальности: до +19 процентных пунктов на Daily-Omni. В блоге приведены сами таблицы с этими цифрами и ссылки на соответствующие разделы технического отчёта.