Three Mediapipe Rig - это модуль для ThreeJs, который связывает скелет твоего 3D-персонажа с трекингом движений через веб-камеру. Берёшь модель, запускаешь камеру, и персонаж начинает двигаться вместе с тобой: руки, пальцы, лицо, всё тело. Никакой специальной аппаратуры не нужно, только браузер и камера.
Модуль использует Google MediaPipe для распознавания позы, рук и лица. Запускает три модели одновременно, так что FPS может просесть, но результат стоит того. Движения применяются к скелету через углы, а не через абсолютные координаты, поэтому работает с любым размером персонажа.
Настройка простая: инициализируешь трекер, привязываешь к нему скелет, запускаешь камеру по клику пользователя и обновляешь позицию костей в цикле рендера. Модуль сам разберётся, где у персонажа плечи, локти, бёдра, пальцы и голова. Если названия костей в твоей модели отличаются от стандартных, можно передать свою карту соответствий.
Для лица поддерживаются блендшейпы - те самые морф-таргеты, которые управляют мимикой. MediaPipe оценивает выражение лица по камере и передаёт значения в модель. Не обязательно использовать все блендшейпы, модуль просто проигнорирует те, которых нет в твоей модели.
Есть режим отладки: можно подключить видео вместо камеры, посмотреть на визуализацию лэндмарков прямо в сцене, записать движения в файл. Удобно, когда нужно проверить, как всё работает, без постоянного махания руками перед камерой.
Модуль позволяет игнорировать ноги или лицо, если они не нужны, настраивать масштаб отладочного видео и менять пути к моделям MediaPipe, если хочешь хостить их сам. В комплекте идёт готовый скелет в формате Blender, но можно использовать свой, главное - соблюсти ориентацию костей.
Работает с веб-камерой в реальном времени или с заранее записанным видео. Подходит для интерактивных демо, игр, экспериментов с моушен-кэпчуром без дорогого оборудования. Всё, что нужно, уже есть в браузере.
Блог