Wifi Densepose — это система, которая видит людей сквозь стены, используя обычные сигналы WiFi. Никаких камер, никаких датчиков на теле, только радиоволны, которые и так уже заполняют каждую комнату. Система анализирует, как WiFi-сигналы рассеиваются от человеческого тела, и восстанавливает позу скелета, частоту дыхания и сердцебиение в реальном времени.
Работает это так: WiFi-роутер постоянно излучает радиоволны, они проходят через комнату, отражаются от тела человека и возвращаются искаженными. Wifi Densepose ловит эти искажения через несколько ESP32-модулей, расставленных по помещению, и извлекает из них Channel State Information — данные о том, как изменились амплитуда и фаза каждого подканала сигнала. Дальше нейросеть обрабатывает этот поток и выдает координаты 17 ключевых точек тела, частоту дыхания от 6 до 30 вдохов в минуту и пульс от 40 до 120 ударов в минуту.
Система умеет отслеживать несколько человек одновременно, работает через стены, мебель и даже завалы, что делает ее полезной в поисково-спасательных операциях. Есть режим WiFi-Mat для сортировки пострадавших по методу START — система сама оценивает степень тяжести состояния по дыханию и пульсу.
Главная фишка — полная приватность. Никаких пикселей видео, никаких изображений, никаких записей лиц. Только радиосигналы, которые система преобразует в абстрактные координаты скелета. При этом точность достаточна для мониторинга здоровья, контроля присутствия или даже анализа намерений человека через модель устойчивого поля комнаты.
Технически система состоит из нескольких слоев: сначала идет мультистатическая сетка из 4-6 ESP32-узлов, которые собирают CSI-данные с разных точек и сливают их в единую картину с охватом 360 градусов. Потом сигнал проходит через цепочку фильтров — удаление выбросов, компенсация многолучевости, выделение полос дыхания и сердцебиения. Дальше включается AI-бэкенд на базе RuVector с механизмами внимания, графовыми алгоритмами и сжатием данных. Финальный этап — протокол Signal-Line, который превращает CSI в шестиступенчатую модель восприятия: от сырого сигнала до топологии комнаты и предсказания поведения.
Производительность впечатляет: полностью переписанный на Rust пайплайн обрабатывает 54 тысячи кадров в секунду, весь Docker-образ занимает 132 мегабайта, а задержка на обработку одного кадра — меньше 100 микросекунд. Развернуть систему можно одной командой через Docker, живая визуализация поднимается за 30 секунд.
Есть нюанс: для полноценной работы нужно CSI-совместимое железо — ESP32-S3 или исследовательская сетевая карта вроде Intel 5300. Обычный WiFi-адаптер в ноутбуке даст только RSSI — грубый показатель мощности сигнала, которого хватит для определения присутствия, но не для позы или пульса. Если железа нет, можно проверить работу алгоритмов на детерминированном тестовом сигнале, который идет в комплекте.
Обученные модели упаковываются в один файл формата .rvf и могут работать на краю сети, в облаке или даже в браузере через WebAssembly. Система обучается сама, без размеченных данных и без камер — использует adversarial domain generalization, чтобы модель, обученная в одной комнате, работала в любой другой без переобучения. Это значит, что можно тренировать один раз и разворачивать где угодно.
Блог