Нейросеть PersonaLive

PersonaLive от Dzine превращает обычную фотку в живой аватар для трансляций — без ограничений по времени стрима и с минимальными требованиями к железу.

Анимация портретов в режиме реального времени

Сервис оживляет статичные изображения прямо во время стрима. Загружаешь портрет — получаешь анимированного персонажа, который реагирует синхронно с твоими движениями. Технология подходит для длительных трансляций: можно вести часовой эфир без зависаний или обрывов генерации.

Система отслеживает мимику и жесты, передавая их на цифровой аватар. Забудь про статичную картинку в углу экрана — теперь зрители видят живые эмоции. Работает это через веб-камеру: достаточно обычной камеры для ноутбука, никаких специальных датчиков не требуется.

12 ГБ видеопамяти вместо космических требований

Под капотом крутится Stable Diffusion 1.5, но разработчики умудрились оптимизировать систему так, что хватает 12 гигов VRAM. Для сравнения: большинство аналогов требуют топовые видеокарты с 24 ГБ памяти. Здесь можно обойтись средней RTX 3060 или 4060 — железо, которое у многих стримеров уже стоит в системнике.

Экономия ресурсов не сказывается на качестве анимации. Движения остаются плавными, а лицо аватара передаёт даже мелкую мимику вроде приподнятой брови или кривой усмешки. При этом процессор почти не нагружается — вся работа ложится на GPU, освобождая мощности для стримингового софта и игры.

Открытый код на GitHub

Проект выложен в открытый доступ, так что можно заглянуть внутрь и покрутить настройки под себя. Хочешь изменить стиль анимации или добавить фильтры — копайся в коде и экспериментируй. Документация на английском, но базовых знаний Python хватит, чтобы разобраться.

Для тех, кто не планирует программировать, есть готовая сборка. Скачал, запустил, загрузил портрет — и готово. Интерфейс минималистичный: пара кнопок для настройки чувствительности трекинга и выбор источника видео. Никаких бесконечных меню с параметрами, в которых легко утонуть.