Нейросеть HunyuanPortrait

HunyuanPortrait позволяет оживить любую портретную фотографию, перенося на неё мимику и движения головы с видеозаписи. Это открытое решение от Tencent работает по принципу имплицитного контроля условий, что обеспечивает высокое качество анимации.

Как работает система

Принцип действия прост: вы загружаете статичный портрет и референсное видео с движениями, которые хотите перенести. Алгоритм анализирует паттерны движений с видео и применяет их к статичному изображению, сохраняя особенности оригинального портрета. В результате получается реалистичная анимация с естественной мимикой и движениями головы.

Технические требования

Для работы с HunyuanPortrait понадобится достаточно мощное оборудование:

- Видеокарта NVIDIA 3090 или аналогичная с поддержкой CUDA

- Минимум 24 ГБ видеопамяти

- Соответствующая система охлаждения

Инструмент доступен на GitHub в формате открытого исходного кода, что позволяет разработчикам и энтузиастам свободно использовать и модифицировать его под свои задачи. Это особенно полезно для создания контента в сфере образования, развлечений или цифрового искусства.

При работе с портретами HunyuanPortrait сохраняет индивидуальные черты лица, что делает результат узнаваемым даже при значительных изменениях выражения лица. Технология избегает эффекта "зловещей долины", когда анимация выглядит почти реалистичной, но всё равно вызывает дискомфорт из-за небольших несоответствий.