Нейросеть LIA-X

Что умеет LIA-X: от статичного фото до живого портрета

LIA-X берет обычную фотографию человека и превращает ее в анимированный портрет по образцу видео. В отличие от типичных решений, которые просто переносят движения с одного лица на другое, система дает детальный контроль над каждым элементом анимации. Технология разбирает мимику на составные части — можно отдельно управлять движениями глаз, губ, бровей. Плюс система умеет поворачивать лицо в трехмерном пространстве, меняя ракурс портрета.

Микроконтроль мимики: когда каждая морщинка имеет значение

Главная фишка LIA-X — возможность редактировать отдельные элементы лицевой анимации. Если в исходном видео персонаж слишком активно моргает, можно убрать лишние движения век. Или наоборот — добавить более выразительную мимику там, где ее не хватает. Система анализирует каждый кадр и выделяет независимые параметры движения. Получается что-то вроде слоев в фотошопе, только для анимации лица.

Технические особенности и доступность

LIA-X работает на собственной архитектуре, не используя популярные GANs или CogVideo. Разработчики выложили в открытый доступ код проекта, демо-версию и предобученные веса модели размером 3.6 ГБ. Это означает, что любой желающий может скачать систему и экспериментировать с анимацией портретов на своем железе. Правда, для комфортной работы понадобится приличная видеокарта — нейросеть все-таки.