CatV2TON - легковесная модель для виртуальной примерки одежды, построенная на архитектуре DiT (Diffusion Transformer). Отличительная особенность: она работает с фотографиями и видео, что открывает новые возможности для онлайн-шопинга и fashion-индустрии.
Модель использует временную конкатенацию видеокадров и условий одежды для реалистичных результатов. Загружаешь изображение человека и фото одежды - CatV2TON показывает примерку. Для статичных снимков и динамичных видеороликов.
В репозитории доступны веса моделей с разрешением 256 и 512 пикселей, скрипты для инференса и оценки. Можно протестировать модель на датасетах вроде VITONHD, DressCode, ViViD-S-Test и VVT-Test, либо запустить примерку на своих данных. Скрипты позволяют настраивать параметры: размер батча, количество воркеров, сид для воспроизводимости, режим смешанной точности и другие опции.
CatV2TON представлен на воркшопе CVPR 2025, статья опубликована на ArXiv, а веса лежат на HuggingFace. Нужна быстрая и качественная виртуальная примерка с поддержкой видео - это один из свежих и доступных инструментов.
Блог