Когда генеришь картинку в 512×512, а потом пытаешься растянуть её до обоев на рабочий стол - всё превращается в мыло. DyPE решает эту проблему хитрым способом: метод встраивается в процесс работы диффузионных моделей и вытягивает разрешение до 4K и выше прямо во время генерации.
Как это работает без костылей
Обычные методы апскейла просто увеличивают готовую картинку, а DyPE вмешивается в сам процесс деноизинга. Он следит за тем, как изображение формируется шаг за шагом, и на каждом этапе подстраивает позиционные параметры так, чтобы модель понимала: сейчас мы работаем с холстом побольше. Никакого дообучения, никаких дополнительных вычислительных затрат - просто другая математика внутри уже обученной модели.
Метод учитывает временную составляющую: на ранних шагах деноизинга формируется общая композиция, на поздних - детали. DyPE динамически адаптирует экстраполяцию позиций под этот прогресс, поэтому картинка не разваливается на артефакты и не теряет согласованность.
Flux и другие модели
На примерах с Flux видно, что DyPE спокойно справляется с ультравысоким разрешением. Можно взять любую предобученную диффузионную модель, применить метод - и получить результат, который раньше требовал бы либо переобучения на больших размерах, либо многоступенчатого апскейла с потерей качества.
Что в итоге
DyPE - это не отдельный сервис, а исследовательский метод с открытым кодом на GitHub. Подходит для тех, кто хочет выжать из диффузионных моделей максимум разрешения без танцев с бубном. Особенно полезно, если работаешь с генерацией для печати, постеров или любых задач, где 512 пикселей - это просто смешно.
Блог