DiffSynth-Studio

DiffSynth-Studio — открытый движок для диффузионных моделей от команды ModelScope. По сути это Python-фреймворк, который собирает под одной крышей популярные модели генерации картинок, видео, аудио и музыки, плюс модели оценки качества изображений, и даёт единый способ запускать их инференс и обучение. Нужен тем, кто работает с генеративкой на уровне кода: разработчикам, исследователям, авторам LoRA и своих пайплайнов.

Главная боль, которую фреймворк закрывает, — нехватка видеопамяти. DiffSynth-Studio динамически раскидывает параметры модели между диском, обычной оперативкой и VRAM, поэтому тяжёлые модели можно запустить и на потребительской видеокарте. Поверх этого работает квантизация: параметры переводятся в NF4 или INT8 через единую точку входа QuantizeConfig с поддержкой bitsandbytes, torchao и comfy-kitchen. Можно квантовать на лету, подгружать уже квантованные веса, смешивать точности, сохранять результат и даже обучать LoRA прямо на квантованной модели.

Обучение здесь не приложение к инференсу, а полноценная часть движка: почти всё, что запускается на генерацию, поддаётся и тренировке — базовые модели, LoRA, адаптеры с дополнительными входами. Отдельно есть split training: вычислительный граф отслеживает каждую переменную в пайплайне и разбивает обучение на два этапа, чтобы считать экономнее.

Вокруг проекта выросла своя экосистема, которая пригодится, если лезть в код не хочется:

• DiffSynth-ComfyUI — набор нод, чтобы собирать воркфлоу инференса в привычном ComfyUI;
• DiffSynth-WebUI — лёгкий инструмент для обучения LoRA с разворачиванием в один клик на своём железе;
• ModelScope AIGC Zone и ModelScope Civision — готовые продуктовые сервисы, где DiffSynth-Studio работает движком под капотом;
• Agent Skills — собираемый набор навыков, чтобы ИИ-агент помогал интегрировать новые модели.

Список поддерживаемых моделей команда расширяет постоянно: серии Wan, Qwen-Image и Qwen-Video-Edit, MiniMax-H3 и MiniMax-Music3, LTX-2.5, LingBot-Video, SenseNova-U1.5, музыкальные ACE-Step и YuE2. Есть и собственные разработки — например, DiffSynth-Music с пятью режимами управления генерацией и обучающие адаптеры для дистиллированных моделей. К каждой интеграции идут документация на английском и китайском и примеры кода в репозитории.

Пользоваться можно бесплатно — весь код лежит на GitHub. Но пара оговорок: проект пережил крупное обновление версии, и часть старых функций больше не поддерживается — за ними придётся откатываться на исторический релиз. Разработчиков в команде мало, поэтому новые фичи и ответы на issues идут не молниеносно. Для работы понадобятся Python и GPU, пусть и не самая топовая.