PAN 2 — универсальная модель мира. Она принимает текущее наблюдение из необязательного изображения и текста, а также описание действий, и моделирует, как изменится мир, выдавая видео до 20 секунд. Собственный код и веса опубликованы MBZUAI бесплатно на условиях Apache License 2.0.
Вход — необязательное изображение и текст плюс описание действий; на выходе — ролик длительностью до 20 секунд в разрешении 704×1248 при 24 fps. Поддерживаются text-to-video и image-to-video.
Ключевая особенность — симулятивное рассуждение: агент может заранее смоделировать исходы разных действий и выбрать план с лучшим результатом. Инференс по умолчанию использует 50 шагов, flow shift 9, CFG 2,5, разрешение 704×1248 при 24 fps и bf16.
Репозиторий содержит код обучения перцептивного каркаса с загрузчиком предвычисленных латентов, гибридным шардингом FSDP2 и оптимизатором Muon, код инференса, промпт концептуального рассуждателя и агентский навык для Codex и Claude Code. Обучение проходит в три стадии: предобучение 480p, продолженное предобучение 720p и SFT 720p. Параметры запуска задаются YAML-файлами, запуск возобновляется с последнего чекпоинта.
- Генерирует видео до 20 секунд по описанию действий
- Моделирует исходы вариантов действий заранее для выбора лучшего плана
- Поддерживает text-to-video и image-to-video в одной модели
- Публикует код и веса бесплатно по Apache License 2.0
- Выдаёт видео в разрешении 704×1248 при 24 кадрах в секунду
- Включает код обучения, инференса и агентский навык для Codex и Claude Code
- Поддерживается в Diffusers и vLLM
Блог