Lance — это легковесная мультимодальная модель на 3 миллиарда активных параметров, которая умеет понимать, генерировать и редактировать изображения и видео внутри одного фреймворка. Модель обучена с нуля на бюджете в 128 GPU A100 и показывает сильные результаты в генерации картинок, их редактировании и создании видео.
Lance работает с текстом, изображениями и видео одновременно. Можешь попросить её создать картинку или видео по описанию, отредактировать существующий контент или ответить на вопросы о том, что изображено на кадре. Модель справляется с задачами вроде анализа графиков, чтения номеров машин, описания сцен в видео или подсчёта объектов в кадре.
Для работы с Lance нужно скачать веса модели с Hugging Face, установить зависимости через conda или автоматический скрипт и запустить единый интерфейс командной строки. В репозитории есть готовые команды для всех поддерживаемых задач: генерации текста в изображение или видео, редактирования контента и понимания визуальной информации. Модель поддерживает разные разрешения, включая 768×768 для картинок и 480p для видео длиной до 121 кадра.
Платформа для автоматического создания и управления сессиями Automatic1111 в облаке. Вы можете запускать сессии с любой версией Stable Diffusion и использовать готовые шаблоны для генерации изображений.
Революция в генерации видео: нейросеть научилась понимать логику и создавать сложные сцены по свободному описанию
Нейросеть создает видео людей с предметами по фото, звуку и позам одновременно
Блог