Stream-DiffVSR улучшает разрешение видео прямо во время просмотра или стрима. Задержка на обработку одного кадра 720p составляет 0,328 секунды на видеокарте RTX 4090 - это в 130 раз быстрее предыдущих решений. Для стриминга такая скорость критична: зритель видит картинку почти мгновенно, без неприятных зависаний.
Модель работает по принципу авторегрессии - анализирует только те кадры, которые уже прошли через обработку. Будущие фрагменты видео ей не нужны, поэтому не приходится накапливать буфер и ждать. Это делает её удобной для живых трансляций, где каждая лишняя секунда задержки убивает вовлечённость.
Классические методы повышения разрешения обычно требуют доступа к нескольким кадрам вперёд и назад, чтобы учесть движение объектов и собрать более точную картинку. Stream-DiffVSR от этого отказалась. Модель опирается только на историю - уже улучшенные фрагменты видео. Это снижает качество в сравнении с офлайн-обработкой, но зато даёт возможность работать с потоковым контентом.
Для стримеров, которые хотят выдавать зрителям картинку в высоком разрешении без мощного железа на передающей стороне, модель может стать палочкой-выручалочкой. Вместо того чтобы грузить канал тяжёлым 1080p, можно отправлять 720p, а апскейл происходит уже на стороне зрителя или сервера. Геймеры, стримящие с консолей или слабых ПК, оценят такую экономию ресурсов.
Разработчики выложили код на GitHub, так что любой желающий может попробовать модель в деле. Правда, понадобится видеокарта уровня RTX 4090 для заявленной скорости - с более скромным железом задержка вырастет. Но даже на менее топовых GPU результат может быть вполне приемлемым для экспериментов и некоммерческого использования.
Stream-DiffVSR построена на диффузионной архитектуре, которая обычно применяется для генерации изображений. Здесь её адаптировали под видео, добавив механизм учёта временной связности между кадрами. Модель не просто улучшает каждый кадр по отдельности, а помнит, что было раньше, и использует эту информацию для сглаживания артефактов и стабилизации картинки.
Ограничение на использование только прошлых кадров делает Stream-DiffVSR менее универсальной по сравнению с офлайн-решениями, зато открывает нишу для онлайн-применения. Если вам нужно обработать записанное видео без спешки, лучше взять что-то другое. Но для стримов, видеозвонков или онлайн-трансляций событий эта модель закрывает реальную потребность в скорости.
Инструмент на основе искусственного интеллекта, который предоставляет краткие резюме видео на YouTube, включая такие функции, как визуализация карты мыслей, режим сегментации, поддержка нескольких языков и простой экспорт. Он прост в использовании и бесплатен.
Голосовой помощник, который преобразует речь в текст с автоматическим форматированием и стилизацией под разные задачи
ИИ-браузер от Perplexity с автоматизацией задач - кликает, заполняет формы, делает покупки и управляет почтой без вашего участия.
Агент Hulk AI - персонализированный помощник по покупкам, использующий технологию искусственного интеллекта для предоставления индивидуальных рекомендаций по продуктам на основе потребностей пользователя.
Блог