# Open VC Attention

> Ускорение внимания для длинного видео на Blackwell

Реализация FP8-attention для длинного видеоинференса на NVIDIA Blackwell с ускорением до 2 раз быстрее BF16 FlashAttention.

- Что делает: ускоряет FP8-attention для видеоинференса
- Категории: Opensource, Бесплатные, Инструменты разработчика
- Бизнес-модель: Бесплатно
- Ограничения: требует GPU B200/B300, Linux и CUDA 13
- Сайт сервиса: https://github.com/MachGen/open-vc-attention
- Карточка в каталоге: https://ailibri.com/open-vc-attention
- Обновлено: 2026-10-09

## Описание

Open-VC Attention — реализация FP8 forward-attention для длинных последовательностей видеоинференса на NVIDIA Blackwell. Она построена на ядре FlashAttention-4 CuTe DSL и реализует ExpCast из VC-Attention. Инструмент предназначен для FP8-attention при длинном видеоинференсе на GPU B200/B300.
На Blackwell FP8-attention Open-VC заявлен примерно в 2 раза быстрее BF16 FlashAttention для длинного видеоинференса. API покрывает прямой инференс multi-head attention с размерностью головы 128: входы FP16 или BF16 формы [S,H,128] либо [B,S,H,128]. Вызов attention выполняет FP8-квантование и ExpCast-attention и возвращает выход BF16.
Ядро записывает вероятности softmax сразу в FP8 из скоров без отдельного экспоненциального преобразования. Оно добавляет собственные оптимизации вокруг ExpCast: масштабы Q/K по блокам и V по головам, обход ключей от середины окна, warp-specialized конвейер. Длинные некаузальные последовательности при S не меньше 32768 идут по упакованному быстрому пути.
На B200 при BF16 Q/K/V, снятых с шага видео-денойзинга MiniMax-H3, S=73397 и D=128, ускорение Open-VC относительно upstream FlashAttention-4 BF16 составляет 2,03× при 7 головах, 2,02× при 14 и 2,00× при 56. Для полного вызова — 1,99×, 2,00× и 1,97× соответственно. Базовый VC на том же семействе ядер без оптимизаций Open-VC даёт 1,60–1,66×.
Ремонт остатка V заново добавляет остаток квантования хуже всего округлённых токенов значений. Подготовка выполняется через prepare_v_repair с бюджетом, например 0,005, и вызов attention_v_repair. Базовый метод VC-Attention, использованный в сравнении, доступен как open_vc_attn.baselines.vc_attention(q, k, v).
Относительная ошибка L2 против BF16 составляет 2,98–3,19%. Установка требует Linux, Python 3.10+, PyTorch с CUDA 13 и GPU B200 (SM100) или B300 (SM103). Код доступен бесплатно на условиях лицензии BSD-3-Clause.

- Ускорение примерно в 2 раза быстрее BF16 FlashAttention для длинного видеоинференса.

- API для multi-head attention с head dimension 128, входы FP16/BF16, выход BF16.

- Оптимизации: запись softmax сразу в FP8, обход ключей от середины окна, warp-specialized конвейер.

- Упакованный быстрый путь для длинных некаузальных последовательностей (S>=32768).

- Ремонт остатка V для улучшения точности.

- Проверка корректности через open-vc-attn-check --smoke.

## Похожие сервисы в каталоге

- [Hermes Agent](https://ailibri.com/hermes-agent): Hermes Agent — агент с открытым исходным кодом от NousResearch, который развивается вместе с вами. Поддержка инструментов, веб-исследований и автоматизации зада
- [HeyCLI](https://ailibri.com/heycli): Инструмент для перевода команд с обычного языка на язык Linux. Просто опишите словами, что нужно сделать, и получите готовую команду.
- [Openclaw Infra](https://ailibri.com/openclaw-infra): Openclaw Infra - Docker-инфраструктура для запуска AI-агентов OpenClaw с поддержкой Telegram. Простое развертывание нескольких агентов на одном сервере.
- [Polymath](https://ailibri.com/polymath): Инструмент для превращения любой музыкальной библиотеки в сэмпл-банк для продакшена с помощью машинного обучения
- [Ollama](https://ailibri.com/ollama): Локальная платформа для запуска языковых моделей на компьютере без отправки данных в облако. Поддерживает популярные модели вроде Llama, Mistral и Gemma.
- [cc-1c-skills](https://ailibri.com/cc-1c-skills): Набор навыков для AI-агентов Claude Code, Cursor и Codex для разработки на 1С:Предприятие 8.3 с абстракциями над XML, CLI конфигуратора и тестированием через ве

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com