Open VC Attention

Open-VC Attention — реализация FP8 forward-attention для длинных последовательностей видеоинференса на NVIDIA Blackwell. Она построена на ядре FlashAttention-4 CuTe DSL и реализует ExpCast из VC-Attention. Инструмент предназначен для FP8-attention при длинном видеоинференсе на GPU B200/B300.

На Blackwell FP8-attention Open-VC заявлен примерно в 2 раза быстрее BF16 FlashAttention для длинного видеоинференса. API покрывает прямой инференс multi-head attention с размерностью головы 128: входы FP16 или BF16 формы [S,H,128] либо [B,S,H,128]. Вызов attention выполняет FP8-квантование и ExpCast-attention и возвращает выход BF16.

Ядро записывает вероятности softmax сразу в FP8 из скоров без отдельного экспоненциального преобразования. Оно добавляет собственные оптимизации вокруг ExpCast: масштабы Q/K по блокам и V по головам, обход ключей от середины окна, warp-specialized конвейер. Длинные некаузальные последовательности при S не меньше 32768 идут по упакованному быстрому пути.

На B200 при BF16 Q/K/V, снятых с шага видео-денойзинга MiniMax-H3, S=73397 и D=128, ускорение Open-VC относительно upstream FlashAttention-4 BF16 составляет 2,03× при 7 головах, 2,02× при 14 и 2,00× при 56. Для полного вызова — 1,99×, 2,00× и 1,97× соответственно. Базовый VC на том же семействе ядер без оптимизаций Open-VC даёт 1,60–1,66×.

Ремонт остатка V заново добавляет остаток квантования хуже всего округлённых токенов значений. Подготовка выполняется через prepare_v_repair с бюджетом, например 0,005, и вызов attention_v_repair. Базовый метод VC-Attention, использованный в сравнении, доступен как open_vc_attn.baselines.vc_attention(q, k, v).

Относительная ошибка L2 против BF16 составляет 2,98–3,19%. Установка требует Linux, Python 3.10+, PyTorch с CUDA 13 и GPU B200 (SM100) или B300 (SM103). Код доступен бесплатно на условиях лицензии BSD-3-Clause.

• Ускорение примерно в 2 раза быстрее BF16 FlashAttention для длинного видеоинференса.
• API для multi-head attention с head dimension 128, входы FP16/BF16, выход BF16.
• Оптимизации: запись softmax сразу в FP8, обход ключей от середины окна, warp-specialized конвейер.
• Упакованный быстрый путь для длинных некаузальных последовательностей (S>=32768).
• Ремонт остатка V для улучшения точности.
• Проверка корректности через open-vc-attn-check --smoke.