Step-3.5-Flash
Step-3.5-Flash: молниеносный ИИ-агент, который не подведет в критический момент
Flide — инфраструктура быстрого инференса для decision-моделей в стиле Jev. За один forward pass она форкает одно состояние во все его вопросы, чтобы состояние читалось один раз, а каждый вопрос получал ответ, который модель дала бы ему отдельно.
Ускорение достигается за счёт того, что состояние и все его вопросы обрабатываются как одна последовательность: ячейки состояния не пересчитываются, дополнительные токены не добавляются. На одной статье QuALITY с 18 вопросами при модели 0.8B Flide заявлен в 9,5 раза быстрее vLLM и SGLang, а чем больше вопросов несёт состояние, тем больше разрыв. Для 64 вопросов на состоянии из 2 тысяч токенов у Qwen3.5-4B указаны 120 мс у Flide против 1533 мс у первого движка и 673 мс у второго.
При этом Flide остаётся в пределах 1,1 пункта от эталона float32, а доля перевёрнутых решений при пороге 0,5 составляет до 2,3%. Поддерживаются многошаговые агентные сценарии: сервис сохраняет точное состояние каждого шага, и следующий шаг продолжается с него.
Главные возможности:
Запросы любого состава выполняются как один поток токенов, воспроизводимый CUDA graphs. Флаг --batch-invariant обеспечивает одинаковые биты ответа независимо от способа батчинга. Для возобновления агентов флаг --session-cache-gb задаёт объём сохраняемых прежних состояний. Опция --quantize fp8 запускает Qwen3.5 на GPU Ada, Hopper и Blackwell. Ядра поставляются предсобранными для A40, A10, RTX 30, H100 и H200.
Step-3.5-Flash: молниеносный ИИ-агент, который не подведет в критический момент