# Flide

> Форкает состояние в вопросы одним проходом модели

Инфраструктура инференса decision-моделей: форкает состояние в вопросы за один проход, ускоряет до 9,5 раза, поддерживает Qwen3.5 и Gemma 4

- Что делает: ускоряет инференс decision-моделей
- Категории: Opensource, Инструменты разработчика
- Ограничения: Предсобранные ядра для A40, A10, RTX 30, H100, H200 [f20]
- Модели: Qwen3.5, Gemma 4
- Сайт сервиса: https://flide.org/
- Карточка в каталоге: https://ailibri.com/flide
- Обновлено: 2026-11-17

## Описание

Flide — инфраструктура быстрого инференса для decision-моделей в стиле Jev. За один forward pass она форкает одно состояние во все его вопросы, чтобы состояние читалось один раз, а каждый вопрос получал ответ, который модель дала бы ему отдельно.
Ускорение достигается за счёт того, что состояние и все его вопросы обрабатываются как одна последовательность: ячейки состояния не пересчитываются, дополнительные токены не добавляются. На одной статье QuALITY с 18 вопросами при модели 0.8B Flide заявлен в 9,5 раза быстрее vLLM и SGLang, а чем больше вопросов несёт состояние, тем больше разрыв. Для 64 вопросов на состоянии из 2 тысяч токенов у Qwen3.5-4B указаны 120 мс у Flide против 1533 мс у первого движка и 673 мс у второго.
При этом Flide остаётся в пределах 1,1 пункта от эталона float32, а доля перевёрнутых решений при пороге 0,5 составляет до 2,3%. Поддерживаются многошаговые агентные сценарии: сервис сохраняет точное состояние каждого шага, и следующий шаг продолжается с него.
Главные возможности:

- Обрабатывает состояние и все вопросы за один проход

- Ускоряет до 9,5 раза относительно vLLM и SGLang

- Сохраняет точность в пределах 1,1 пункта от float32

- Поддерживает Qwen3.5 и Gemma 4 как есть

- Возобновляет агентные шаги с задержкой 0,6–1,0 мс на тысячу токенов истории

- Предоставляет API /v1/systemone, совместимый с vLLM и SGLang

- Устанавливается командой pip install flide

Запросы любого состава выполняются как один поток токенов, воспроизводимый CUDA graphs. Флаг --batch-invariant обеспечивает одинаковые биты ответа независимо от способа батчинга. Для возобновления агентов флаг --session-cache-gb задаёт объём сохраняемых прежних состояний. Опция --quantize fp8 запускает Qwen3.5 на GPU Ada, Hopper и Blackwell. Ядра поставляются предсобранными для A40, A10, RTX 30, H100 и H200.

## Похожие сервисы в каталоге

- [DeepSeek](https://ailibri.com/deepseek): Что такое DeepSeek (дипсик) простыми словами, чья это нейросеть и что она умеет. Как пользоваться на телефоне и компьютере, как войти из России без VPN, почему бесплатно, какая сейчас версия, загрузка файлов и промты.
- [Superagent](https://ailibri.com/superagent): AI-сервис Superagent автоматически находит, исправляет и раскрывает уязвимости в коде и агентах с доставкой исправлений через PR. Бесплатно для open source.
- [Hermes Agent](https://ailibri.com/hermes-agent): Hermes Agent — агент с открытым исходным кодом от NousResearch, который развивается вместе с вами. Поддержка инструментов, веб-исследований и автоматизации зада
- [HeyCLI](https://ailibri.com/heycli): Инструмент для перевода команд с обычного языка на язык Linux. Просто опишите словами, что нужно сделать, и получите готовую команду.
- [Openclaw Infra](https://ailibri.com/openclaw-infra): Openclaw Infra - Docker-инфраструктура для запуска AI-агентов OpenClaw с поддержкой Telegram. Простое развертывание нескольких агентов на одном сервере.
- [Polymath](https://ailibri.com/polymath): Инструмент для превращения любой музыкальной библиотеки в сэмпл-банк для продакшена с помощью машинного обучения

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com