Flide
ускоряет инференс decision-моделейв каталоге с 2026Форкает состояние в вопросы одним проходом модели

Flide

Оцените первым
Проверено от 17.11.2026
Ограничения
Предсобранные ядра для A40, A10, RTX 30, H100, H200 [f20]
Модели
Qwen3.5 Gemma 4

Flide — инфраструктура быстрого инференса для decision-моделей в стиле Jev. За один forward pass она форкает одно состояние во все его вопросы, чтобы состояние читалось один раз, а каждый вопрос получал ответ, который модель дала бы ему отдельно.

Ускорение достигается за счёт того, что состояние и все его вопросы обрабатываются как одна последовательность: ячейки состояния не пересчитываются, дополнительные токены не добавляются. На одной статье QuALITY с 18 вопросами при модели 0.8B Flide заявлен в 9,5 раза быстрее vLLM и SGLang, а чем больше вопросов несёт состояние, тем больше разрыв. Для 64 вопросов на состоянии из 2 тысяч токенов у Qwen3.5-4B указаны 120 мс у Flide против 1533 мс у первого движка и 673 мс у второго.

При этом Flide остаётся в пределах 1,1 пункта от эталона float32, а доля перевёрнутых решений при пороге 0,5 составляет до 2,3%. Поддерживаются многошаговые агентные сценарии: сервис сохраняет точное состояние каждого шага, и следующий шаг продолжается с него.

Главные возможности:

  • Обрабатывает состояние и все вопросы за один проход
  • Ускоряет до 9,5 раза относительно vLLM и SGLang
  • Сохраняет точность в пределах 1,1 пункта от float32
  • Поддерживает Qwen3.5 и Gemma 4 как есть
  • Возобновляет агентные шаги с задержкой 0,6–1,0 мс на тысячу токенов истории
  • Предоставляет API /v1/systemone, совместимый с vLLM и SGLang
  • Устанавливается командой pip install flide

Запросы любого состава выполняются как один поток токенов, воспроизводимый CUDA graphs. Флаг --batch-invariant обеспечивает одинаковые биты ответа независимо от способа батчинга. Для возобновления агентов флаг --session-cache-gb задаёт объём сохраняемых прежних состояний. Опция --quantize fp8 запускает Qwen3.5 на GPU Ada, Hopper и Blackwell. Ядра поставляются предсобранными для A40, A10, RTX 30, H100 и H200.

Был ли материал полезен?
Поделиться

Похожие нейросети

Все нейросети →
Бесплатно

Step-3.5-Flash

Step-3.5-Flash: молниеносный ИИ-агент, который не подведет в критический момент

21.05.2026
Бесплатно

Laya

Решения без слов: сто языков и один проход за 33 миллисекунды

20.09.2026
Бесплатно

DeepSeek DeepInfer

Открытый фреймворк для инференса моделей в масштабе

22.10.2026
Бесплатно

Supersonic Labs

Локальный выбор одного ответа из заданных вариантов

★ 5,0 · 1·28.09.2026

Нейросеть Flide была впервые опубликована 17-11-2026 19:28:00 и ещё не редактироваласьРедактор

Каталог приложений Telegram Mini Apps

340+ проверенных мини-приложений: нейросети, утилиты, игры. Открываются прямо в мессенджере — без установки.

Открыть →

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

Подписаться

Нейросети и ИИ-инструменты

Все теги →
github334 text-to-text159 api122 self-hosted84 tool84 text-to-image81 ии-агенты79 claude code65 desktop-приложение60 языковая модель52 каталог43 python43 mcp40 анимация36 работа с pdf36 браузер32 image-to-image31 claude28 удалить фон26 офлайн26
AILibri – главная страница
Ctrl / ⌘+K

Избранные нейросети

Без регистрации. Список сохраняется в этом браузере.