# DeepSeek DeepInfer

> Открытый фреймворк для инференса моделей в масштабе

DeepInfer — открытый фреймворк для офлайн-инференса DeepSeek-V4.1-Flash с параллельной обработкой и структурированным выводом.

- Что делает: выполняет инференс моделей
- Категории: Opensource, Бесплатные, Инструменты разработчика
- Бизнес-модель: Бесплатно
- Ограничения: Выпуск не включает KV-кэш, разделение VE/Prefill/Decode и балансировку нагрузки реплик [f16]
- Сайт сервиса: https://github.com/deepseek-ai/DeepInfer
- Карточка в каталоге: https://ailibri.com/deepseek-deepinfer
- Обновлено: 2026-10-22

## Описание

DeepInfer используется в производственных сервисах DeepSeek, а открытый выпуск предназначен для офлайн-инференса моделей. Он предназначен разработчикам и операторам; открытый выпуск сам по себе не содержит всех компонентов полноценного сервиса инференса.
В выпуске поддерживается DeepSeek-V4.1-Flash. Для сборки и запуска нужны Linux, GCC 13.0 или выше и Python 3.12; требуется GPU NVIDIA SM100 либо NPU Huawei Ascend 950, а также CUDA 13 для NVIDIA или CANN 9.2 для Ascend.

- Использует оптимизированные ядра и пользовательские ядра TileLang.

- Поддерживает параллелизм Attention DP и balanced CP, а также MoE EP и EPLB.

- Ускоряет декодирование черновыми токенами и планированием проверки по оценке уверенности.

- Асинхронно планирует батчи на CPU во время выполнения на устройстве.

- Позволяет ограничить генерацию регулярным выражением, JSON Schema или грамматикой EBNF.

- Поддерживает сохранение идентичности результатов при разном составе батчей только на NVIDIA.

Для запуска нужны checkpoint модели и входные данные; модель DeepSeek-V4.1-Flash-1017 по умолчанию при первом запуске загружается в кэш Hugging Face. Исходный код доступен бесплатно по лицензии Apache 2.0.
В открытый выпуск не входят система KV-кэша, разделение VE/Prefill/Decode и балансировка нагрузки между репликами data-parallel отдельно для prefill и decode.

## Похожие сервисы в каталоге

- [Hermes Agent](https://ailibri.com/hermes-agent): Hermes Agent — агент с открытым исходным кодом от NousResearch, который развивается вместе с вами. Поддержка инструментов, веб-исследований и автоматизации зада
- [HeyCLI](https://ailibri.com/heycli): Инструмент для перевода команд с обычного языка на язык Linux. Просто опишите словами, что нужно сделать, и получите готовую команду.
- [Openclaw Infra](https://ailibri.com/openclaw-infra): Openclaw Infra - Docker-инфраструктура для запуска AI-агентов OpenClaw с поддержкой Telegram. Простое развертывание нескольких агентов на одном сервере.
- [Polymath](https://ailibri.com/polymath): Инструмент для превращения любой музыкальной библиотеки в сэмпл-банк для продакшена с помощью машинного обучения
- [Ollama](https://ailibri.com/ollama): Локальная платформа для запуска языковых моделей на компьютере без отправки данных в облако. Поддерживает популярные модели вроде Llama, Mistral и Gemma.
- [cc-1c-skills](https://ailibri.com/cc-1c-skills): Набор навыков для AI-агентов Claude Code, Cursor и Codex для разработки на 1С:Предприятие 8.3 с абстракциями над XML, CLI конфигуратора и тестированием через ве

---
Источник: AILibri — каталог нейросетей и ИИ-инструментов, https://ailibri.com