Freemium
3E8 Blueprint
Генератор технической документации для DIY-проектов. Описываешь устройство - получаешь схему подключения, список компонентов и инструкцию по сборке.
29.05.2026
DeepInfer используется в производственных сервисах DeepSeek, а открытый выпуск предназначен для офлайн-инференса моделей. Он предназначен разработчикам и операторам; открытый выпуск сам по себе не содержит всех компонентов полноценного сервиса инференса.
В выпуске поддерживается DeepSeek-V4.1-Flash. Для сборки и запуска нужны Linux, GCC 13.0 или выше и Python 3.12; требуется GPU NVIDIA SM100 либо NPU Huawei Ascend 950, а также CUDA 13 для NVIDIA или CANN 9.2 для Ascend.
- Использует оптимизированные ядра и пользовательские ядра TileLang.
- Поддерживает параллелизм Attention DP и balanced CP, а также MoE EP и EPLB.
- Ускоряет декодирование черновыми токенами и планированием проверки по оценке уверенности.
- Асинхронно планирует батчи на CPU во время выполнения на устройстве.
- Позволяет ограничить генерацию регулярным выражением, JSON Schema или грамматикой EBNF.
- Поддерживает сохранение идентичности результатов при разном составе батчей только на NVIDIA.
Для запуска нужны checkpoint модели и входные данные; модель DeepSeek-V4.1-Flash-1017 по умолчанию при первом запуске загружается в кэш Hugging Face. Исходный код доступен бесплатно по лицензии Apache 2.0.
В открытый выпуск не входят система KV-кэша, разделение VE/Prefill/Decode и балансировка нагрузки между репликами data-parallel отдельно для prefill и decode.
Блог