MiniCPM

MiniCPM — это семейство компактных языковых моделей с открытым кодом от лаборатории OpenBMB, рассчитанных на запуск прямо на устройстве и на железе с ограниченными ресурсами. Модели раздаются на HuggingFace и ModelScope в разных форматах — BF16, GGUF, MLX, GPTQ, — так что скачать и поднять их можно локально, без обращения к чужому API. Подойдёт разработчикам, которые собирают локальных ассистентов, кодовых агентов и сценарии с вызовом инструментов, но не хотят тащить за собой тяжёлую модель.

Актуальная линейка — MiniCPM5: сначала вышла версия на 1B параметров, затем 2B. Вторая — плотная (не MoE) трансформерная модель на архитектуре LlamaForCausalLM, 2,5 миллиарда параметров, 42 слоя, GQA с 16 Q-головами и 2 KV, и нативное окно контекста в 131 072 токена. По усреднённому баллу в своём сравнении авторы заявляют 53,9 — это SOTA среди открытых моделей своего размера, причём модель обходит и всех более крупных участников этого набора: их лучший результат — 51,1. Сильнее всего разрыв виден в задачах на код, математику, понимание длинного контекста, работу с инструментами и агентские сценарии.

Отдельная особенность проекта — вместе с моделями открываются и данные, на которых их обучали. Семейство UltraData включает UltraX для веб-предобучения, UltraData-Code с многоуровневой (L0–L3) организацией кодовых данных, UltraData-SFT-Agent-2609 на 500 тысяч агентских примеров и UltraData-RL-2609 с более чем 80 тысячами RL-примеров по математике, коду, общим знаниям и длинному рассуждению. Пайплайн обучения расписан по трём стадиям: базовое обучение, mid-training и post-training с RL.

В репозитории лежат не веса, а всё, что нужно вокруг них: кукбуки по деплою и файнтюну, Agent Skills, скрипты квантизации, парсеры для вызова инструментов и демо. Плюс архив прошлых релизов, которые никуда не делись и всё ещё доступны:

• MiniCPM-SALA — гибридная разреженно-линейная аттеншн-модель для контекста в миллион токенов;
• MiniCPM4 и MiniCPM4.1 — вплоть до 8B, с обучаемой разреженной аттеншн и ускорением генерации на edge-чипах;
• BitCPM4 — тернарная квантизация на 0.5B и 1B;
• MiniCPM4-Survey и MiniCPM4-MCP — прикладные сборки под обзоры и протокол MCP;
• MiniCPM3-4B, MiniCPM-2B, MiniCPM-MoE-8x2B и другие ранние версии.

Есть онлайн-демо, если хочется пощупать модель без установки, техрепорт с деталями и вики (правда, на китайском). Сообщество живёт в Discord и Feishu/Lark. Запустить модель можно через Transformers, vLLM, SGLang, llama.cpp, Ollama, LM Studio или MLX — под каждый вариант есть свой кукбук, так что вписать MiniCPM в существующий стек будет несложно. Веса открыты, условия использования — в файле LICENSE.