PrivateGPT
Open-source фреймворк для работы с языковыми моделями в офлайн-режиме. Позволяет задавать вопросы к документам без интернета с полной конфиденциальностью данных.
LM Studio — это настольная программа, в которой открытые языковые модели скачиваются и запускаются в пару кликов. Не нужен терминал и ручная сборка: внутри есть каталог моделей с Hugging Face, окно чата и локальный сервер с API. Всё считается на вашем железе, запросы никуда не отправляются.
Программа поможет подобрать модель под ваш компьютер: каталог сразу показывает, влезет ли модель в память, и предлагает подходящую степень сжатия. Поддерживаются форматы GGUF и MLX, то есть почти всё, что публикуют на Hugging Face: Llama, Qwen, Gemma, Mistral, DeepSeek, gpt-oss и сотни других. В чате можно прикреплять документы и задавать вопросы по ним, менять системный промпт и параметры генерации.
На компьютерах с Apple Silicon LM Studio использует движок MLX от Apple, который работает напрямую с объединённой памятью и графическим процессором. На практике это заметно быстрее, чем универсальный llama.cpp на том же Mac. Для Windows и Linux используется llama.cpp с ускорением на видеокартах NVIDIA и AMD.
Одной кнопкой поднимается сервер на localhost, совместимый с API OpenAI и Anthropic. Любой инструмент, который умеет ходить в ChatGPT по API, можно переключить на локальную модель, поменяв адрес. Есть консольная утилита lms и SDK для Python и JavaScript, если нужно встроить модель в скрипт или приложение.
Программа бесплатна для личного и рабочего использования без урезанных функций. Платный тариф есть только для организаций, которым нужно централизованное управление установками. Главное ограничение — железо: для комфортной работы с моделями на 7–8 млрд параметров нужно 16 ГБ памяти, модели на 30 млрд и больше просят 32–64 ГБ. Сайт и скачивание моделей из России открываются без VPN.
Open-source фреймворк для работы с языковыми моделями в офлайн-режиме. Позволяет задавать вопросы к документам без интернета с полной конфиденциальностью данных.
Свой ИИ под замком: все модели, чаты и агенты — на вашем железе
Плавающий секретарь, который знает контекст вашего экрана и работает без интернета