Ollama
Локальная платформа для запуска языковых моделей на компьютере без отправки данных в облако. Поддерживает популярные модели вроде Llama, Mistral и Gemma.
MTPLX — приложение для Mac, которое позволит запускать языковые модели локально и, по заявлению разработчиков, вдвое быстрее обычного. Скачивается одним файлом и совместимо с API OpenAI и Anthropic, так что подключить его можно к тем инструментам, которыми вы уже пользуетесь. Пригодится тем, кто хочет держать модели у себя на машине — без облака и отправки данных наружу.
За ускорение отвечает режим MTP, детали его работы разработчики раскрывают отдельно. Главное обещание — качество не падает: вывод остаётся идентичным на любой температуре, вплоть до побитового совпадения.
Внутри — три основных сценария работы:
Распространяется как DMG-образ на 54 МБ, всё необходимое уже внутри — отдельно докручивать зависимости не нужно. Доступны и предыдущие релизы, если нужна конкретная версия.
Локальная платформа для запуска языковых моделей на компьютере без отправки данных в облако. Поддерживает популярные модели вроде Llama, Mistral и Gemma.
Бесплатный опенсорсный веб-интерфейс для запуска языковых моделей локально на любом устройстве. Поддерживает модели GGUF, параллельные чаты и работу с файлами.
Браузер для запуска локальных ИИ-моделей в один клик. Разворачивает рабочую среду автоматически - без установки зависимостей и настройки окружения.