Mistral AI и NVIDIA представили Mistral NeMo

18 июля 2024 года компании Mistral AI и NVIDIA объявили о выпуске Mistral NeMo - передовой языковой модели, разработанной в результате их совместных усилий. Эта модель с 12 миллиардами параметров представляет собой значительный прорыв в технологии искусственного интеллекта, сочетая экспертизу Mistral AI в области обучающих данных с оптимизированной аппаратной и программной экосистемой NVIDIA.

Модель была обучена на платформе облачных AI-сервисов NVIDIA DGX, используя 3 072 GPU NVIDIA H100 80GB Tensor Core, что демонстрирует передовую инфраструктуру, стоящую за ее разработкой.

Mistral NeMo разработана для высокой производительности в различных задачах обработки естественного языка. Она превосходит по точности и эффективности такие модели своего размера, как Gemma 2 (9B) и Llama 3 (8B). Ее контекстное окно в 128К токенов позволяет более связно обрабатывать обширную и сложную информацию. Введение нового токенизатора Tekken, основанного на Tiktoken, обеспечивает примерно на 30% более эффективное сжатие исходного кода и нескольких основных языков, причем для корейского и арабского языков эффект еще более заметен.

Модель весов Mistral NeMo доступна на HuggingFace для базовой версии и версии с обучением. Она может использоваться с инструментами mistral-inference и mistral-finetune. Для корпоративного развертывания Mistral NeMo упакована как микросервис NVIDIA NIM inference, доступный через ai.nvidia.com. Разработанная для работы на одном GPU NVIDIA L40S, GeForce RTX 4090 или RTX 4500, модель приносит мощные возможности AI непосредственно на рабочие столы бизнеса, делая ее легкодоступной для различных организаций.

Mistral NeMo 12B демонстрирует впечатляющую производительность по сравнению с другими моделями своего размера. Согласно бенчмаркам, она превосходит как Gemma 2 (9B), так и Llama 3 (8B) по точности и эффективности. Ценообразование модели конкурентоспособно - $0,3 за 1 миллион входных и выходных токенов, что ставит ее в выгодное положение по сравнению с более крупными моделями, такими как GPT-4 (контекст 32k) и Mixtral 8x22B, которые значительно дороже. 128K контекстное окно Mistral NeMo и продвинутая токенизация с Tekken дают ей преимущество в работе с длинным контентом и многоязычными задачами, превосходя токенизатор Llama 3 по сжатию текста примерно для 85% всех языков.

Модель может применяться в широком спектре задач, включая корпоративные решения на базе AI, чат-боты и разговорные AI-системы. Ее многоязычные возможности особенно полезны для глобального бизнеса и организаций, работающих с разнообразными языковыми требованиями. Кроме того, высокая точность модели в кодировании позиционирует ее как ценный инструмент для разработки программного обеспечения и генерации кода. Сочетание большого контекстного окна и продвинутых возможностей рассуждения также делает Mistral NeMo хорошо подходящей для сложного анализа текста, обобщения и исследовательских приложений в различных отраслях.