Mistral AI y NVIDIA presentaron Mistral NeMo

El 18 de julio de 2024, Mistral AI y NVIDIA anunciaron el lanzamiento de Mistral NeMo , un modelo de lenguaje avanzado desarrollado como resultado de sus esfuerzos conjuntos. Este modelo de 12 mil millones de parámetros representa un avance significativo en la tecnología de inteligencia artificial, combinando la experiencia en datos de entrenamiento de Mistral AI con el ecosistema optimizado de hardware y software de NVIDIA.

El modelo se entrenó en la plataforma de servicios de inteligencia artificial en la nube NVIDIA DGX utilizando 3072 GPU NVIDIA H100 de 80 GB Tensor Core, lo que demuestra la infraestructura avanzada detrás de su desarrollo.

Mistral NeMo está diseñado para un alto rendimiento en una variedad de tareas de procesamiento del lenguaje natural. Supera a modelos de su tamaño como Gemma 2 (9B) y Llama 3 (8B) en precisión y eficiencia. Su ventana de contexto de token de 128K le permite procesar información rica y compleja de manera más coherente. La introducción del nuevo tokenizador Tekken, basado en Tiktoken, proporciona aproximadamente un 30% más de compresión eficiente del código fuente y de varios idiomas principales, con un efecto aún más notable para el coreano y el árabe.

El modelo a escala Mistral NeMo está disponible en HuggingFace para versiones básica y de entrenamiento. Se puede utilizar con las herramientas de inferencia mistral y ajuste fino de mistral. Para la implementación empresarial, Mistral NeMo está empaquetado como un microservicio de inferencia NIM de NVIDIA disponible a través de ai.nvidia.com. Diseñado para ejecutarse en una única GPU NVIDIA L40S, GeForce RTX 4090 o RTX 4500, brinda potentes capacidades de IA directamente a los escritorios empresariales, haciéndolo fácilmente accesible para una variedad de organizaciones.

El Mistral NeMo 12B ofrece un rendimiento impresionante en comparación con otros modelos de su tamaño. Según los puntos de referencia, supera tanto a Gemma 2 (9B) como a Llama 3 (8B) en términos de precisión y eficiencia. El modelo tiene un precio competitivo de 0,3 dólares por millón de tokens de entrada y salida, lo que lo sitúa en una posición ventajosa en comparación con modelos más grandes como GPT-4 (contexto de 32k) y Mixtral 8x22B, que son significativamente más caros. La ventana de contexto de 128K de Mistral NeMo y la tokenización avanzada con Tekken le dan una ventaja al manejar contenido de formato largo y tareas multilingües, superando al tokenizador de Llama 3 en compresión de texto para aproximadamente el 85% de todos los idiomas.

El modelo se puede aplicar a una amplia gama de tareas, incluidas soluciones de inteligencia artificial empresarial, chatbots y sistemas de inteligencia artificial conversacional. Sus capacidades multilingües son especialmente útiles para empresas y organizaciones globales con diversos requisitos lingüísticos. Además, la alta precisión de codificación del modelo lo posiciona como una herramienta valiosa para el desarrollo de software y la generación de código. La combinación de una gran ventana de contexto y capacidades de razonamiento avanzadas también hace que Mistral NeMo sea ideal para aplicaciones complejas de minería de texto, resúmenes e investigación en una variedad de industrias.