Step 3.5 Flash: новая языковая модель с высокой производительностью

  ·   чтения   ·     ·  
Обзор новой языковой модели Step 3.5 Flash, отличающейся высокой скоростью работы и возможностью локального запуска
Step 3.5 Flash: новая языковая модель с высокой производительностью

Команда Step представила новую языковую модель Step 3.5 Flash, которая доступна для использования прямо сейчас. Модель создана специально для разработчиков и организаций, которым важна высокая скорость работы и эффективное использование ресурсов при сохранении конфиденциальности данных.

Модель можно протестировать как на облачной инфраструктуре NVIDIA, так и локально на совместимом оборудовании. Поддерживаются устройства Apple M4 Max, рабочие станции NVIDIA DGX Spark и AMD AI Max+ 395.

В основе архитектуры лежит технология Sparse Mixture-of-Experts, которая активирует только 11 миллиардов параметров из общих 196 миллиардов при обработке каждого токена. Это значительно снижает требования к вычислительным ресурсам и памяти по сравнению с предыдущими моделями.

Step 3.5 Flash использует гибридную схему внимания и может параллельно проверять несколько выходных токенов. На графических процессорах NVIDIA Hopper модель способна обрабатывать до 350 токенов в секунду.

Благодаря квантованным весам в формате INT4 GGUF и поддержке INT8 KVCache, модель может работать локально с контекстным окном до 256 тысяч токенов. Это соответствует возможностям облачных моделей при обработке длинных текстов.

Компания также представила новую систему обучения с подкреплением MIS-PO, которая решает проблемы несоответствия между обучением и выводом, а также устраняет отклонения в политике обучения. Система обеспечивает стабильное обучение для задач, требующих сложных рассуждений.

Первые технические отзывы экспертов подчеркивают высокую пропускную способность модели и эффективность локального развертывания. Специалисты отмечают, что Step 3.5 Flash может помочь перенести обработку конфиденциальных данных с облачных сервисов на локальные устройства.

Смотрите также

Логотип Telegram

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал!

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

AILibri – главная страница
Ctrl / ⌘+K