Julia 1 — компактная модель Supersonic Labs для выбора одного ответа из вариантов, которые подаются вместе с вопросом. Это первый публичный результат исследования компактных моделей принятия решений. Она для тех, кому нужен локальный или программный выбор среди заданных вариантов.
Через один интерфейс модель закроет классификацию, маршрутизацию, упорядоченные шкалы и вопросы «да/нет». На вход пойдут контекст, вопрос и от 2 до 20 вариантов, модель выберет один ответ и вернёт оценки в том порядке, в каком варианты были поданы. В оцененной конфигурации вход принимает до 1024 токенов суммарно: контекст, вопрос и варианты вместе. Если список длиннее обычного набора, кандидатов можно заранее сузить группами Router, но сужение может отбросить верный ответ.
В чекпойнте 144,3 миллиона параметров, веса занимают 550,5 MiB. Модель выполняется на CPU, рантайм рассчитан на Python 3.11 и новее. В основе многоязычный энкодер и токенизатор mmBERT-small, поверх них добавлены компоненты принятия решения и обучение выбору среди ответов. Julia 1 не является дообученной моделью Qwen. Локальный запуск использует публичный токенизатор mmBERT-small и Python, а отдельный прогон на Android шёл через ONNX Runtime и нативную Rust-токенизацию.
Репозиторий на Hugging Face содержит веса, интерфейс Python, метрики, сведения о происхождении чекпойнта и инструкции по загрузке и запуску. Артефакты модели лицензированы Apache 2.0, поэтому код и связанные материалы доступны бесплатно на условиях этой лицензии. Собственный API пока в разработке, доступ планируют вскоре открыть всем, кто захочет интегрировать модель. Заявленная цена относится к будущему запуску: 0,025 доллара США за миллион входных токенов и 0,00 доллара за миллион выходных токенов. Действующим тарифом, месячной или годовой подпиской эта цена не является.
Опубликованные результаты меряют выбор среди ответов, приложенных к вопросу. Задачи, где нужны внешние знания, многошаговые рассуждения или вычисления, потребуют других тестов, а новую область стоит оценивать на её реальных вопросах и вариантах. Решения с существенными последствиями нужно проверять человеку. Длинные списки похожих категорий — конкретная область для улучшения. В банковском пилоте Banking77 с 72 категориями и предварительным сужением списка верно решены 64 из 100 примеров при справочном значении Jev 87%. В CPU-прогоне того же пилота верно решены 60 из 100, точность 60% и покрытие 97%: модель воздержалась три раза, и воздержания входят в эти 100 случаев.
Есть измерения на Apple M4, Intel Core i5-1235U и планшете Samsung SM-X510. Нагрузки на устройствах различаются. Перед интеграцией задержку и память нужно измерить на планируемых входных данных и оборудовании.
Блог