NaiveAI

NaiveAI — лаборатория, в которой модели пишут код, проводят эксперименты и разбирают результаты, а люди задают направление и принимают ключевые решения. Открытая модель Naive-N0.5-Flash сделана для программирования и ИИ-исследований и поможет в открытых задачах и системной инженерии.

Naive-N0.5-Flash — MoE-модель на 309 млрд параметров с 15,5 млрд активных параметров и нативным контекстом в 1 млн токенов. Вся сеть локальная или разреженная: скользящее окно и облегчённое разреженное внимание, полносвязных слоёв внимания нет. Её дообучили под гибридное разреженное внимание, чтобы декодирование было эффективнее на контекстах порядка миллиона токенов и качество модели сохранялось.

Модель обучена для ИИ-R&D и может участвовать в разработке, в том числе на пути к рекурсивному самоулучшению. Инференс ведёт NaiveRT, рантайм под RL и эту модель: 50 токенов в секунду на пользователя в режиме Standard и до 2000 в Ultrafast. При одинаковом seed выборка детерминирована до бита: совпадают токены, логиты и KV-кэш.

Веса и код инференса бесплатны по лицензии MIT. Контрольная точка W8A8 и черновая модель DFlash лежат в репозитории NaiveRT на Hugging Face. API ещё предоставят: 0,10 доллара за миллион входных токенов, 0,40 за миллион выходных и 0,01 за миллион чтений кэша.

В задаче за пределами прежних областей модель собрала AutoWM, модель мира: исследователь задал цель, бюджет вычислений и протокол оценки. По публичному протоколу WorldArena-1 Track 1 вышло 77,43 балла против прежнего лучшего опубликованного результата 73,64, после 400 часов исследований и 15 крупных раундов.

Разреженное внимание сильно снижает вычисления и обращения к памяти, но индексатор всё ещё сканирует всю историю, а полный KV-кэш сохраняется. В синхронных RL-конвейерах с контекстом до 1 млн токенов медленный длинный rollout заставляет ждать весь батч, а батчинг не ускоряет отдельный поток.