MemT-1.0

MemT-1.0 — семейство базовых моделей с постоянной памятью: она сохраняет историю взаимодействий и использует её при инференсе, не обращаясь к исходному контексту. Проект рассчитан на пользователей и разработчиков, которым нужно, чтобы модель учитывала прошлые взаимодействия, а также на сценарии агентного программирования с повторным использованием опыта.

• Сохраняет историю во внутренней памяти постоянного размера.
• При истории длиной 128K памяти требуется примерно в 66 раз меньше, чем полному KV-кэшу контекста.
• Объединяет динамическую локальную память и обучаемую гиперпамять.
• Предусматривает масштабирование ёмкости памяти с помощью Mixture-of-Storage.
• Позволяет сохранять состояние в снимок и использовать его при восстановлении сессии.
• Поддерживает сценарий повторного использования процедурного опыта в долгосрочных задачах программирования.

Для работы предусмотрена клиентская Python-сессия. Если включить enable_memory=True, ходы сохраняются в латентную локальную память, а их текстовый контекст очищается; чтение памяти включено по умолчанию. При отключённой записи ходы остаются в текстовой расшифровке, а чтение можно выключить отдельно.

В проект входят подготовка базовой модели, двухэтапное обучение на 34 млрд токенов и оценка памяти и общих возможностей. В оценке по 11 бенчмаркам MemT-1.0-Flash и MemT-1.0-Nano заняли первое и второе места среди проверенных методов параметрической памяти; это результаты конкретных тестов, а не гарантия для отдельной задачи.

Для серверного запуска нужны Linux, NVIDIA CUDA, Python 3.11 или новее, совместимые локальные веса BF16, конфигурация и файлы токенизатора; пример запуска Nano использует два GPU. Быстрый запуск через SGLang описан для Nano, а Flash настраивается отдельно по руководству по инференсу. Лицензия PolyForm Noncommercial License 1.0.0 запрещает коммерческое использование программного обеспечения репозитория; лицензии весов, наборов данных, бенчмарков и других материалов определяются отдельно. По вопросам коммерческого лицензирования ПО репозитория предлагают обращаться к авторам.