Talkie

Talkie — это языковая модель на 13 миллиардов параметров, которая знает только то, что было известно до 1931 года. Никакого интернета, никаких современных технологий — только книги, газеты, научные журналы и патенты из прошлого. Это не просто эксперимент ради интереса, а попытка понять, как работают нейросети, если убрать из них весь современный контекст.

Модель обучили на 260 миллиардах токенов исторических текстов на английском языке. Авторы проекта собрали данные из архивов, оцифрованных книг, газет, научных статей и судебных документов — всё, что попадает в публичный доступ по американскому законодательству. Выбор 1930 года как границы не случаен: это момент, когда произведения становятся общественным достоянием.

Зачем это нужно? Во-первых, можно проверить, насколько хорошо модель предсказывает будущее. Исследователи взяли описания исторических событий из New York Times и измерили, насколько они удивительны для модели. Оказалось, что после 1931 года удивление растёт, особенно резко в 1950–1960-х, а потом выходит на плато. Во-вторых, можно проверить, способна ли модель изобретать то, что было придумано позже: вертолёт, машину Тьюринга, ксерографию. Или, например, смогла бы модель, обученная до 1911 года, открыть теорию относительности, как это сделал Эйнштейн в 1915-м?

Ещё одна интересная штука — модель можно учить программировать на Python, языке, которого в 1930-м не существовало. Talkie справляется с простыми задачами, если дать ей несколько примеров для обучения в контексте. Пока это только однострочные программы или небольшие модификации примеров, но даже такие результаты показывают, что модель способна обобщать знания за пределами своих данных.

Винтажные языковые модели помогают решить проблему контаминации — когда модель уже видела тестовые данные в обучающей выборке. Здесь такого быть не может: всё, что появилось после 1931 года, для модели в новинку. Это делает её идеальным инструментом для экспериментов с обобщением и пониманием языка.

Talkie — самая крупная винтажная модель на данный момент, и авторы планируют масштабировать её дальше. Следующий шаг — модель уровня GPT-3, релиз которой запланирован на лето. По предварительным оценкам, корпус можно расширить до триллиона токенов исторического текста, чего хватит для создания модели уровня GPT-3.5 — примерно как первый ChatGPT.

Для оценки возможностей Talkie создали современного близнеца — модель с той же архитектурой, но обученную на современных веб-данных. Винтажная модель уступает в знаниях, даже если убрать вопросы, которые в 1930-м были бы анахронизмом. Но на задачах понимания языка и работы с числами результаты сопоставимы. Авторы считают, что дело в качестве распознавания текста и распределении тем в корпусе, и работают над улучшением OCR для исторических документов.

Проект опирается на работу Internet Archive, Institutional Data Initiative и других организаций, которые оцифровывают историю. Пока модель работает только с английским языком, но расширение на другие языки — в планах. Это увеличит не только объём данных, но и разнообразие точек зрения.