Как 7-миллиардная модель для программирования превзошла 14-миллиардных конкурентов

  ·   чтения   ·     ·  
Исследователи из Microsoft и университета Цинхуа создали модель искусственного интеллекта, которая превосходит более крупные аналоги, обучаясь только на синтетических данных.
Как 7-миллиардная модель для программирования превзошла 14-миллиардных конкурентов

Команда исследователей представила впечатляющие результаты в области искусственного интеллекта для программирования. Их модель X-Coder с 7 миллиардами параметров превзошла конкурентов, имеющих вдвое больше параметров.

Ключом к успеху стал инновационный подход к обучению на синтетических данных. Исследователи обнаружили, что разнообразие задач важнее количества решений. При увеличении числа синтетических задач с 32 000 до 192 000 точность модели выросла с 43.7% до 62.7%.

Для создания качественных обучающих данных команда разработала систему SynthSmith. Она анализирует существующий код, извлекает важные элементы программирования и создает новые задачи с нуля. Система начала с 10 000 примеров кода и расширила базу до почти 177 000 алгоритмических элементов.

X-Coder достиг впечатляющих результатов на стандартных тестах LiveCodeBench. На версии v5 модель показала точность 62.9%, а на более новой v6 - 55.8%, превзойдя 14-миллиардные модели DeepCoder и AReal-boba2.

Важное преимущество синтетических данных - отсутствие проблемы запоминания тестовых задач. В то время как другие модели показывают резкое падение результатов на новых версиях тестов, X-Coder демонстрирует более стабильные показатели.

Исследователи открыли доступ к коду для подготовки обучающих данных на GitHub и планируют опубликовать веса модели. Этот проект демонстрирует растущий интерес к синтетическим данным в индустрии ИИ, где такой подход помогает решить проблему нехватки реальных данных для обучения.

Смотрите также

Логотип Telegram

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал!

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

AILibri – главная страница
Ctrl / ⌘+K