Исследования чтения

Как 7-миллиардная модель для программирования превзошла 14-миллиардных конкурентов

Исследователи из Microsoft и университета Цинхуа создали модель искусственного интеллекта, которая превосходит более крупные аналоги, обучаясь только на синтетических данных.

Как 7-миллиардная модель для программирования превзошла 14-миллиардных конкурентов

Команда исследователей представила впечатляющие результаты в области искусственного интеллекта для программирования. Их модель X-Coder с 7 миллиардами параметров превзошла конкурентов, имеющих вдвое больше параметров.

Ключом к успеху стал инновационный подход к обучению на синтетических данных. Исследователи обнаружили, что разнообразие задач важнее количества решений. При увеличении числа синтетических задач с 32 000 до 192 000 точность модели выросла с 43.7% до 62.7%.

Для создания качественных обучающих данных команда разработала систему SynthSmith. Она анализирует существующий код, извлекает важные элементы программирования и создает новые задачи с нуля. Система начала с 10 000 примеров кода и расширила базу до почти 177 000 алгоритмических элементов.

X-Coder достиг впечатляющих результатов на стандартных тестах LiveCodeBench. На версии v5 модель показала точность 62.9%, а на более новой v6 - 55.8%, превзойдя 14-миллиардные модели DeepCoder и AReal-boba2.

Важное преимущество синтетических данных - отсутствие проблемы запоминания тестовых задач. В то время как другие модели показывают резкое падение результатов на новых версиях тестов, X-Coder демонстрирует более стабильные показатели.

Исследователи открыли доступ к коду для подготовки обучающих данных на GitHub и планируют опубликовать веса модели. Этот проект демонстрирует растущий интерес к синтетическим данным в индустрии ИИ, где такой подход помогает решить проблему нехватки реальных данных для обучения.

Смотрите также

Каталог приложений Telegram Mini Apps

340+ проверенных мини-приложений: нейросети, утилиты, игры. Открываются прямо в мессенджере — без установки.

Открыть →

Поддержите Ailibri

Если наш каталог оказался полезным, вы можете оставить небольшой донат. Это поможет нам развивать проект.

♥ Поддержать

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

Подписаться
Бесплатно · Нейросеть

Генерация изображений прямо в Telegram

3 бесплатные генерации в день через нейросеть nano banana — просто подпишись на канал @n_seti

Быстро Точно Качественно
Попробовать @gen_neurosila_bot

Нейросети и ИИ-инструменты

Все теги →
github220 text-to-text140 text-to-image117 image-to-image32 каталог31 tool28 удалить фон19 курсы19 text-to-sound17 браузер17 создание чат-ботов15 desktop-приложение15 api14 text-to-video14 замена лица13 генератор голоса13 ии-музыка12 удалить объект с фото11 voice-to-text11 селфи10
AILibri – главная страница
Ctrl / ⌘+K