LLMorpheus

LLMorpheus — это инструмент для мутационного тестирования npm-пакетов на JavaScript и TypeScript с помощью больших языковых моделей. В отличие от классических систем, которые работают по жестким шаблонам, LLMorpheus не полагается на фиксированный набор операторов мутации. Вместо этого он использует LLM для генерации вариантов изменений кода, которые затем проверяются на синтаксическую корректность и записываются в файл mutants.json.

Принцип работы простой: инструмент подает модели фрагмент исходного кода, в котором часть заменена на плейсхолдер, и просит предложить варианты замены. Модель возвращает предложения, LLMorpheus извлекает их, проверяет и передает в модифицированную версию StrykerJS — популярного инструмента для мутационного тестирования. На выходе получается интерактивная веб-страница с отчетом, где видно, какие мутанты были убиты тестами, какие выжили, а какие завершились по таймауту.

Для работы нужен доступ к LLM с OpenAI-совместимым API, настройка переменных окружения для эндпоинта и авторизации. LLMorpheus поддерживает запуск через командную строку, есть возможность воспроизведения результатов предыдущих запусков через режим replay, а также интеграция с GitHub Actions для автоматизации экспериментов. Репозиторий архивирован, но доступен для исследований и экспериментов, новая версия развивается в другом месте.