Heretic

Heretic — это инструмент, который снимает цензуру с языковых моделей без дорогостоящего дообучения. Работает полностью автоматически: ты просто запускаешь команду, указываешь модель, и всё остальное Heretic делает сам. Никаких танцев с бубном, никаких глубоких знаний о трансформерах — справится даже тот, кто просто умеет работать с командной строкой.

Под капотом — продвинутая реализация направленной абляции в связке с оптимизатором на базе Optuna. Heretic ищет оптимальные параметры, минимизируя количество отказов модели отвечать и одновременно сохраняя её исходные способности. Результат: модель без цензуры, которая остаётся умной и адекватной, не превращается в болтливого идиота.

Поддерживает большинство плотных моделей, включая мультимодальные, несколько архитектур MoE и даже гибридные модели вроде Qwen3.5. Работает с квантизацией через bitsandbytes, что позволяет запускать процесс даже на видеокартах с ограниченной памятью.

Heretic автоматически подбирает оптимальный размер батча под твоё железо. На RTX 3090 обработка Llama-3.1-8B-Instruct занимает около 45 минут. После завершения можно сразу сохранить модель, загрузить на Hugging Face, протестировать в чате или прогнать стандартные бенчмарки.

Сообщество уже создало более 3000 моделей с помощью Heretic, и отзывы говорят сами за себя: модели получаются качественными, без потери интеллекта, с нормальным форматированием и детальными ответами на чувствительные темы. Независимые тесты по метрикам MMLU и GSM8K показывают, что Heretic-модели конкурируют с результатами других инструментов абляции, а иногда и превосходят их.