Crawl4AI — это open-source инструмент для веб-краулинга и скрапинга, который превращает страницы в чистый Markdown, готовый для подачи в языковые модели, RAG-пайплайны и AI-агентов. Проект живёт на GitHub, бесплатен, не требует никаких ключей и аккаунтов — и именно за это он уже получил 74,6 тысячи звёзд на GitHub, что делает его самым популярным краулером на платформе.
Идея простая: веб — это хаос, а LLM нужна структура. Crawl4AI берёт страницу и отдаёт аккуратный Markdown с заголовками, таблицами, кодом и пронумерованными ссылками-цитатами. Можно включить фильтрацию шума — алгоритм BM25 отфильтрует шум и оставит только суть. Есть и более тонкий режим: семантический поиск по косинусному сходству, чтобы вытащить именно те куски, которые отвечают на конкретный запрос.
Для извлечения структурированных данных доступно несколько подходов. CSS-селекторы и XPath — быстро и без лишних зависимостей. Кастомные JSON-схемы — для повторяющихся паттернов вроде карточек товаров или вакансий. Для семантического извлечения можно подключить любую языковую модель — open-source или проприетарную.
Браузерная часть тоже продумана. Crawl4AI управляет пулом асинхронных браузеров, поддерживает сессии, куки, прокси, пользовательские скрипты и хуки. Можно подключить собственный браузер или управлять удалённым через CDP — это снижает вероятность блокировки и позволяет работать с авторизованными страницами. Для долгих обходов поддерживается глубокий краулинг с BFS-стратегией, восстановление после сбоев (crash recovery) и prefetch-режим, ускоряющий обнаружение URL в 5–10 раз.
Запустить можно тремя способами: Python-библиотека (pip install crawl4ai), CLI-утилита crwl или Docker. Никаких внешних сервисов, никакой регистрации. Скоро откроется облачный API — пока закрытая бета, но уже можно оставить заявку на ранний доступ.
Спонсорская программа открыта — четыре тира: Believer ($5/мес.), Builder ($50/мес., приоритетная поддержка и ранний доступ к фичам), Growing Team ($500/мес., двухнедельные синки и помощь с оптимизацией) и Data Infrastructure Partner ($2000/мес., полное партнёрство с выделенным сопровождением). Проект независимый, и авторы явно хотят его таким и оставить.
Блог