Cloudflare научился конвертировать сайты в Markdown для ИИ-агентов - экономия токенов до 80%

  ·   чтения   ·     ·  
Cloudflare запустил функцию автоматической конвертации веб-страниц в Markdown для ИИ-агентов, сокращая расход токенов на 80%. Разбираемся, зачем это нужно.
Cloudflare научился конвертировать сайты в Markdown для ИИ-агентов - экономия токенов до 80%

Cloudflare, компания, известная своими решениями в области безопасности и доставки контента, запустила функцию "Markdown for Agents". Суть простая: когда ИИ-агент запрашивает веб-страницу, он автоматически получает её в формате Markdown вместо HTML. Результат - расход токенов сокращается до 80%.

Казалось бы, большие языковые модели прекрасно читают HTML. В чём проблема? Дело в том, что с точки зрения модели HTML - это дорогой шум. Типичная веб-страница напичкана div-ами, скриптами и прочей разметкой, которая превращается в токены. А модели вся эта обёртка вокруг текста абсолютно не нужна - она просто сжигает лишние токены.

Насколько всё плохо? Сам пост Cloudflare об этой новости в HTML весит 16 180 токенов. В Markdown - всего 3 150. Экономия в 80% - это реальное снижение затрат на инференс.

Как это работает

Cloudflare конвертирует HTML в Markdown в реальном времени на своих edge-серверах для любого сайта, где включена эта функция. Когда клиент отправляет заголовок Accept: text/markdown, Cloudflare забирает оригинальный HTML, конвертирует его в Markdown и отдаёт преобразованный контент вместо полной разметки страницы.

Популярные агенты вроде Claude Code и OpenCode уже отправляют такие заголовки, так что многие существующие ИИ-инструменты могут использовать эту фичу прямо сейчас.

Чтобы сделать контент более дружелюбным для машин, Cloudflare добавляет заголовок x-markdown-tokens с количеством токенов. Это позволяет агентам понять, влезет ли документ в контекстное окно или его нужно разбивать на части.

Снимок экрана с HTTP-ответом и частью статьи "Markdown for Agents".

Всё работает через стандартное HTTP-согласование контента с помощью заголовка Accept. ИИ-агент запрашивает Markdown, отправляя Accept: text/markdown, а обычные браузеры продолжают получать нормальный HTML. Никаких изменений в шаблонах сайта или CMS не требуется.

Клиенты Cloudflare на тарифах Pro и Business могут включить функцию одним переключателем в разделе AI Crawl Control панели управления.

Cloudflare позиционирует Markdown как универсальный язык для ИИ-агентов. И они не единственные, кто заметил преимущества этого подхода. Например, есть WordPress-плагин Markdown Alternate от Йоста де Валька, который работает похожим образом. Также существуют прямые конкуренты вроде Fasterize EdgeSEO и Firecrawl.

Для команд, создающих ИИ-решения, которые потребляют веб-контент, какая-то форма конвертации HTML в Markdown быстро становится необходимостью. Подход Cloudflare на edge-уровне снижает порог входа: владелец сайта просто щёлкает переключателем, и каждая страница становится готовой для агентов.

Смотрите также

Логотип Telegram

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал!

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

AILibri – главная страница
Ctrl / ⌘+K