← AI Crawl Control / ai-crawl-control / features

Директивы

Директивы вкладка в AI Crawl Control предоставляет данные о том, как AI-краулеры взаимодействуют с вашим robots.txt файлов по всем вашим хостам. Вы можете отслеживать шаблоны запросов, проверять доступность файлов, выявлять краулеров, нарушающих ваши директивы, и оценивать готовность сайта к работе с AI-агентами.

Чтобы просмотреть данные о директивах:

Войдите в Панель управления Cloudflare ↗, и выберите свой аккаунт и домен.
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗
Перейдите в Директивы на вкладке.

Проверка статуса управляемого robots.txt

Карточка состояния в верхней части вкладки показывает, управляет ли Cloudflare вашим robots.txt файл.

При включении Cloudflare добавляет директивы, блокирующие распространённых ИИ-краулеров, используемых для обучения, и включает свой Content Signals Policy в вашем robots.txt. Подробнее о том, как Cloudflare управляет вашими robots.txt файл, см. Managed robots.txt.

Фильтрация данных запросов robots.txt

Вы можете применить фильтры в верхней части вкладки, чтобы сузить анализ запросов robots.txt:

Фильтрация по названию конкретного краулера (например, Googlebot или отдельных ИИ-ботов).
Фильтрация по организации, управляющей краулером, чтобы оценить возможности прямого лицензирования или существующие соглашения.
Фильтрация по общим сценариям использования (например, обучение ИИ, обычный поиск или ИИ-ассистент).
Выберите произвольный временной диапазон для анализа исторических данных.

Значения во всех таблицах и метриках будут обновляться в соответствии с вашими фильтрами.

Отслеживайте доступность robots.txt

Доступность robots.txt таблица показывает историческую частоту запросов и статус работоспособности robots.txt файлов по всем вашим хостам за выбранный период времени.

Столбец	Описание
Путь	Конкретного хоста `robots.txt` запрашиваемый файл. Пути перечислены от наиболее запрашиваемых к наименее запрашиваемым.
Запросы	Общее количество запросов к этому пути. Запросы разбиты по следующим категориям: - Успешно: Коды состояния HTTP ниже 400 (включая 200 OK и редиректы). - Неуспешно: Коды состояния HTTP 400 и выше.
Статус	Код состояния HTTP, полученный при обращении к `robots.txt` файл.
Content Signals	Индикатор, показывающий, включена ли `robots.txt` файл содержит Content Signals ↗, директивы использования для обучения AI, поиска или ввода данных в AI.

В этой таблице доступны следующие действия:

Обратите внимание на большое количество неуспешных запросов: это может означать, что краулеры испытывают проблемы с доступом к вашему robots.txt файл.
- Если Статус это 404 Not Found, создайте robots.txt файл, чтобы задать чёткие директивы.
- Если файл существует, проверьте правила WAF или другие настройки безопасности выше по цепочке, которые могут блокировать доступ.
Если Content Signals столбец указывает, что сигналы отсутствуют, добавьте их в свой robots.txt файл. Это можно сделать, следуя Content Signals ↗ инструкций или путём включения Managed robots.txt чтобы Cloudflare управлял ими за вас.

Отслеживание нарушений robots.txt

Нарушения robots.txt таблица показывает AI-краулеров, которые запрашивали пути, явно запрещённые вашим robots.txt файл. Это помогает выявлять краулеров, не соблюдающих директивы, и принимать соответствующие меры.

Как рассчитываются нарушения

Таблица нарушений показывает несоответствия между вашими текущий robots.txt директив и прошлых запросов краулеров. Поскольку нарушения не регистрируются в режиме реального времени, недавно добавленные или изменённые правила могут привести к тому, что ранее легитимные запросы будут помечены как нарушения.

Например, если вы добавите новый Disallow правило, все прошлые запросы к этому пути будут отображаться как нарушения, даже если на момент запроса они таковыми не являлись.

Столбец	Описание
Краулер	Название бота, нарушившего ваши `robots.txt` директив. Оператор краулера указан сразу под названием краулера.
Путь	Конкретный URL или путь, к которому краулер пытался получить доступ и который был запрещён вашим `robots.txt` файл.
Директива	Точная строка из вашего `robots.txt` файл, который запрещал доступ к этому пути.
Нарушения	Количество HTTP-запросов к запрещённой паре «путь/директива» за выбранный период времени.

Когда вы обнаруживаете краулеров, которые нарушают ваш robots.txt директив у вас есть несколько вариантов:

Перейдите в Краулеры вкладка чтобы навсегда блокировать несоответствующий краулер.
Используйте Cloudflare WAF чтобы создать привязанные к конкретному пути правила безопасности для нарушившего краулера.
Используйте Redirect Rules чтобы направить нарушивших краулеров в соответствующий раздел вашего сайта.

Проверка Agent Readiness

Agent Readiness карточка помогает оценить, насколько хорошо ваш сайт настроен для AI-агентов. Выберите Проверка показателя готовности чтобы просканировать ваш сайт на соответствие новым стандартам взаимодействия с AI-агентами, включая:

Настройка robots.txt: Указывает, есть ли на вашем сайте действующий robots.txt файл с соответствующими директивами
Markdown for Agents: Указывает, поддерживает ли ваш сайт согласование содержимого для доставки контента, оптимизированного под AI
Content Signals Policy: Указывает, сообщает ли ваш сайт AI-краулерам свои предпочтения по использованию контента

Сканирование выполняется с помощью isitagentready.com ↗. Результаты включают рекомендации по повышению совместимости вашего сайта с AI-агентами и AI-краулерами.