← AI Crawl Control / ai-crawl-control / features
AI Crawl Control позволяет вам применять определённое действие к каждому AI-краулеру.
Чтобы управлять AI-краулерами:
Войдите в Панель управления Cloudflare ↗, и выберите свой аккаунт и домен.
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗Перейдите в Безопасность на вкладке.
Краулеры вкладка отображает таблицу AI-краулеров, запрашивающих доступ к вашему контенту, и показывает, как они взаимодействуют с вашими страницами. Таблица содержит следующую информацию.
| Столбец | Подробности |
|---|---|
| Краулер | Название AI-краулера и оператора, которому он принадлежит. |
| Категория | Категория AI-краулера. См. Категории подтверждённых ботов. |
| Запросы | Общее количество разрешённых и неуспешных запросов с графиком тренда. Неуспешные запросы могут быть вызваны любым правилом или ошибкой ответа, а не только действием блокировки в AI Crawl Control. |
| Нарушения robots.txt | Количество случаев, когда AI-краулер нарушил ваши robots.txt файл. |
| Действие | Действие, которое нужно применить к AI-краулеру. См. Примите меры для каждого AI-краулера. |
Вы можете использовать фильтры, чтобы сузить область результатов:
Значения таблицы будут обновляться в соответствии с вашим фильтром.
Для каждого ИИ-краулера вы можете выбрать, разрешить доступ или заблокировать его.
Обратите внимание, что вы всё равно можете выбрать Обеспечьте соблюдение robots.txt.
Обратите внимание, что вы можете настроить ответ, возвращаемый при блокировке AI-краулера. См. Настройка ответа при блокировке.
Для каждого ИИ-краулера доступны три варианта действий: разрешить, взимать плату или заблокировать.
robots.txt.Подробнее о том, как Cloudflare классифицирует трафик ИИ-ботов, см. в ИИ-боты.
Обратите внимание, что вы можете настроить ответ, возвращаемый при блокировке AI-краулера. См. Настройка ответа при блокировке.
Подробнее см. в Что такое Pay Per Crawl?.
Когда вы блокируете краулера в AI Crawl Control, система создаёт или обновляет пользовательское правило WAF в вашей зоне, чтобы обеспечить эту блокировку. Для более сложных сценариев, например добавления исключений на основе путей или дополнительных user agent, вы можете расширить это правило прямо в WAF.
Подробнее см. в AI Crawl Control и Cloudflare WAF.
При блокировке ИИ-краулера вы можете настроить детали ответа, который ему возвращается. В частности, можно настроить:
Это даёт вам возможность наладить диалог с владельцем AI-краулера и сообщить ему, как правильно лицензировать содержимое, что создаёт прямой путь от попытки сканирования к коммерческому соглашению.
Чтобы изменить эти значения:
Войдите в Панель управления Cloudflare ↗, и выберите свой аккаунт и домен.
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗Перейдите в Настройки на вкладке.
В разделе Ответ с блокировкой, выберите Изменить.
После изменения значений выберите Save.
Вы можете выбрать, какой код ответа HTTP возвращать при блокировке ИИ-краулера.
Используйте раскрывающееся меню, чтобы выбрать нужный код ответа. Доступны следующие варианты:
403 Forbidden: Используйте этот вариант, если хотите указать, что не разрешаете AI-краулеру доступ к вашему контенту.402 Payment Required: Используйте этот вариант, если хотите указать, что AI-краулер должен платить за доступ к вашему контенту.Вы можете написать собственное сообщение (тело ответа HTTP), которое будет возвращаться при блокировке ИИ-краулера.
В Тело ответа текстовом поле введите ответ, который должен отображаться для AI-краулера в виде обычного текста.