← AI Crawl Control / ai-crawl-control / configuration
AI Crawl Control и Cloudflare Bots
AI Crawl Control работает вместе с другими продуктами Cloudflare, такими как Cloudflare решения для защиты от ботов. Решения для защиты от ботов выявляют трафик, соответствующий шаблонам известных ботов, и могут по вашему усмотрению предлагать им проверку или блокировать их.
Порядок приоритета
- Блокировка AI-краулеров в AI Crawl Control использует Пользовательские правила WAF, которые выполняются до применения решений Cloudflare для защиты от ботов.
- Pay per crawl в AI Crawl Control выполняется после решений Cloudflare для защиты от ботов.
graph LR
A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white
Подробнее о том, как Cloudflare классифицирует трафик ботов, см. в ИИ-боты.
Примеры
Рассмотрите следующие примеры.
Правило для ботов, блокирующее всех ИИ-ботов, в сравнении с pay per crawl
Возможно, у вас включены оба следующих варианта:
- Набор AI-краулеров, с которых взимается плата через pay per crawl в AI Crawl Control
- Параметр настройки бота для Block AI Bots.
Поскольку Pay Per Crawl выполняется после решений для ботов, сначала нужно отключить Block AI Bots чтобы убедиться, что Pay Per Crawl работает так, как задумано.