← AI Crawl Control / ai-crawl-control / configuration

AI Crawl Control s Cloudflare Bots

AI Crawl Control funguje společně s dalšími produkty Cloudflare, jako je Cloudflare řešení pro ochranu před boty. Řešení Cloudflare pro roboty rozpoznává provoz odpovídající vzorcům známých robotů a podle uvážení je může prověřit nebo zablokovat.

Pořadí priority

Blokování AI prohledávačů v AI Crawl Control využívá WAF custom rules, které probíhají před řešeními Cloudflare pro roboty.
Pay per crawl v AI Crawl Control se uplatňuje až po řešeních Cloudflare pro roboty.

graph LR
A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white

Další informace o tom, jak Cloudflare klasifikuje provoz robotů, najdete v AI boti.

Příklady

Podívejte se na následující příklady.

Pravidlo pro boty, které blokuje všechny AI boty, oproti pay per crawl

Můžete mít zapnuté obě následující možnosti:

Výběr AI prohledávačů, kterým se účtuje poplatek prostřednictvím funkce pay per crawl v AI Crawl Control
Možnost konfigurace botů pro Block AI Bots.

Protože pay per crawl probíhá až po ochraně proti botům, musíte nejprve vypnout Block AI Bots aby pay per crawl fungoval podle očekávání.