← AI Crawl Control / ai-crawl-control / configuration

AI Crawl Control s Cloudflare WAF

AI Crawl Control funguje společně s dalšími produkty Cloudflare, jako je Cloudflare Web Application Firewall (WAF). WAF kontroluje příchozí webové a API požadavky a na základě pravidel filtruje nežádoucí provoz. WAF custom rules vám umožňují provádět určité akce, jako je vynucování robots.txt.

• AI Crawl Control používá vlastní pravidla WAF k zablokování výběru AI prohledávačů, které se vlastník webu rozhodl zablokovat.
• Funkce pay per crawl v AI Crawl Control se uplatňuje až po WAF.

graph LR
A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white

Pokud proto plánujete spravovat AI prohledávače pomocí AI Crawl Control, doporučujeme upravit stávající vlastní pravidla WAF tak, aby AI prohledávače neovlivňovala. Díky tomu budete moci AI prohledávače spravovat pouze z AI Crawl Control a zjednodušíte si tak celý postup.

Podívejte se na následující příklady.

Můžete mít zapnuté obě následující funkce:

• Vlastní pravidlo WAF pro blokování provozu z konkrétních zemí
• AI Crawl Control pay per crawl za účelem zpoplatnění AI prohledávačů, když požádají o přístup k vašemu obsahu

Protože se vlastní pravidla WAF vynucují před funkcí pay per crawl, provoz (včetně AI crawlerů) z vámi blokovaných zemí bude i nadále blokován, i když poskytne povinné hlavičky pro pay per crawl.

Můžete mít zapnuté obě následující funkce:

• Vlastní pravidlo WAF pro povolení robotů vyhledávačů
• AI Crawl Control pay per crawl za účelem zpoplatnění všech AI prohledávačů, když požádají o přístup k vašemu obsahu (včetně botů vyhledávačů).

Protože se vlastní pravidla vynucují před funkcí pay per crawl:

• K vašemu webu budou mít přístup pouze roboti vyhledávačů (vynuceno vlastním pravidlem).
• Botům vyhledávačů pak bude účtován přístup k vašemu obsahu (vynucuje to funkce pay per crawl v rámci AI Crawl Control).

Pokud jste u některých AI robotů nastavili Allow v AI Crawl Control, ale přesto jsou stále blokováni, zkontrolujte, zda je neblokují nadřazená vlastní pravidla WAF. Protože pravidlo AI Crawl Control zahrnuje pouze blokované roboty, mohou povolené roboty i tak ovlivnit jiná bezpečnostní pravidla, která se provedou před pravidlem AI Crawl Control.

Tato nadřazená pravidla ovlivní provoz, ale v analytice AI Crawl Control nemusí být vidět. Zkontrolujte svá vlastní pravidla WAF a identifikujte a upravte veškerá pravidla, která by mohla blokovat AI crawlery, jež chcete povolit.

Pokud jste u některých AI robotů nastavili Block v AI Crawl Control, ale přesto stále přistupují k vašemu obsahu, zkontrolujte, zda neexistují nadřazená pravidla, která by mohla pravidlo AI Crawl Control obcházet. Protože se pravidlo AI Crawl Control přidává na konec stávajících vlastních pravidel WAF, mohou blokování obejít následující typy pravidel:

• Přeskočit pravidla které obcházejí vlastní pravidla WAF
• Pravidla přesměrování které mění cestu požadavku
• Transform rules které upravují požadavek

Aby byli blokovaní boti skutečně zablokováni, přesuňte pravidlo AI Crawl Control na začátek vašich vlastních pravidel WAF, aby se spustilo dříve než ostatní pravidla.

Můžete mít zapnuté obě následující funkce:

• Vlastní pravidlo WAF, které blokuje všechny roboty.
• Výběr AI Crawl Control, který povoluje určité AI prohledávače.

V tomto scénáři máte dvě vlastní pravidla, z nichž každé řídí jinou logiku zpracování AI robotů. Problém vyřešíte takto:

Ve většině případů se doporučuje spravovat prohledávače přímo v AI Crawl Control. Podkladové pravidlo WAF ale umožňuje další přizpůsobení pro scénáře, které dashboard nepokrývá.

Pravidlo AI Crawl Control se nazývá AI Crawl Control a lze je najít v Security > Bezpečnostní pravidla. Filtrujte podle Custom rules a najděte ho.

Mezi časté doplňky patří:

• Výjimky podle cesty, například povolení přístupu zablokovanému robotovi k určitým částem webu přidáním AND klauzule, která vylučuje určité cesty
• Další user agenti nebo ID detekce prohledávačů, které nejsou uvedeny v AI Crawl Control
• Další výrazové klauzule, které omezí blokování na konkrétní hostitele nebo jiné vlastnosti požadavku

Veškerá vaše doplnění zůstanou zachována, i když později aktualizujete akce crawlerů v AI Crawl Control. Pokud byl výraz upraven způsobem, který AI Crawl Control nedokáže zpracovat, zobrazí se na Crawleři stránce vyberte Zobrazit pravidlo ve WAF v banneru pro kontrolu nebo opravu pravidla.