← AI Crawl Control / ai-crawl-control / features

Direktivy

Direktivy v AI Crawl Control poskytuje přehled o tom, jak AI prohledávače interagují s vaším robots.txt soubory napříč vašimi hostnames. Můžete sledovat vzory požadavků, ověřovat dostupnost souborů, identifikovat crawlery, které porušují vaše direktivy, a posoudit připravenost vašeho webu pro AI agenty.

Pro přístup k přehledům direktiv:

Přihlaste se do Cloudflare dashboard ↗, a vyberte svůj účet a doménu.
Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗
Přejděte na Direktivy kartě.

Zkontrolujte stav spravovaného souboru robots.txt

Stavová karta v horní části záložky zobrazuje, zda Cloudflare spravuje váš robots.txt .

Po zapnutí Cloudflare přidá direktivy blokující běžné AI prohledávače používané pro trénování a zahrne svůj Content Signals Policy ve vašem robots.txt. Další podrobnosti o tom, jak Cloudflare spravuje vaše robots.txt soubor, viz Spravovaný robots.txt.

Filtrujte data požadavků robots.txt

V horní části karty můžete použít filtry k zúžení analýzy požadavků na robots.txt:

Filtrujte podle konkrétního názvu prohledávače (například Googlebot nebo konkrétní AI roboti).
Filtrujte podle subjektu, který prohledávač provozuje, abyste zjistili možnosti přímého licencování nebo existující dohody.
Filtrujte podle obecných případů užití (například trénování AI, obecné vyhledávání nebo AI asistent).
Vyberte vlastní časové období pro historickou analýzu.

Hodnoty ve všech tabulkách a metrikách se aktualizují podle vašich filtrů.

Sledování dostupnosti robots.txt

Dostupnost souboru Robots.txt zobrazuje historickou četnost požadavků a stav robots.txt soubory napříč vašimi hostnames za vybrané časové období.

Sloupec	Popis
Cesta	Konkrétního hostitele `robots.txt` požadovaný soubor. Cesty jsou seřazeny od nejčastěji požadovaných po nejméně požadované.
Požadavky	Celkový počet požadavků odeslaných na tuto cestu. Požadavky se dělí na: - Úspěšné: Stavové kódy HTTP nižší než 400 (včetně 200 OK a přesměrování). - Neúspěšné: Stavové kódy HTTP 400 a vyšší.
Stav	Stavový kód HTTP z pingnutí `robots.txt` .
Content Signals	Indikátor, který ukazuje, zda `robots.txt` soubor obsahuje Content Signals ↗, direktivy pro použití při trénování AI, vyhledávání nebo jako vstup pro AI.

V této tabulce můžete provést následující akce:

Sledujte vysoký počet neúspěšných požadavků, který naznačuje, že roboti mají problém s přístupem k vašemu robots.txt soubor.
- Pokud Stav je 404 Not Found, vytvořte robots.txt soubor a poskytněte jasné direktivy.
- Pokud soubor existuje, zkontrolujte nadřazená pravidla WAF nebo jiná bezpečnostní nastavení, která mohou blokovat přístup.
Pokud Content Signals sloupec značí, že chybí signály, přidejte je do svého robots.txt soubor. Můžete to udělat podle Content Signals ↗ pokynů nebo povolením Spravovaný robots.txt aby je za vás spravoval Cloudflare.

Sledujte porušení souboru robots.txt

Porušení pravidel souboru Robots.txt identifikuje AI prohledávače, které požadovaly cesty výslovně zakázané ve vašem robots.txt soubor. To vám pomůže identifikovat crawlery, které nedodržují pravidla, a přijmout vhodná opatření.

Sloupec	Popis
Crawler	Název botu, který porušil váš `robots.txt` direktivy. Operátor crawleru je uveden přímo pod názvem crawleru.
Cesta	Konkrétní URL adresa nebo cesta, ke které se crawler pokusil přistoupit a kterou zakazuje váš `robots.txt` .
Direktiva	Přesný řádek z vašeho `robots.txt` soubor, který zakázal přístup k dané cestě.
Porušení	Počet požadavků HTTP odeslaných na nepovolenou dvojici cesta/direktiva ve zvoleném časovém rozmezí.

Jakmile zjistíte prohledávače porušující vaše robots.txt direktivy, máte několik možností:

Přejděte na Crawleři kartu a natrvalo zablokujte prohledávač, který pravidla nedodržuje.
Použijte Cloudflare WAF a vytvořte bezpečnostní pravidlo specifické pro danou cestu pro prohledávač, který pravidla porušuje.
Použijte Redirect Rules a nasměrujte prohledávače, kteří porušují pravidla, do odpovídající části vašeho webu.

Zkontrolujte Agent Readiness

Agent Readiness karta vám pomůže posoudit, jak dobře je váš web nakonfigurován pro AI agenty. Vyberte Zkontrolujte skóre připravenosti a zkontrolujte svůj web podle nově vznikajících standardů pro interakci s AI agenty, mimo jiné:

Konfigurace souboru Robots.txt: Zda váš web má platný robots.txt soubor s příslušnými direktivami
Markdown for Agents: Zda váš web podporuje vyjednávání obsahu pro doručování obsahu optimalizovaného pro AI
Content Signals Policy: Zda váš web signalizuje AI prohledávačům preference ohledně využití obsahu

Sken využívá isitagentready.com ↗. Výsledky obsahují doporučení, jak zlepšit kompatibilitu vašeho webu s AI agenty a prohledávači.