← AI Crawl Control / ai-crawl-control / features

Analyzujte AI provoz

Metriky AI Crawl Control vám poskytují přehled o tom, jak AI prohledávače komunikují s vaším webem (Cloudflare zóna).

Chcete-li zobrazit metriky AI Crawl Control:

Přihlaste se do Cloudflare dashboard ↗, a vyberte svůj účet a doménu.
Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗

Užitečné informace najdete napříč Přehled, Crawleři, a Metriky kartách.

Zobrazte kartu Overview

Přehled poskytuje přehled aktivity AI prohledávačů:

Komponenta	Co můžete udělat
Souhrn	Přehled celkového objemu požadavků, změny objemu, nejčastějšího stavového kódu, nejpopulárnější cesty a aktivity crawlerů s vysokým objemem.
Stav spravovaného souboru robots.txt	Zkontrolujte, zda Robots.txt spravovaný Cloudflare je pro vaši zónu povoleno.
Metriky s grafy trendů	Sledujte celkový počet požadavků, povolených požadavků, neúspěšných požadavků a celkový počet doporučení (pouze u placených plánů).
Crawleři seskupení podle provozovatelů	Prozkoumejte prohledávače uspořádané podle společností (OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta), včetně povolených požadavků, návštěvnosti z odkazů (jen u placených plánů) a procentuálních změn aktivity. Výběrem prohledávače nebo operátora zobrazíte podrobnosti v Crawleři kartě.
Filtry	Přizpůsobte si zobrazení podle časového rozsahu, crawlera, provozovatele, hostname nebo cesty. Všechny metriky se aktualizují dynamicky.

Zobrazte kartu Crawlers

Crawleři poskytuje podrobné informace o jednotlivých AI prohledávačích a umožňuje nastavit Block nebo Allow ovládací prvky:

Sloupec	Popis
Crawler	Název AI crawleru.
Operátor	Společnost, která crawler provozuje.
Přenos dat	Celková šířka pásma spotřebovaná požadavky tohoto crawleru. Formátováno jako KB, MB nebo GB.
Požadavky	Celkový počet požadavků od tohoto crawleru.
Akce	Aktuální nastavení řízení přístupu (Allow nebo Block).

Další informace o správě přístupu prohledávačů najdete v Správa AI robotů.

Zobrazte kartu Metrics

Metriky poskytuje podrobné analýzy a grafy, díky kterým pochopíte, jak AI prohledávače interagují s vaším webem.

Požadavky v čase

Vizualizujte vzorce aktivity prohledávačů za zvolené období. Pomocí přepínače zobrazení můžete přecházet mezi metrikami:

Zobrazit	Popis
Všechny požadavky	Celkový počet požadavků včetně blokovaných a chybových odpovědí.
Povolené požadavky	Požadavky, které obdržely úspěšnou odpověď (stav 200-299).
Přenos dat	Spotřeba šířky pásma u povolených požadavků v čase, formátovaná v jednotkách KB, MB nebo GB.

Data můžete seskupit podle různých dimenzí:

Dimenze	Popis
Crawler	Sledujte aktivitu jednotlivých AI crawlerů (například GPTBot, ClaudeBot, Bytespider).
Kategorie	Analyzujte crawlery podle jejich účelu nebo typu.
Operátor	Zjistěte, které společnosti (například OpenAI, Anthropic, ByteDance) procházejí váš web.
Host	Rozdělte aktivitu podle jednotlivých subdomén.

Rozložení stavových kódů

Rozložení stavových kódů graf zobrazuje stavové kódy HTTP odpovědí na požadavky AI crawlerů v čase:

2xx úspěšné odpovědi
3xx přesměrování
4xx chyby klienta (včetně blokování 403 a vyžadování platby 402)
5xx chyby serveru

Pomocí tohoto grafu zjistíte vzorce v tom, jak váš web reaguje na AI prohledávače, včetně rozložení chybových kódů a objemu přesměrování.

Formát obsahu

Formát obsahu graf zobrazuje, jaké typy obsahu AI systémy požadují oproti tomu, co poskytuje váš origin. Tento přehled vám pomůže pochopit vzory vyjednávání obsahu a optimalizovat způsob, jakým je váš obsah doručován AI systémům.

Graf obsahuje tři zobrazení:

Zobrazit	Popis
Porovnání	Seskupený sloupcový graf porovnávající požadované typy obsahu s doručenými typy obsahu
Typ požadavku	Rozdělení požadavků podle hlavičky Accept
Typ odpovědi	Rozdělení odpovědí podle hlavičky Content-Type

Top referrers

Pomocí analýzy referrerů identifikujte zdroje návštěvnosti a zjistěte vzorce objevování obsahu a jeho popularitu u AI operátorů.

Zobrazit	Popis
Zdroje odkazů	Domény, které na váš web přivádějí nejvíce návštěvnosti pocházející z AI (například `chatgpt.com`, `perplexity.ai`).
Cílové vzory	Které oblasti webu dostávají nejvíce doporučujícího provozu generovaného AI, seskupené podle vzoru (například `/blog/`, `/api/`).

Mezi zobrazeními přepínejte pomocí karet v sekci Top referrers.

Odkazy v čase

Sledujte trendy doporučujícího provozu za zvolené období. Seskupte podle:

Dimenze	Popis
Operátor	Skládaný plošný graf zobrazující odkazovaný provoz podle společnosti (OpenAI, Anthropic atd.).
Zdroj	URL adresy odkazů, které přivádějí nejvíce návštěvnosti.
Celkem	Souhrnný objem odkazů.

Nejoblíbenější cesty

Nejoblíbenější cesty zobrazuje, které stránky na vašem webu AI prohledávače požadují nejčastěji.

Sloupec	Popis
Cesta	Cesta požadované stránky.
Hostname	Název hostitele požadované stránky.
Odkazy	Počet návštěv této cesty přicházejících z AI platforem.
Povolené požadavky	Počet úspěšných požadavků na tuto cestu.

Chcete-li zobrazit rozdělení podle crawleru na jednotlivé cesty, použijte filtry nejvyšší úrovně.

Analyzujte oblasti webu pomocí seskupování podle vzorů

Vyberte Vzory a zobrazte si požadavky seskupené podle vzoru URI (například /blog/*, /api/v1/*, nebo /docs/*). Díky tomu rychle zjistíte, na které části vašeho webu se AI prohledávače zaměřují nejvíce.

Seskupování vzorů agreguje jednotlivé cesty do oblastí webu:

Vzory zahrnují až 2 úrovně hloubky (například /api/*, /api/v1/*)
Kořenový vzor /* zobrazuje celkový provoz na vašem webu
Vzory se neagregují napříč jednotlivými hostname
Vzory pro jednu cestu se zobrazují bez zástupných znaků (například sitemap.xml místo sitemap.xml/*)

Mezi další karty patří:

Vše kombinované požadavky na obsah a média (jednotlivé cesty, nikoli vzory)
Obsah obsah HTML, JSON a text
Média obrázky, videa a další mediální soubory

Filtrujte a exportujte data

Pomocí panelu filtrů zúžíte analýzu podle více kritérií:

Filtr	Popis
Časové rozpětí	Vyberte časové období, které chcete analyzovat.
Crawler	Filtrujte podle konkrétních AI prohledávačů.
Operátor	Filtrujte podle konkrétních společností.
Hostname	Filtrujte podle konkrétních subdomén.
Cesta	Filtrujte podle konkrétních cest URL nebo vzorů.

Kombinujte více filtrů pro komplexní analýzu. Všechny metriky a grafy se dynamicky aktualizují podle vašeho výběru filtrů.

Chcete-li exportovat svá data, vyberte Stáhnout soubor CSV nebo Stáhnout obrázek. Stažené soubory obsahují všechny použité filtry a seskupení.

Podrobné přehledy podle crawleru

Crawleři obsahuje pro každý prohledávač nabídku akcí s následujícími možnostmi:

Akce	Popis
Zobrazit metriky	Filtrujte Metriky na vybraný prohledávač.
Zobrazit na Cloudflare Radar	Více informací o jednotlivých ověřených robotech najdete na Cloudflare Radar.
Zobrazit v Security Analytics	Filtrujte Security Analytics podle ID detekce (Bot Management zákazníci).
Kopírovat User Agent	Zkopírujte řetězce User Agent pro použití v WAF custom rules, Redirect Rules, nebo soubory robots.txt.
Kopírovat ID detekce	Zkopírujte ID detekce pro použití v WAF custom rules (Bot Management zákazníci).

Programový přístup

Pro programový přístup k analytice AI Crawl Control použijte GraphQL Analytics API. API poskytuje přístup ke stejným datům, jaká jsou k dispozici na dashboardu, včetně ID detekcí, dat o referrerech a metrik přenosu dat.