← AI Crawl Control / ai-crawl-control

Začínáme

Tento návod vás provede tím, jak:

Zobrazte AI prohledávače, které interagují se stránkami ve vaší doméně ( Cloudflare zóna).
Pomocí AI Crawl Control zablokujte jednotlivým prohledávačům přístup k vašemu obsahu.

Předpoklady

Zaregistrujte si účet Cloudflare ↗.
Připojení domény k Cloudflare.
Ujistěte se, že vaše doména je proxování provozu přes Cloudflare.

1. Sledujte aktivitu AI prohledávačů na první pohled

Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗
Přehled aktivity vašich AI crawlerů najdete v Přehled kartě.
Pomocí filtrů zobrazíte aktivitu podle konkrétních časových rozsahů, prohledávačů, operátorů, hostitelů nebo cest.

2. Blokujte konkrétní AI prohledávače

Chcete-li blokovat konkrétní AI crawlery:

Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗
Přehled, které AI crawlery přistupují k vaší doméně, najdete v Crawleři kartě.
V Akce sloupec, vyberte Block.

Chcete-li blokovat konkrétní AI crawlery:

Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗
Přehled, které AI crawlery přistupují k vaší doméně, najdete v Crawleři kartě.
V Akce sloupec, vyberte Block.

Další informace najdete v tématu Správa AI robotů.

Při provádění akcí na AI prohledávačích můžete vytvářet i složitější pravidla pomocí Cloudflare WAF. Další informace o vytváření podrobnějších pravidel naleznete v Vytvoření vlastního pravidla v dashboardu.

3. Prozkoumejte podrobné metriky

Pro podrobnější analýzy použijte Metriky kartě.

Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗
Podrobné přehledy podle časového rozsahu, crawleru, operátora, stavového kódu, hostitele nebo cesty najdete v Metriky kartě.

Upozorňujeme, že u free plánu Metriky zobrazuje metriky pouze za posledních 24 hodin.

Porovnání plánů

Všechny plány	Plány Enterprise s Bot Management
Detekce AI crawlerů pomocí řetězce user agent ↗	Pokročilá detekce AI crawlerů pomocí ID detekce Bot Management
Maximální 24hodinové okno pro analytiku	Konfigurovatelné časové rozsahy analýz
Ovládací prvky pro povolení/blokování	Ovládací prvky pro povolení/blokování a možnost účtovat poplatky AI crawlerům pomocí pay per crawl

Další kroky

Správa AI robotů s podrobným ovládáním pro povolení a blokování.
Analyzujte AI provoz a pochopte vzorce chování prohledávačů a popularitu obsahu.
Prozkoumejte pay per crawl a vyzkoušejte možnosti monetizace obsahu (soukromá beta).

Podívejte se na následující související zdroje:

Blog Cloudflare: Začněte auditovat a řídit AI modely přistupující k vašemu obsahu ↗
Blokujte AI crawlery, které nedodržují doporučené pokyny, pomocí Cloudflare AI Labyrinth.
Řízení AI crawlerů pomocí spravovaného souboru robots.txt.