Vydavatelé a tvůrci obsahu
Vydavatelé a tvůrci obsahu mohou sledovat, které AI crawlery přistupují k jejich článkům a vzdělávacímu obsahu. Pomocí zásad povolí prospěšné crawlery a ostatní zablokují.
← AI Crawl Control / ai-crawl-control
AI Crawl Control
Dostupné ve všech plánech
Sledujte a řiďte, jak AI služby přistupují k obsahu vašeho webu.
Firmy vyvíjející AI využívají obsah webu k trénování svých modelů a pohánění AI aplikací. AI Crawl Control (dříve AI Audit) vám poskytuje přehled o tom, které AI služby přistupují k vašemu obsahu, a nabízí nástroje pro správu přístupu podle vašich preferencí.
S AI Crawl Control můžete:
- Zjistěte, které AI služby přistupují k vašemu obsahu - Sledujte dashboard a zobrazte si aktivitu crawlerů a vzory požadavků
- Řízení přístupu pomocí podrobných zásad - Nastavte pravidla pro povolení nebo blokování jednotlivých crawlerů
- Sledování dodržování pravidel robots.txt - Sledujte, které crawlery dodržují vaše direktivy, a vytvářejte vynucovací pravidla
- Prozkoumejte možnosti zpeněžení - Nastavte ceny pay per crawl pro přístup k obsahu (soukromá beta)
- Nasazení bez konfigurace - Funguje automaticky u všech plánů Cloudflare
Funkce
Správa AI robotů
Nastavte, jak AI crawleři komunikují s vaší doménou.
Analyzujte AI provoz
Zjistěte, jak AI prohledávače interagují s vašimi stránkami.
Sledujte soubor robots.txt
Sledujte stav robots.txt soubory a identifikovat, které crawlery
porušují vaše direktivy.
Pay Per Crawl
Umožněte AI crawlerům přístup k obsahu formou pay per crawl.
Případy použití
E-commerce a podnikové weby
E-commerce a podnikové weby mohou zjišťovat aktivitu AI crawlerů na stránkách produktů a v obchodních informacích. Řiďte přístup k citlivým údajům, jako jsou ceny a skladové zásoby.
Weby s dokumentací
Weby s dokumentací mohou sledovat, jak AI crawleři přistupují k jejich technické dokumentaci. Získejte přehled o tom, jak AI crawleři pracují s vaším webem.
Související produkty
Boti
Identifikujte automatizovaný provoz a zmírněte jeho dopad, abyste svou doménu ochránili před škodlivými boty.
Web Application Firewall
Získáte automatickou ochranu před zranitelnostmi i volnost při tvorbě vlastních pravidel.
Analytics
Zobrazte a analyzujte provoz na své doméně.
Obsah
32 stránek zrcadlených z dokumentace Cloudflare pro ai-crawl-control.
Pages
Konfigurace
- AI Crawl Control s Cloudflare Bots
- AI Crawl Control s Transform Rules
- AI Crawl Control s Cloudflare WAF
Funkce
- Analyzujte AI provoz
- Správa AI robotů
- Pay Per Crawl
- Časté dotazy k Pay Per Crawl
- Používejte pay per crawl jako vlastník AI
- Připojení Stripe
- Procházení stránek
- Zjištění zpoplatnitelného obsahu
- Kódy chyb
- Nastavte si účet
- Ověřte svůj AI prohledávač
- Používejte pay per crawl jako vlastník webu
- Pokročilá konfigurace
- Povolte v nastavení účtu
- Správa výplat
- Sledování aktivity
- Vyberte crawlery, které chcete zpoplatnit
- Nastavte cenu pro Pay per crawl
- Co je Pay Per Crawl?
- Direktivy