← AI Crawl Control / ai-crawl-control / features
AI Crawl Control vám umožňuje zvolit konkrétní akci pro každý AI prohledávač.
Chcete-li spravovat AI crawlery:
Přihlaste se do Cloudflare dashboard ↗, a vyberte svůj účet a doménu.
Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗Přejděte na Security kartě.
Crawleři zobrazuje tabulku AI prohledávačů, které žádají o přístup k vašemu obsahu, a způsob, jakým interagují s vašimi stránkami. Tabulka obsahuje následující informace.
| Sloupec | Podrobnosti |
|---|---|
| Crawler | Název AI crawleru a operátora, který jej vlastní. |
| Kategorie | Kategorie AI crawleru. Viz Kategorie ověřených robotů. |
| Požadavky | Celkový počet povolených a neúspěšných požadavků včetně grafu trendu. Neúspěšné požadavky mohou pocházet z libovolného pravidla nebo chyby odpovědi, nejen z akce blokování v AI Crawl Control. |
| Porušení pravidel souboru Robots.txt | Počet případů, kdy AI crawler porušil váš robots.txt . |
| Akce | Akce, kterou chcete pro daný AI crawler provést. Viz Proveďte akci pro každý AI crawler. |
Pomocí filtrů můžete zúžit rozsah výsledků:
Hodnoty v tabulce se aktualizují podle vašeho filtru.
U každého AI prohledávače můžete zvolit, zda přístup povolíte, nebo zablokujete.
Upozorňujeme, že stále můžete zvolit Vynutit robots.txt.
Upozorňujeme, že si můžete nastavit odpověď, která se vrátí při blokování AI robota. Více informací v Nastavení odpovědi při blokování.
U každého AI prohledávače můžete provést jednu ze tří akcí: povolit, zpoplatnit nebo zablokovat.
robots.txt.Podrobnosti o tom, jak Cloudflare klasifikuje provoz AI robotů, najdete v AI boti.
Upozorňujeme, že si můžete nastavit odpověď, která se vrátí při blokování AI robota. Více informací v Nastavení odpovědi při blokování.
Další informace najdete v tématu Co je Pay Per Crawl?.
Když v AI Crawl Control zablokujete prohledávač, systém na vaší zóně vytvoří nebo aktualizuje vlastní pravidlo WAF, které toto blokování vynucuje. Pro pokročilé scénáře, jako je přidání výjimek podle cesty nebo dalších user agentů, můžete toto pravidlo rozšířit přímo ve WAF.
Další informace najdete v tématu AI Crawl Control s Cloudflare WAF.
Při blokování AI prohledávače můžete nastavit podrobnosti odpovědi, která se mu vrátí. Konkrétně můžete nastavit:
Díky tomu získáte kanál pro zahájení dialogu s vlastníkem AI crawleru a pro informování AI crawleru o tom, jak správně licencovat jeho obsah, čímž vznikne přímá cesta od pokusu o procházení až ke komerční dohodě.
Chcete-li tyto hodnoty upravit:
Přihlaste se do Cloudflare dashboard ↗, a vyberte svůj účet a doménu.
Přejděte na AI Crawl Control.
Přejděte na AI Crawl Control ↗Přejděte na Nastavení kartě.
V části Odpověď při blokování, vyberte Úprava.
Jakmile hodnoty upravíte, vyberte Save.
Můžete zvolit, jaký kód odpovědi HTTP se vrátí při blokování AI prohledávače.
Pomocí rozbalovací nabídky vyberte požadovaný kód odpovědi. Na výběr máte z těchto možností:
403 Forbidden: Tuto možnost použijte, pokud chcete uvést, že si nepřejete, aby AI prohledávač přistupoval k vašemu obsahu.402 Payment Required: Tuto možnost použijte, pokud chcete uvést, že AI prohledávač musí za přístup k vašemu obsahu zaplatit.Můžete napsat vlastní zprávu (tělo odpovědi HTTP), která se vrátí při blokování AI prohledávače.
V Tělo odpovědi zadejte do textového pole odpověď, kterou chcete AI prohledávači zobrazit, jako prostý text.