← AI Crawl Control / ai-crawl-control / reference

Redirects for AI Training

Redirects for AI Training vynucuje vaše stávající <link rel="canonical"> tagy jako přesměrování 301 pro ověřené crawlery pro trénování AI. Když ověřený robot s Kategorie AI Crawler požaduje stránku, jejíž kanonický tag odkazuje na jinou URL se stejným origin, Cloudflare vrátí 301 Moved Permanently na kanonickou verzi. Všichni ostatní návštěvníci, tedy prohlížeče, vyhledávače, AI Assistants: obdrží původní stránku beze změny.

Více o tom, proč může být tato funkce užitečná, se dozvíte v blogový příspěvek s oznámením ↗.

Redirects for AI Training je k dispozici jako přepínač v AI Crawl Control > Rychlé akce, spolu s Markdown for Agents a Spravovaný robots.txt.

curl -X PATCH 'https://api.cloudflare.com/client/v4/zones/{zone_tag}/settings/redirects_for_ai_training' \
  --header 'Content-Type: application/json' \
  --header "Authorization: Bearer {api_token}" --data-raw '{"value": "on"}'

curl --request PUT \
  --url "https://api.cloudflare.com/client/v4/zones/{zone_id}/rulesets/phases/http_config_settings/entrypoint" \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '{
    "rules": [{
      "expression": "http.host eq \"docs.example.com\"",
      "action": "set_config",
      "action_parameters": {
        "redirects_for_ai_training": true
      },
      "description": "Enable Redirects for AI Training for docs subdomain"
    }]
  }'

curl --request PATCH \
  --url "https://api.cloudflare.com/client/v4/zones/{zone_id}/custom_hostnames/{custom_hostname_id}" \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '{
    "custom_metadata": {
      "redirects_for_ai_training": "enabled"
    }
  }'

curl --request PUT \
  --url "https://api.cloudflare.com/client/v4/zones/{zone_id}/rulesets/phases/http_config_settings/entrypoint" \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '{
    "rules": [{
      "expression": "lookup_json_string(cf.hostname.metadata, \"redirects_for_ai_training\") eq \"enabled\"",
      "action": "set_config",
      "action_parameters": {
        "redirects_for_ai_training": true
      },
      "description": "Enable Redirects for AI Training for opted-in custom hostnames"
    }]
  }'

Cloudflare kontroluje HTML odpověď origin serveru zasílanou ověřeným prohledávačům pro trénování AI a:

1. Postupně parsuje <head> odpovědi origin serveru za účelem extrakce <link rel="canonical" href="...">
2. Vyhodnocuje relativní kanonické adresy URL vzhledem k adrese URL požadavku
3. Ověřuje, že kanonická URL adresa je same-origin a liší se od aktuální URL adresy
4. Vrátí 301 přesměrování na kanonickou URL

Pokud se nenajde žádný kanonický tag, kanonická adresa je z jiného originu nebo je stránka sama sobě kanonická, odpověď z originu projde beze změny.

Funkce analyzuje <link rel="canonical"> tag z <head> části odpovědi origin serveru:

<!DOCTYPE html>
<html>
<head>
  <link rel="canonical" href="https://example.com/current-version">
</head>
<body>
  <!-- Page content -->
</body>
</html>

Podporovány jsou jak absolutní, tak relativní URL adresy:

<!-- Absolute URL -->
<link rel="canonical" href="https://example.com/page">

<!-- Relative URL (resolved against request URL) -->
<link rel="canonical" href="/current-page">

Redirects for AI Training funguje na jiné vrstvě než Single Redirects a Bulk Redirects. Tato přesměrovací pravidla se spouštějí ještě před kontaktováním origin serveru. Přesměrování pro AI Training se spouští až po odpovědi origin serveru, protože potřebuje přečíst značku canonical z HTML na origin serveru.

Pokud se jako první shoduje Single Redirect nebo Bulk Redirect, požadavek se přesměruje dříve, než ho stihne vyhodnotit Redirects for AI Training.

K dispozici v plánech Pro, Business a Enterprise bez dalších poplatků.

• Pouze odpovědi HTML (content-type: text/html) z origin serveru se vyhodnocují. Ostatní typy obsahu procházejí beze změny.
• Značka canonical se musí nacházet v prvních 256 KB nekomprimovaného těla odpovědi HTML.
• Přesměrování spouští pouze kanonické adresy ze stejného originu. Kanonické adresy z jiného originu se ignorují.
• Pouze ověření boti hodnotou Kategorie AI Crawler jsou přesměrovány. AI Assistants a roboti AI Search nejsou ovlivněny.
• Stránky s vlastní kanonickou adresou URL (kde kanonická adresa URL odpovídá adrese URL požadavku) nejsou přesměrovány.
• Detekce zacyklení (best-effort) využívá Referer hlavička. Pokud byl crawler právě přesměrován z kanonické URL zpět na aktuální stránku, namísto dalšího přesměrování se poskytne HTML z originu. Tím se řeší běžné chybné konfigurace kanonických odkazů mezi dvěma stránkami (kanonická adresa stránky A ukazuje na stránku B a kanonická adresa stránky B ukazuje zpět na stránku A).

Když dojde k přesměrování, Cloudflare zaznamená kanonickou cílovou URL adresu do protokolů HTTP požadavků prostřednictvím redirects_for_ai_training_target pole. Můžete použít GraphQL Analytics API nebo Logpush a dotazujte se na tato data.

• Správa AI robotů - Nastavte pravidla pro povolení nebo blokování podle crawleru
• Analyzujte AI provoz - Zobrazte metriky požadavků podle crawleru, operátora a typu obsahu
• Markdown for Agents - Poskytujte HTML jako markdown pomocí vyjednávání obsahu
• Content Signals Policy ↗ - Signalizujte preference využití obsahu po přístupu v robots.txt
• Direktivy - Sledujte robots.txt soulad a zkontrolujte Agent Readiness
• Single Redirects - Přesměrování URL na základě pravidel, která se provedou před originem
• Ověření roboti - Kategorie robotů včetně AI Crawler, AI Assistant a AI Search