← AI Crawl Control / ai-crawl-control / reference

Redirects for AI Training

Redirects for AI Training применяет ваши существующие <link rel="canonical"> теги как 301-редиректы для проверенные краулеры для обучения ИИ. Когда проверенный бот с категория AI Crawler запрашивает страницу, чей тег canonical указывает на другой URL в пределах того же источника, Cloudflare возвращает 301 Moved Permanently к каноническому URL. Все остальные посетители: браузеры, поисковые системы, AI Assistants: получают исходную страницу без изменений.

Подробнее о том, чем полезна эта функция, читайте в запись в блоге с анонсом ↗.

Redirects for AI Training доступен в виде переключателя в AI Crawl Control > Быстрые действия, наряду с Markdown for Agents и Managed robots.txt.

curl -X PATCH 'https://api.cloudflare.com/client/v4/zones/{zone_tag}/settings/redirects_for_ai_training' \
  --header 'Content-Type: application/json' \
  --header "Authorization: Bearer {api_token}" --data-raw '{"value": "on"}'

curl --request PUT \
  --url "https://api.cloudflare.com/client/v4/zones/{zone_id}/rulesets/phases/http_config_settings/entrypoint" \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '{
    "rules": [{
      "expression": "http.host eq \"docs.example.com\"",
      "action": "set_config",
      "action_parameters": {
        "redirects_for_ai_training": true
      },
      "description": "Enable Redirects for AI Training for docs subdomain"
    }]
  }'

curl --request PATCH \
  --url "https://api.cloudflare.com/client/v4/zones/{zone_id}/custom_hostnames/{custom_hostname_id}" \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '{
    "custom_metadata": {
      "redirects_for_ai_training": "enabled"
    }
  }'

curl --request PUT \
  --url "https://api.cloudflare.com/client/v4/zones/{zone_id}/rulesets/phases/http_config_settings/entrypoint" \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '{
    "rules": [{
      "expression": "lookup_json_string(cf.hostname.metadata, \"redirects_for_ai_training\") eq \"enabled\"",
      "action": "set_config",
      "action_parameters": {
        "redirects_for_ai_training": true
      },
      "description": "Enable Redirects for AI Training for opted-in custom hostnames"
    }]
  }'

Cloudflare анализирует HTML-ответ источника, отправляемый проверенным краулерам для обучения ИИ, и:

1. Выполняет потоковый разбор <head> ответа источника для извлечения <link rel="canonical" href="...">
2. Преобразует относительные канонические URL-адреса в абсолютные на основе URL-адреса запроса
3. Проверяет, что канонический URL совпадает по источнику с текущим URL (same-origin) и отличается от него
4. Возвращает 301 редирект на канонический URL

Если canonical-тег не найден, canonical-адрес указывает на другой источник (cross-origin) или страница является self-canonical, ответ источника передаётся без изменений.

Функция анализирует <link rel="canonical"> тег из <head> раздел ответа источника:

<!DOCTYPE html>
<html>
<head>
  <link rel="canonical" href="https://example.com/current-version">
</head>
<body>
  <!-- Page content -->
</body>
</html>

Поддерживаются как абсолютные, так и относительные URL:

<!-- Absolute URL -->
<link rel="canonical" href="https://example.com/page">

<!-- Relative URL (resolved against request URL) -->
<link rel="canonical" href="/current-page">

Redirects for AI Training работает на другом уровне, чем Single Redirects и Bulk Redirects. Эти правила перенаправления выполняются до обращения к источнику. Перенаправления для AI Training выполняются после ответа источника, поскольку для этого требуется прочитать тег canonical из HTML-кода источника.

Если запрос сначала совпадает с правилом Single Redirect или Bulk Redirect, он перенаправляется до того, как Redirects for AI Training успевает его обработать.

Доступно на тарифах Pro, Business и Enterprise без дополнительной оплаты.

• Только HTML-ответы (content-type: text/html) из ответа источника проверяются. Остальные типы контента передаются без изменений.
• Тег canonical должен находиться в первых 256 КБ несжатого тела ответа HTML.
• Перенаправление срабатывает только для canonical-URL в пределах того же источника (same-origin). Canonical-адреса с другим источником (cross-origin) игнорируются.
• Только проверенные боты на категория AI Crawler перенаправляются. Боты категорий AI Assistants и AI Search не затрагиваются.
• Страницы, у которых канонический URL-адрес совпадает с URL-адресом запроса, не перенаправляются.
• Обнаружение циклов, работающее по принципу best effort, использует Referer заголовок. Если краулер только что был перенаправлен с канонического URL обратно на текущую страницу, вместо повторного редиректа отдаётся HTML источника. Это устраняет распространённую ошибку конфигурации canonical для двух страниц (canonical страницы A указывает на страницу B, а canonical страницы B указывает на страницу A).

Когда выполняется перенаправление, Cloudflare записывает канонический целевой URL в логи HTTP запросов через redirects_for_ai_training_target поле. Вы можете использовать GraphQL Analytics API или Logpush чтобы запросить эти данные.

• Управление AI-краулерами - настраивайте правила разрешения или блокировки для каждого краулера
• Анализ трафика ИИ - просматривайте метрики запросов по краулеру, оператору и типу содержимого
• Markdown for Agents - отдавайте HTML в виде markdown с помощью согласования содержимого
• Content Signals Policy ↗ - указывайте предпочтения по использованию содержимого после доступа в robots.txt
• Директивы - Мониторинг robots.txt соответствие и проверьте Agent Readiness
• Single Redirects - редиректы URL на основе правил, которые выполняются до обращения к источнику
• Проверенные боты - категории ботов, включая AI Crawler, AI Assistant и AI Search