← AI Crawl Control / ai-crawl-control / configuration

AI Crawl Control и Transform Rules

Используйте Response Header Transform Rules чтобы добавить Link заголовки к ответам краулерам, даже если эти краулеры заблокированы. Это позволяет сообщать условия использования или RSL ↗ информацию о лицензии.

Пример: добавление условий лицензирования в заблокированные ответы

Выражение:

(cf.bot_management.verified_bot and http.response.code eq 403)

Изменение заголовка:

Операция: Задайте статическую
Имя заголовка: Link
Значение: <https://example.com/ai-licensing-terms>; rel="license"; type="text/html"

Подробнее см. в Response Header Transform Rules.