← AI Crawl Control / ai-crawl-control / configuration
AI Crawl Control и Cloudflare WAF
AI Crawl Control работает вместе с другими продуктами Cloudflare, такими как Cloudflare Web Application Firewall (WAF). WAF проверяет входящие веб- и API-запросы и фильтрует нежелательный трафик на основе правил. Пользовательские правила WAF позволяют выполнять определённые действия, например принудительно применять robots.txt.
Порядок приоритета
- AI Crawl Control использует пользовательские правила WAF, чтобы блокировать набор AI-краулеров, которых владелец сайта решил заблокировать.
- Функция pay per crawl в AI Crawl Control выполняется после WAF.
graph LR
A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white
По этой причине, если вы планируете использовать AI Crawl Control для управления ИИ-краулерами, рекомендуется изменить существующие пользовательские правила WAF так, чтобы они не затрагивали ИИ-краулеров. Это позволит управлять ИИ-краулерами только через AI Crawl Control и упростит рабочий процесс.
Примеры использования WAF в сравнении с AI Crawl Control
Рассмотрите следующие примеры.
Трафик из ограниченной страны против pay per crawl
Возможно, у вас включены обе следующие функции:
- Пользовательское правило WAF, блокирующее трафик из определённых стран
- AI Crawl Control pay per crawl чтобы взимать плату с AI-краулеров при запросе доступа к вашему контенту
Поскольку пользовательские правила WAF применяются до Pay Per Crawl, трафик (включая AI-краулеров) из заблокированных вами стран будет по-прежнему блокироваться, даже если они предоставляют обязательные заголовки для Pay Per Crawl.
Разрешённые боты поисковых систем через пользовательское правило WAF в сравнении с pay per crawl
Возможно, у вас включены обе следующие функции:
- Пользовательское правило WAF, разрешающее ботов поисковых систем
- AI Crawl Control pay per crawl чтобы взимать плату со всех AI-краулеров при запросе доступа к вашему контенту (включая ботов поисковых систем).
Поскольку пользовательские правила применяются до Pay Per Crawl:
- Доступ к сайту получат только боты поисковых систем (обеспечивается пользовательским правилом).
- После этого с ботов поисковых систем будет взиматься плата за доступ к вашему содержимому (это обеспечивается функцией Pay Per Crawl в AI Crawl Control).
Устранение неполадок с разрешёнными ботами
Если для некоторых AI-краулеров у вас настроено значение Allow в AI Crawl Control, но по-прежнему блокируются, проверьте вышестоящие пользовательские правила WAF, которые могут их блокировать. Поскольку правило AI Crawl Control включает только заблокированных ботов, на разрешённых ботов могут по-прежнему влиять другие правила безопасности, которые выполняются до правила AI Crawl Control.
Эти вышестоящие правила влияют на трафик, но могут не отображаться в аналитике AI Crawl Control. Просмотрите свои пользовательские правила WAF, чтобы найти и изменить те, что могут блокировать AI-краулеров, доступ которым вы хотите разрешить.
Устранение неполадок с заблокированными ботами
Если для некоторых AI-краулеров у вас настроено значение Block в AI Crawl Control, но при этом продолжают обращаться к вашему содержимому, проверьте вышестоящие правила, которые могут обходить правило AI Crawl Control. Поскольку правило AI Crawl Control добавляется в конец существующих пользовательских правил WAF, следующие типы правил могут позволять ботам обходить блокировку:
- Правила пропуска которые обходят пользовательские правила WAF
- Redirect rules которые изменяют путь запроса
- Transform rules которые изменяют запрос
Чтобы заблокированные боты действительно блокировались, переместите правило AI Crawl Control в начало списка пользовательских правил WAF, чтобы оно выполнялось раньше остальных.
Конфликт в логике блокировки ИИ-краулеров
Возможно, у вас включены обе следующие функции:
- Пользовательское правило WAF, которое блокирует всех ботов.
- Набор AI Crawl Control, который разрешает доступ определённым AI-краулерам.
В этом случае у вас есть два пользовательских правила, каждое из которых задаёт свою логику обработки AI-краулеров. Чтобы решить эту проблему, выполните следующее:
-
На панели управления Cloudflare перейдите к разделу Правила безопасности страницу.
Перейдите в Правила безопасности ↗ -
Фильтр по Custom rules.
-
Определите своё пользовательское правило и правило AI Crawl Control.
-
Перетащите правило, которому нужно отдать приоритет, наверх списка, либо измените пользовательское правило так, чтобы оно не конфликтовало с настройками AI Crawl Control.
Расширение правила WAF для AI Crawl Control
В большинстве случаев рекомендуется управлять краулерами непосредственно в AI Crawl Control. Однако лежащее в основе правило WAF поддерживает дополнительную настройку для сценариев, которые не охватывает дашборд.
Правило AI Crawl Control называется AI Crawl Control и находится в разделе Безопасность > Правила безопасности. Фильтруйте по Custom rules чтобы найти его.
Обычно добавляют следующее:
- Исключения на основе путей: например, разрешение заблокированному краулеру доступа к определённым разделам сайта путём добавления
ANDдиректива, исключающая определённые пути - Дополнительные User-Agent или ID обнаружения для краулеров, не перечисленных в AI Crawl Control
- Дополнительные условия выражения, ограничивающие блокировку конкретными именами хостов или другими параметрами запроса
Все внесённые вами дополнения сохраняются при последующем обновлении действий для краулеров в AI Crawl Control. Если выражение изменено так, что AI Crawl Control не может его распознать, предупреждающий баннер появится на странице Краулеры странице. Выберите Просмотр правила в WAF в баннере, чтобы просмотреть или исправить правило.