← Документация WAF / troubleshooting
Обнаружение поддельных ботов блокирует легитимные запросы
Cloudflare Managed Ruleset включает правила, обнаруживающие запросы, которые выдают себя за известных ботов, таких как Googlebot и Bingbot. Эти правила сравнивают User-Agent (заголовок) по известным паттернам ботов, а затем проверяйте источник методами вроде обратного DNS-запроса или проверки IP. Если User-Agent совпадает с известным ботом, но источник не удаётся верифицировать, правило помечает запрос как поддельного бота.
Правила поддельных ботов
В следующей таблице перечислены правила обнаружения поддельных ботов в Cloudflare Managed Ruleset:
| Rule name | ID правила |
|---|---|
| Anomaly:Header:User-Agent - Fake Google Bot | |
| Anomaly:Header:User-Agent - Fake Bing or MSN Bot |
Типичные сценарии ложных срабатываний
Правила против поддельных ботов могут давать ложные срабатывания для легитимных сервисов, которые используют ту же инфраструктуру или шаблоны user agent, что и известные боты, но другие диапазоны IP. Типичные примеры:
- Сервисы Google Cloud: сервисы вроде Google Cloud Workflows или Cloud Functions могут отправлять запросы с относящимся к Google
User-Agentзаголовком с IP-адресов вне стандартного диапазона Googlebot. Такие запросы не проходят проверку IP и помечаются как поддельные боты Google. - Bing Webmaster Tools Site Scan: Site Scan использует не тот же диапазон IP, что Bingbot, из-за чего срабатывает правило о поддельном боте Bing. Рекомендации для этого сценария см. в Site Scan от Bing блокируется управляемым правилом.
- Инструменты мониторинга и тестирования: сторонние мониторинги доступности или инструменты автоматизированного тестирования, устанавливающие похожий на ботовый
User-Agentтакже может быть помечен.
Решение
Если правило против поддельных ботов блокирует легитимный трафик, создайте исключение , чтобы пропустить конкретное управляемое правило для затронутых запросов.
При определении выражения исключения используйте свойства запроса, которые идентифицируют легитимный трафик, не отключая правило слишком широко. Например:
- Фильтруйте по IP-адресу источника или диапазону IP, если сервис использует известный набор адресов.
- Отфильтруйте по конкретному пути URI, если сервис обращается только к определённым эндпоинтам.
- Отфильтруйте по ASN, если сервис работает из определённой сети.
Исключение должно находиться в списке правил перед правилом, выполняющим Cloudflare Managed Ruleset, иначе оно не будет иметь эффекта.
Инструкции по созданию исключений см. в Создание исключений.