← Справочные архитектуры / reference-architecture / diagrams / bots

Bot management

У Cloudflare есть средства управления ботами, которые помогают выявлять и сдерживать автоматизированный трафик, защищая домены от вредоносных ботов. Bot Fight Mode и Super Bot Fight Mode доступны на тарифах Free и Pro/Business соответственно. Они предлагают часть функций и возможностей, доступных на тарифе Enterprise. Эта схема эталонной архитектуры посвящена Enterprise Bot Management доступно клиентам Enterprise.

С Enterprise Bot Management клиенты получают максимальный уровень защиты, функций и возможностей. Bot Score ↗ предоставляется для каждого запроса. Cloudflare применяет многоуровневый подход к обнаружению в Bot Management, используя несколько механизмов обнаружения, каждый из которых может влиять на итоговую оценку бота. Оценка бота, от 1 до 99, показывает вероятность того, что запрос исходил от бота. Оценки ниже 30 обычно связаны с ботовым трафиком, и клиенты могут принимать меры на основе этой оценки с помощью Пользовательские правила WAF ↗ или Workers ↗. Кроме того, клиенты могут просматривать эту оценку вместе с другими параметрами бота, такими как источник bot score, идентификаторы обнаружения бота и теги обнаружения бота, на дашбордах Bots, Security Analytics и Events; эти поля также доступны в более подробных логах в Log Explorer, а с помощью Log Push логи с этими полями можно экспортировать в сторонние SIEM или аналитические платформы.

• Bot Score: Есть Bot Score это оценка от 1 до 99, показывающая вероятность того, что запрос исходил от бота. Оценка 1 означает, что Cloudflare уверена в автоматизированном характере запроса.
• Bot Score Source: Bot Score Source представляет собой механизм обнаружения, используемый для расчета показателя бота.
• Bot Detection ID: ID обнаружения представляют собой статические правила для выявления предсказуемого поведения ботов, не пересекающегося с трафиком людей. Идентификаторы обнаружения указывают на конкретную обнаружение используемых для идентификации бота: это могут быть эвристики, подтвержденные обнаружения ботов или обнаружения аномалий.
• Bot Tag: Теги ботов дают более подробную информацию о том, почему Cloudflare назначил Bot Score к запросу.
• Verified Bots: Cloudflare поддерживает список надёжных ботов с пометкой «Verified» ↗ которые можно использовать в политиках, чтобы гарантировать, что легитимные боты, например связанные с поисковыми системами, не будут заблокированы.
• ИИ-боты: Если функция включена, Cloudflare будет обнаруживать и блокировать верифицированных ИИ-ботов, которые учитывают robots.txt и частоту сканирования, не скрывая своё поведение от вашего сайта. Правило также было расширено и теперь включает больше сигнатур AI-ботов, которые не соблюдают эти правила.

• Эвристики: Cloudflare выполняет ряд эвристических проверок для выявления автоматизированного трафика, а запросы сверяются с постоянно растущей базой данных вредоносных отпечатков. Эвристический движок присваивает автоматизированным запросам оценку 1 при высокой уверенности в обнаружении или оценку 29, если уверенность в обнаружении еще оценивается.
• Машинное обучение (ML): Заголовок Движок ML составляет большинство всех обнаружений, как ботов, так и людей. Модель машинного обучения использует глобальную сеть Cloudflare, через которую ежедневно проходят миллиарды запросов, чтобы отличать автоматизированный трафик от трафика реальных пользователей. Движок ML присваивает оценки от 2 до 99.
• Обнаружение аномалий (AD): Заголовок Модуль AD это необязательный механизм обнаружения, использующий одну из форм обучения без учителя. Cloudflare фиксирует базовый профиль трафика домена и использует его для интеллектуального выявления аномальных запросов. Cloudflare постепенно отказывается от Anomaly Detection и не подключает к этому механизму новых клиентов. В дальнейшем те же области обнаружения будут покрываться поведенческими механизмами.
• JavaScript Detections (JSD): JSD engine выявляет headless-браузеры и другие вредоносные отпечатки. Этот механизм выполняет легковесную, невидимую инъекцию JavaScript на стороне клиента при любом запросе. Механизм JSD либо блокирует запрос, либо направляет его на проверку, либо передает его другим механизмам. JSD включен по умолчанию, но полностью опционален.

Анализ bot score и бот-трафика Cloudflare доступен в нескольких разделах.

• Панель Bots: Клиенты могут без труда просматривать активность ботов за последние 30 дней и фильтровать её по Bot Score и другим параметрам, связанным с ботами, трафиком и запросами. В разделе цикл обратной связи по ботам позволяет клиентам сообщать Cloudflare о ложных срабатываниях или пропущенных угрозах для дальнейшего расследования.

• Security Analytics: Security Analytics объединяет все возможности обнаружения угроз Cloudflare на одной панели и даёт общую картину всего трафика сайта. График и виджет Bots Likelihood обеспечивают наглядность и позволяют клиентам легко просматривать данные и фильтровать их по Bot Score и категориям Automated, Likely Automated, Human и Likely Human.

• События: Раздел Events отображает все события, по которым WAF предпринял действие. События и журналы легко фильтруются по Bot Score и другим параметрам, связанным с ботами, трафиком или запросами.

• Log Explorer: С помощью Log Explorer клиенты могут получать дополнительные подробные данные журналов. Журналы легко фильтруются по Bot Score и другим параметрам, связанным с ботами, трафиком или запросами.

• Log Push: Клиенты также могут экспортировать журналы в стороннюю систему SIEM или аналитическую платформу. В журналы можно включать Bot Score, источник этой оценки, идентификаторы обнаружения ботов и соответствующие теги.

  Поток трафика Bot Management

1. Клиентский запрос отправляется в ближайший дата-центр Cloudflare через anycast, что обеспечивает низкую задержку.
2. Cloudflare применяет многоуровневый подход к обнаружению ботов: каждый механизм обнаружения влияет на bot score, присваиваемый Cloudflare каждому запросу. Каждому запросу присваивается bot score в диапазоне от 1 до 99 включительно.
3. После того как запрос клиента обработан всеми механизмами обнаружения Cloudflare и получил оценку бота, применяются заданные политики безопасности, часть из которых также может учитывать эту оценку. На основе оценки бота можно выполнять разные действия: блокировку (Block), разрешение (Allow), ограничение скорости (Rate Limit) и один из вариантов проверки (Challenge).
4. Cloudflare предоставляет аналитику и статистику по трафику и запросам, проходящим через сеть Cloudflare. Чтобы оценить общий трафик и активность ботов на сайте, клиенты могут использовать дашборды Bots, Security Analytics, Events и Log Explorer. Также клиенты могут экспортировать журналы во внешние SIEM-системы и аналитические платформы.

• Страница продукта Cloudflare Bot Management ↗
• Cloudflare Blog: Bot Management ↗
• Документация по ботам
• Видео: Cloudflare Bot Management и Turnstile с демонстрацией ↗