INTEGRITY Документация

← Аналитика / analytics / analytics-integrations

Splunk

В этом руководстве объясняется, как анализировать Cloudflare Logs ↗ с помощью Cloudflare App for Splunk ↗.

Предварительные требования

Прежде чем отправлять данные журналов Cloudflare в Splunk, убедитесь, что вы:

Задача 1 - Установка и настройка Cloudflare App for Splunk

Чтобы установить Cloudflare App for Splunk ↗:

  1. Войдите в свой экземпляр Splunk.
  2. В разделе Приложения > Найти другие приложения, найдите Cloudflare App for Splunk.
  3. Нажмите Установить.
Сайт Splunk с развёрнутым меню Apps, пунктом меню Search & Reporting и приложением Cloudflare App for Splunk

  1. Перезапустите и заново откройте свою инстанцию Splunk.

  2. Измените cloudflare:json тип источника в Cloudflare App for Splunk. Чтобы изменить тип источника:

    1. Нажмите Настройки раскрывающемся списке и выберите Исходные типы.
    2. Снимите флажок Показать только популярные и найдите cloudflare.
    3. Нажмите Изменить и измените регулярное выражение на ([\r\n]+).
    4. Сохраните изменения.

  3. Создайте индекс в Splunk для хранения журналов HTTP Event. Чтобы создать индекс:

    1. Откройте экран настройки, нажав Настройки раскрывающегося списка, затем нажмите Индексы.
    2. Выберите New Index. Учтите, что Индексы странице также отображается статус всех ваших существующих индексов, чтобы вы могли видеть, приближаетесь ли вы к исчерпанию лицензированного объёма пространства.
    3. Назовите индекс cloudflare, который является индексом по умолчанию, используемым Cloudflare App.

  4. Настройте HTTP Event Collector (HEC) в Splunk. Чтобы создать HEC:

    1. Нажмите Настройки раскрывающемся списке и выберите Источники данных.
    2. Нажмите +Add new и следуйте указаниям мастера настройки. Когда появится запрос, введите следующие значения:
      • Name: Cloudflare
      • Source Type: Select > "cloudflare:json"
      • App Context: Cloudflare App for Splunk (cloudflare)
      • Индекс: cloudflare
    3. В конце работы мастера настройки вы увидите Значение токена. Этот токен разрешает заданию Cloudflare Logpush отправлять данные в вашу инстанцию Splunk. Если вы забудете скопировать его сейчас, Splunk позволит получить это значение в любой момент.

  5. Проверьте, использует ли Splunk самоподписанный сертификат. Эта информация понадобится вам при создании задания Logpush.

  6. Определите конечную точку, на которую нужно отправлять данные. Она должна иметь следующий вид:

"<protocol>://input-<host>:<port>/<endpoint>" or "<protocol>://http-inputs-<host>:<port>/<endpoint>"

Где:

Например: https://prd-p-0qk3h.splunkcloud.com:8088/services/collector/raw. См. Splunk Documentation ↗ с подробностями и примерами.

Примечания после установки

Можно изменить Название индекса после первоначальной настройки, нажав на Настройки раскрывающегося списка и перейдите в Расширенный поиск. Там можно выбрать Поисковые макросы и найдите Cloudflare App for Splunk.

Интерфейс Splunk с выделенным меню Apps, пунктом Manage Apps и флажком Enable Acceleration

Cloudflare App for Splunk поставляется с собственной Cloudflare Data Model, для которой задано окно ускорения в 1 день, но по умолчанию ускорение не включено. Если вы включите Ускорение модели данных ↗, мы рекомендуем ускорять Data Model только на 1 или 7 дней, чтобы избежать негативных последствий для вашей среды Splunk.

Включить или отключить ускорение после первоначальной настройки можно на странице Set up приложения, которую вы откроете, нажав Приложения раскрывающегося списка, затем Управление приложениями > Настройка Cloudflare.

Страница Splunk Advanced Search с выделенными элементами Search macros и Advanced search

Модели данных также можно настроить вручную, перейдя в Настройки > Модели данных. Подробнее об ускорении модели данных см. в документация Splunk ↗.

Задача 2 - Вызов API для создания задания Logpush

Создайте задание Logpush, следуя инструкциям на Включение Logpush для Splunk. Этот вызов API создаёт задание Logpush, но не включает его.

Включите задание Logpush через дашборд Cloudflare или через API, следуя инструкциям на Включение Logpush для Splunk. Чтобы включить через дашборд:

  1. Перейдите в дашборд Cloudflare и выберите Аналитика и журналы > Журналы.
  2. Выберите Изменить и выберите поля, указанные в разделе Dashboard ниже, чтобы полностью заполнить все таблицы и графики.
  3. Включите задание Logpush, переключив переключатель рядом со ссылкой Edit. Заполнение данными занимает несколько минут.

Чтобы убедиться, что данные поступают, выполните поиск index=cloudflare в Splunk.

Задача 3 - Просмотр дашбордов

Анализировать журналы Cloudflare можно с помощью тринадцати (13) дашбордов, перечисленных ниже.

Фильтры в этих дашбордах помогают сузить анализ по дате и времени, типу устройства, стране, user agent, IP-адресу клиента, имени хоста и другим параметрам, что упрощает отладку и трассировку.

О дашбордах

В составе Cloudflare App for Splunk доступны описанные ниже дашборды.

Cloudflare - Snapshot

Обзор веб-трафика и Типы веб-трафика: Получите общее представление о важнейших метриках ваших сайтов и приложений в сети Cloudflare. Дашборд Splunk с метриками обзора веб-трафика

Cloudflare - Reliability

Сводка и Подробные: Узнайте больше о доступности ваших сайтов и приложений. Метрики включают долю ошибочных ответов origin-сервера, статус ответов origin-сервера во времени, процент ошибок 3xx/4xx/5xx во времени и другое. Дашборд Splunk с общей сводкой метрик надёжности

Дашборд Splunk с подробной сводкой метрик надёжности

Cloudflare - Security

Обзор: Узнайте больше об угрозах для ваших сайтов и приложений, включая количество отражённых угроз, их динамику во времени, страны с наибольшим числом угроз и другое. Дашборд Splunk с обзором метрик безопасности

WAF: Узнайте больше об обнаружении и устранении угроз с помощью нашего Web Application Firewall, включая такие события, как SQL-инъекции, XSS и другие. Используйте эти данные, чтобы точно настроить firewall на явные угрозы и снизить число ложных срабатываний. Дашборд Splunk с обзором метрик безопасности для WAF

Rate Limiting: Узнайте больше о защите с помощью ограничения частоты запросов от атак типа «отказ в обслуживании», попыток входа методом перебора и других видов злоупотреблений, направленных против ваших сайтов или приложений. Дашборд Splunk с обзором метрик безопасности для Rate Limiting

Сводка по ботам и Подробно о ботах: Исследуйте активность ботов на вашем сайте, чтобы предотвратить скрапинг контента, мошенничество при оформлении заказа, спам-регистрации и другие вредоносные действия. Дашборд Splunk с общей сводкой метрик безопасности для ботов

Дашборд Splunk с подробной сводкой метрик безопасности для ботов

Cloudflare - Performance

Запросы и кеш и Пропускная способность: Выявляйте и устраняйте проблемы с производительностью и неверные настройки кеширования. Метрики включают общий и кешированный трафик, сэкономленный трафик, общее число запросов, коэффициент кеширования, самые частые некешированные запросы и другое. Дашборд Splunk с метриками производительности для запросов и кеша

Дашборд Splunk с метриками производительности для пропускной способности

Hostname, Content Type, Request Methods, Connection Type: Узнайте больше о самых популярных именах хостов, наиболее запрашиваемых типах контента, распределении методов запросов и типе соединения.

Дашборд Splunk с метриками производительности Cloudflare, в том числе для Hostname, Content Type, Request Methods и Connection Type

Статический и динамический контент: Узнайте больше о производительности статического и динамического контента, включая самые медленные URL адреса. Дашборд Splunk с метриками производительности Cloudflare для статического и динамического контента

Фильтры

У всех дашбордов есть набор фильтров, которые можно применить ко всему дашборду, как показано в следующем примере. Фильтры применяются в рамках всего дашборда.

Доступные фильтры дашборда в приложении Splunk

С помощью фильтров можно детально изучить данные вплоть до уровня отдельных записей. Доступны фильтры по стране клиента, типу устройства клиента, IP-адресу клиента, хосту запроса клиента, URI запроса клиента, user agent клиента, статусу ответа периферийной сети, IP-адресу origin-сервера и статусу ответа origin-сервера.

Временной интервал по умолчанию составляет 24 часа. Учтите, что для корректных расчётов фильтр должен исключать вложенные запросы Worker (WorkerSubrequest = false) и запросов на очистку (ClientRequestMethod не PURGE).

Доступные фильтры:

Советы по отладке

Неполные дашборды

Приложение Splunk Cloudflare App использует данные из полей Cloudflare Enterprise Logs, перечисленных ниже. В зависимости от того, какие поля у вас включены, некоторые дашборды могут заполняться не полностью.

Если это ваш случай, проверьте и протестируйте фильтры Cloudflare App под каждым дашбордом (эти фильтры одинаковы для всех дашбордов). Ненужные фильтры можно удалить, даже если они включают поля данных, которые уже содержатся в ваших журналах.

Список полей, которые вы получаете в Cloudflare Logs, можно также сравнить с полями, указанными в Splunk > Настройки > Модель данных > Cloudflare.

Доступные поля: