← Analytics / analytics / analytics-integrations

Graylog

Tento návod vysvětluje, jak analyzovat Cloudflare Logs ↗ pomocí Graylog ↗.

Přehled

Pokud jste službu Cloudflare Logs ještě nikdy nepoužili, navštivte naši Dokumentace k protokolům kde najdete další podrobnosti. Pro povolení protokolů pro svůj účet kontaktujte svůj tým Cloudflare Customer Account Team.

Předpoklady

Než začnete odesílat data protokolů Cloudflare do Graylogu, ujistěte se, že:

Mít existující instalaci Graylog. Podporované jsou jak jednouzlové, tak clusterové konfigurace
Mít účet Cloudflare Enterprise s povolenou službou Cloudflare Logs
Nakonfigurujte Logpush

Úkol 1 - Příprava

Než začnete dostávat protokoly Cloudflare do Graylogu:

Nakonfigurujte Cloudflare Logpush k odesílání protokolů se všemi požadovanými poli do vybraného úložiště AWS S3.
Stáhněte si nejnovější Integrace Graylog pro Cloudflare ↗.
Rozbalte soubor ZIP.

Po rozbalení integrační balíček obsahuje:

graylog-s3-lambda.jar
content-packs/cloudflare/cloudflare-logpush-content-pack.json
content-packs/cloudflare/threat-lookup.csv

Úkol 2 - Vytvoření a konfigurace funkce AWS Lambda

Přejděte na stránku služby Lambda ve webové konzoli AWS.
Vytvořte novou funkci Lambda a zadejte název funkce dle vašeho výběru a Java-8 runtime.
Vytvořte nebo zadejte spouštěcí roli s následujícími oprávněními. Oprávnění k prostředkům můžete dále omezit podle potřeb svého konkrétního nastavení.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Policy",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup"
        "s3:GetObject",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "arn:aws:logs:your-region:your-account-number:*",
        "arn:aws:s3:your-region::cloudflare-bucket-name/*"
      ]
    }
  ]
}

Poznámka: Pokud váš cluster Graylog běží ve VPC, může být nutné přidat AWSLambdaVPCAccessExecutionRole spravovanou roli, která Lambda funkci umožní směrovat provoz do VPC.

Jakmile vytvoříte funkci Lambda, nahrajte kód funkce graylog-s3-lambda.jar stažen v Úkol 1. Specify the following method for the Handler: org.graylog.integrations.s3.GraylogS3Function::handleRequest.
Ke konfiguraci funkce Lambda pro váš cluster Graylog zadejte alespoň následující povinné proměnné prostředí:
- CONTENT_TYPE (povinné) - application/x.cloudflare.log hodnotu udávající, že funkce Lambda bude zpracovávat protokoly Cloudflare.
- COMPRESSION_TYPE (povinné ) - gzip protože logy Cloudflare jsou komprimované pomocí gzip.
- GRAYLOG_HOST (povinné) - název hostitele nebo IP adresa hostitele Graylog či load balanceru clusteru.
- GRAYLOG_PORT (nepovinné, výchozí hodnota 12201) - Port služby Graylog.
- CONNECT_TIMEOUT (nepovinné, výchozí hodnota 10000) - Počet milisekund čekání na navázání spojení.
- LOG_LEVEL (nepovinné, výchozí hodnota INFO) - Úroveň podrobností, která se má zahrnout do protokolů CloudWatch generovaných funkcí Lambda. Podporované hodnoty jsou OFF, ERROR, WARN, INFO, DEBUG, TRACE, a ALL. Pro snazší řešení problémů zvyšte úroveň logování. Více informací najdete v Definice vlastních úrovní protokolování v kódu ↗ s dalšími informacemi.
- CLOUDFLARE_LOGPUSH_MESSAGE_FIELDS (nepovinné, výchozí hodnota all) - Pole, která se mají ze zprávy analyzovat. Zadejte jako seznam názvů polí oddělený čárkami.
- CLOUDFLARE_LOGPUSH_MESSAGE_SUMMARY_FIELDS (nepovinné, výchozí hodnota ClientRequestHost, ClientRequestPath, OriginIP, ClientSrcPort, EdgeServerIP, EdgeResponseBytes) - Pole, která se mají zahrnout do souhrnu zprávy zobrazeného nad analyzovanými poli v horní části každé zprávy v Graylogu. Zadejte jako seznam názvů polí oddělený čárkami.
  
  Poznámka: Další konfigurační proměnné pro doladění nastavení funkce najdete v repozitáři Graylog Lambda S3 README ↗ .
Vytvořte AWS S3 Trigger pro funkci Lambda, aby mohla zpracovávat každé zapsané pole protokolu Cloudflare. Zadejte stejný S3 bucket jako v Úkol 1 a vyberte Všechny události vytvoření objektů možnost. Zde můžete použít i jakékoli další požadované filtry souborů.
Pokud se váš cluster Graylog nachází ve VPC, budete muset konfigurovat vaši funkci Lambda pro přístup ke zdrojům ve VPC ↗. Případně budete muset vytvořit také Koncový bod VPC pro službu AWS S3 ↗. To umožňuje funkci Lambda přistupovat přímo k S3 při běhu ve VPC.

Úkol 3 - Import obsahového balíčku do Graylogu

Import content packu Cloudflare Logpush do Graylogu načte potřebnou konfiguraci pro příjem protokolů Cloudflare a nainstaluje dashboardy Cloudflare.

S obsahovým balíčkem se nainstalují následující komponenty:

dashboardy Cloudflare (Úkol 4).
Vstup Cloudflare GELF (TCP), který umožňuje Graylogu přijímat logy Cloudflare.
Zpráva Cloudflare datový tok ↗.
Pipeline ↗ pravidla, která pomáhají zpracovávat a parsovat pole logů Cloudflare.

Import balíčku obsahu:

Najděte cloudflare-logpush-content-pack.json soubor, který jste stáhli a rozbalili do Úkol 1.
V Graylogu přejděte na Systém > Content Packs a klikněte na Nahrát v pravém horním rohu. Po nahrání se obsahový balíček Cloudflare Logpush zobrazí v seznamu nahraných obsahových balíčků.
Klikněte na Instalovat.
V Instalovat dialogu zadejte volitelný komentář k instalaci a ověřte, že jsou pro všechny konfigurační parametry zadány správné hodnoty.
- Cesta k databázi MaxMind™️ je povinná, k dispozici na https://dev.maxmind.com/geoip/ ↗.
- Cesta je vyžadována i pro Threat Lookup soubor CSV, extrahovaný za Úkol 1.
Po instalaci bude váš cluster Graylog připraven přijímat protokoly Cloudflare z funkce Lambda.

Viz Graylog Lambda S3 README ↗ kde najdete další informace a tipy pro řešení problémů.

Úkol 4 - Zobrazení dashboardů Cloudflare

Dashboard si můžete zobrazit v Stránka integrace Graylog s Cloudflare ↗. Dashboardy zahrnují:

Cloudflare - Snapshot

Toto je stručný přehled nejdůležitějších metrik vašich webů a aplikací v síti Cloudflare. Pomocí filtrů dashboardu můžete informace dále třídit a podrobně analyzovat události a trendy.