Parsování JSON dat Cloudflare Logs

Po stažení dat Cloudflare Logs můžete k analýze a zpracování protokolů použít různé nástroje.

Jedním z nástrojů pro parsování dat protokolu ve formátu JSON je jq.

Viz Stáhněte si jq ↗ s dalšími informacemi o získání a instalaci jq.

Agregovaná pole

K agregaci pole, které se objevuje v protokolu, například podle IP adresy, URI nebo referreru, můžete použít několik jq příkazy. To se hodí při hledání vzorů v provozu, například při zjišťování nejnavštěvovanějších stránek nebo při blokování útoku.

Následující příklady vyhledávají podle názvu pole a uvádějí počet výskytů každého pole, seřazené vzestupně podle počtu.

jq -r .ClientRequestURI logs.json | sort -n | uniq -c | sort -n | tail

2 /nginx-logo.png
2 /poweredby.png
2 /testagain
3 /favicon.ico
3 /testing
3 /testing123
6 /test
7 /testing1234
10 /cdn-cgi/nexp/dok3v=1613a3a185/cloudflare/rocket.js
54 /

jq -r .ClientRequestUserAgent logs.json | sort -n | uniq -c | sort -n | tail

1 python-requests/2.9.1
2 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17
4 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
5 curl/7.47.2-DEV
36 Mozilla/5.0 (X11; Linux x86_64; rv:44.0) Gecko/20100101 Firefox/44.0
51 curl/7.46.0-DEV

jq -r .ClientRequestReferer logs.json | sort -n | uniq -c | sort -n | tail

2 http://example.com/testagain
3 http://example.com/testing
5 http://example.com/
5 http://example.com/testing123
7 http://example.com/testing1234
77 null

Filtrovatelná pole

Dalším běžným případem použití je filtrování dat podle konkrétní hodnoty pole a jejich následná agregace. To pomáhá zodpovědět otázky typu Které URL adresy zaznamenaly nejvíce chyb 502? Například:

jq 'select(.OriginResponseStatus == 502) | .ClientRequestURI' logs.json | sort -n | uniq -c | sort -n | tail

1 "/favicon.ico"
1 "/testing"
3 "/testing123"
6 "/test"
6 "/testing1234"
18 "/"

Chcete-li zjistit nejčastěji blokované IP adresy pomocí Cloudflare WAF, použijte následující dotaz:

jq -r 'select(.SecurityAction == "block") | .ClientIP' logs.json | sort -n | uniq -c | sort -n

1 127.0.0.1

Zobrazit požadavky z mezipaměti

Chcete-li zjistit poměry vyrovnávací paměti, vyzkoušejte následující dotaz:

jq -r '.CacheCacheStatus' logs.json | sort -n | uniq -c | sort -n

3 hit
3 null
3 stale
4 expired
6 miss
81 unknown

Zobrazit verze TLS

Chcete-li zjistit, které verze TLS vaši návštěvníci používají, například abyste se rozhodli, zda můžete zakázat verze TLS starší než 1.2, použijte následující dotaz:

jq -r '.ClientSSLProtocol' logs.json | sort -n | uniq -c | sort -n

42 none
58 TLSv1.2