← Referenční architektury / reference-architecture / diagrams / bots

Bot management

Cloudflare disponuje funkcemi pro správu botů, které pomáhají identifikovat a zmírňovat automatizovaný provoz a chránit domény před škodlivými boty. Bot Fight Mode a Super Bot Fight Mode jsou možnosti dostupné pro účty Free, respektive Pro/Business. Nabízejí podmnožinu funkcí a možností dostupných pro účty Enterprise. Tento diagram referenční architektury se zaměřuje na Enterprise Bot Management dostupné pro zákazníky Enterprise.

S Enterprise Bot Management zákazníci mají k dispozici maximální ochranu, funkce a možnosti. bot score ↗ je vystaveno u každého požadavku. Cloudflare uplatňuje víceúrovňový detekční přístup k Bot Management s několika detekčními enginy, které společně mohou ovlivnit skóre bota. Skóre bota je hodnota od 1 do 99, která udává pravděpodobnost, že požadavek pochází od bota. Skóre pod 30 se obvykle spojuje s provozem od botů a zákazníci pak mohou na základě tohoto skóre podniknout kroky pomocí WAF custom rules ↗ nebo Workers ↗. Toto skóre si zákazníci navíc mohou spolu s dalšími podrobnostmi o botech, jako je zdroj bot score, ID detekce botů a značky detekce botů, prohlédnout na dashboardech Bots, Security Analytics a Events. Tato pole lze rovněž zobrazit v podrobnějších protokolech v Log Explorer, případně je pomocí Log Push exportovat s těmito poli do SIEM či analytických platforem třetích stran.

• Bot Score: bot score je skóre od 1 do 99, které udává, jak pravděpodobně požadavek pochází od bota. Skóre 1 znamená, že si Cloudflare je jistý, že požadavek byl automatizovaný.
• Bot Score Source: Bot Score Source je detekční engine použitý pro výpočet bot skóre.
• Bot Detection ID: ID detekce jsou statická pravidla určená k odhalování předvídatelného chování botů, které se nijak nepřekrývá s provozem lidí. Identifikátory detekce odkazují na konkrétní detekce používaných k identifikaci robota, které mohou pocházet z heuristiky, detekce ověřených robotů nebo detekce anomálií.
• Bot Tag: Štítky botů poskytují podrobnější informace o tom, proč Cloudflare přiřadil bot score na požadavek.
• Ověření boti: Cloudflare udržuje seznam dobrých robotů se štítkem „Verified“ ↗ které lze použít v zásadách, aby nedocházelo k blokování legitimních robotů, například těch spojených s vyhledávači.
• AI Bots: Pokud je funkce povolena, Cloudflare rozpozná a zablokuje ověřené AI roboty, kteří respektují robots.txt a rychlosti procházení a nesnaží se před vaším webem skrývat své chování. Pravidlo bylo navíc rozšířeno o další signatury AI botů, které se těmito pravidly neřídí.

• Heuristika: Cloudflare provádí řadu heuristických kontrol k identifikaci automatizovaného provozu a požadavky porovnává s rostoucí databází škodlivých otisků. Heuristický engine uděluje automatizovaným požadavkům skóre 1 u detekcí s vysokou mírou jistoty, nebo skóre 29 u detekcí, jejichž jistota se ještě posuzuje.
• Strojové učení (ML): Technologie ML tvoří většinu ze všech detekcí, ať už jde o lidský, nebo botí provoz. Model strojového učení využívá globální síť Cloudflare, která denně proxíruje miliardy požadavků, k rozpoznání automatizovaného i lidského provozu. Modul strojového učení generuje skóre od 2 do 99.
• Detekce anomálií (AD): AD engine je volitelný detekční engine, který používá formu učení bez učitele. Cloudflare zaznamenává výchozí stav provozu domény a na jeho základě inteligentně odhaluje odlehlé požadavky. Cloudflare tento engine Anomaly Detection postupně ukončuje a nepřidává k němu nové zákazníky. Budoucí behaviorální detekce budou zajišťovat pokrytí stejných oblastí.
• JavaScript Detections (JSD): JSD engine identifikuje headless prohlížeče a další škodlivé otisky (fingerprints). Tento engine provádí na straně klienta lehkou a neviditelnou injekci JavaScriptu do každého požadavku. Engine JSD požadavky buď blokuje, vyzývá k ověření, nebo je předává dalším enginům. JSD je ve výchozím nastavení aktivní, je ale zcela volitelný.

Bot score a analýza provozu botů od Cloudflare jsou dostupné na několika místech.

• Dashboard Bots: Zákazníci mohou snadno zobrazit aktivitu botů až 30 dní zpětně a filtrovat podle bot score i dalších filtrů pro boty, provoz a požadavky. zpětnovazební smyčka pro roboty umožňuje zákazníkům nahlásit Cloudflare falešně pozitivní i falešně negativní výsledky k dalšímu prošetření.

• Security Analytics: Security Analytics spojuje veškeré detekční schopnosti Cloudflare do jednoho dashboardu a poskytuje ucelený přehled o veškerém provozu na webu. Graf a widget Bots Likelihood umožňují snadno sledovat a filtrovat provoz podle bot score a příslušné kategorizace Automated, Likely Automated, Human a Likely Human.

• Události: Stránka Events zobrazuje všechny události, u kterých WAF provedl nějakou akci. Události i protokoly lze snadno filtrovat podle bot score a dalších kritérií pro boty, provoz nebo požadavky.

• Log Explorer: Zákazníci mohou pomocí Log Explorer získat další podrobná data z protokolů. Protokoly lze snadno filtrovat podle bot score a dalších kritérií pro boty, provoz nebo požadavky.

• Log Push: Zákazníci mohou protokoly exportovat také do SIEM třetí strany nebo do analytické platformy. Součástí exportu protokolů může být bot score, zdroj bot score, ID detekce bota i štítky detekce bota.

  Tok provozu Bot Management

1. Klientský požadavek je prostřednictvím anycastu odeslán do nejbližšího Cloudflare datacentra, což zajišťuje nízkou latenci.
2. Cloudflare při detekci botů uplatňuje vrstvený přístup: každý detekční mechanismus ovlivňuje bot score, které Cloudflare přiřadí danému požadavku. Každému požadavku se přiřadí bot score v rozsahu 1 až 99 včetně.
3. Jakmile všechny detekční mechanismy Cloudflare zpracují požadavek klienta a přiřadí mu bot score, spustí se definované bezpečnostní zásady, z nichž některé mohou bot score rovněž využívat. Na základě přiřazeného bot score lze provést různé akce, včetně block, allow, rate limit a jedné z akcí challenge.
4. Cloudflare poskytuje analýzy a přehledy o provozu a požadavcích procházejících sítí Cloudflare. Zákazníci mohou pomocí dashboardů Bots, Security Analytics, Events a Log Explorer sledovat celkový provoz a aktivitu botů na svém webu. Zákazníci mohou také exportovat protokoly do externích platforem SIEM a analytických platforem třetích stran.

• Cloudflare Bot Management Product Page ↗
• Cloudflare Blog - Bot Management ↗
• Dokumentace k botům
• Video: Cloudflare Bot Management a Turnstile s ukázkou ↗