← Analytics / analytics

Vysvětlení vzorkování v Cloudflare Analytics

Vzorkování ↗ je technika používaná v analytice k analýze podmnožiny dat namísto zpracování každého jednotlivého datového bodu. V Cloudflare Analytics vzorkování zajišťuje efektivní výkon a škálovatelnost při zachování vysoké přesnosti a spolehlivosti. Tento dokument poskytuje komplexní přehled o tom, jak vzorkování funguje, proč se používá a jaký má dopad na analytiku v různých nástrojích Cloudflare.

Používáme metodu vzorkování nazvanou Adaptive Bit Rate (ABR) ↗ aby dotazy proběhly rychle i při práci s rozsáhlými datovými sadami. ABR dynamicky upravuje míru podrobnosti získaných dat podle složitosti a délky dotazu. Tím se zajišťuje spravedlivé rozdělení zdrojů: velké nebo složité dotazy nespotřebují neúměrné množství výpočetních prostředků, což by jinak mohlo zpomalit nebo zablokovat menší dotazy. Díky rovnoměrnějšímu rozdělení prostředků udržuje ABR stabilní výkon pro všechny uživatele bez ohledu na velikost datové sady.

To umožňuje, že data se ukládají ve více rozlišeních (100 %, 10 %, 1 %), z nichž každé představuje jiné procento vzorkování. Při spuštění dotazu vybírá ABR nejvhodnější rozlišení podle složitosti dotazu a počtu řádků, které je třeba načíst. Díky dynamickému přizpůsobování rozlišení dat ABR optimalizuje výkon a předchází zpožděním. Tím se odlišuje od systémů, které si u velkých datových sad nedokážou poradit s časovými limity, chybami nebo vysokými náklady.

Datový pipeline Cloudflare zpracovává přes 700 milionů událostí za sekundu ↗ (a stále roste) napříč celou globální sítí Cloudflare. Zpracování a ukládání všech těchto dat v reálném čase by bylo neúnosně nákladné a časově náročné. Díky pečlivě navrženým metodám vzorkování proto Cloudflare Analytics poskytuje přesná a využitelná data a zároveň vyvažuje přesnost s výkonem.

Vzorkování umožňuje:

• Škálovatelnost: Snižuje objem zpracovávaných dat, aniž by to ovlivnilo vypovídací hodnotu výsledků.
• Výkon: Zrychluje provádění dotazů pro analýzu.
• Nákladová efektivita: Minimalizuje využití zdrojů a nároky na úložiště.

Vzorkovaná data jsou vysoce spolehlivá a mohou poskytovat stejně důvěryhodné poznatky jako data odvozená z úplných datových sad. Cloudflare navrhuje techniky vzorkování tak, aby zachytily základní charakteristiky celé datové sady, a přinesly tak výsledky, na které se můžete spolehnout.

Vzorkování je přístup používaný podobně i v jiných oblastech, například:

• Google Maps: Stejně jako online mapy zobrazují při oddálení obrázky s nižším rozlišením a při přiblížení obrázky s vyšším rozlišením (celkový počet pixelů tak zůstává přibližně konstantní), Cloudflare Analytics dynamicky upravuje míru vzorkování, aby efektivně poskytovala přehledy a zajistila, že dotazy vrátí konzistentní a přesné výsledky bez ohledu na velikost datové sady.

• Průzkumy veřejného mínění: Podobně jako průzkumníci veřejného mínění predikují výsledky voleb na základě vzorku populace, Cloudflare vzorkuje část vašich dat, aby poskytl přesné celosystémové přehledy.

• Filmové snímky: Sledování filmu při 30 snímcích za sekundu (fps) místo 60 fps nezmění celkový zážitek, podobně jako analýza menšího počtu datových bodů stále odhaluje stejné vzorce a trendy ve vaší datové sadě analytiky.

Chápeme, že přesné ověření rozlišení výsledků dotazu ABR může být v tuto chvíli obtížné. Obecně ale platí, že si můžete zkontrolovat počet přečtených řádků: čím vyšší je toto číslo, tím vyšší je rozlišení výsledků. Výsledky založené na tisících řádků jsou tak s vysokou pravděpodobností reprezentativní, zatímco výsledky založené jen na několika řádcích mohou být méně spolehlivé.

V blízké budoucnosti plánujeme spolu s výsledky dotazů zpřístupnit i intervaly spolehlivosti, abyste přesně viděli, jak přesné vaše výsledky jsou.

Kdy dochází ke vzorkování

• Vzorkování se obvykle používá u datových sad s velmi vysokým provozem, kde by úplná analýza dat byla nepraktická.
• U menších datových sad se úplná analýza dat často provádí bez vzorkování.

Míry vzorkování

• Míra vzorkování se liší podle datové sady a produktu.
• Cloudflare zajišťuje, aby byla míra vzorkování v rámci jednoho datasetu konzistentní, a zachovává tak přesnost napříč dotazy.

Dopad na metriky

• Vzorkování sice snižuje objem zpracovávaných dat, ale agregované metriky, jako jsou součty, průměry a percentily, se extrapolují podle velikosti vzorku. Díky tomu vykazované metriky přesně reprezentují celou datovou sadu.

Omezení

• Vzorkování nemusí zachytit extrémně vzácné události s velmi nízkou frekvencí výskytu.

Vzorkování v analytických rozhraních

• GraphQL API: Metadata o vzorkování jsou součástí odpovědi na dotaz. Další informace najdete v části o vzorkování GraphQL Analytics API dokumentace.
• Workers Analytics Engine: Další informace najdete v Workers Analytics Engine dokumentace.
• Dashboard Analytics: Zobrazuje ikonu s procentem vzorkovaných dat, pokud byla pro vizualizaci použita vzorkovaná data.