INTEGRITY Dokumentace

← Cloudflare Pipelines / pipelines

Cloudflare Pipelines

Přijímejte, transformujte a načítejte streamovaná data do Apache Iceberg nebo Parquet v R2.

K dispozici v placených plánech

Cloudflare Pipelines přijímá události, transformuje je pomocí SQL a doručuje je do R2 jako Tabulky Iceberg nebo jako soubory Parquet a JSON.

Ať už zpracováváte protokoly serverů, události mobilních aplikací, telemetrii IoT nebo clickstreamová data, Pipelines poskytuje trvalý příjem dat přes HTTP endpointy nebo Worker bindings, SQL transformace a doručování do R2 přesně jednou. Díky tomu můžete snadno budovat datové sklady a lakehousy připravené pro analýzu, aniž byste museli spravovat streamovací infrastrukturu.

Svůj první pipeline vytvořte podle úvodní příručka nebo spuštěním tohoto Wrangler příkaz:

npx wrangler pipelines setup

Funkce

Vytvořte svůj první pipeline

Vytvořte svou první pipeline pro příjem dat přes HTTP nebo Workers, použijte SQL transformace a doručte data do R2 jako tabulky Iceberg nebo soubory Parquet.

Streams

Trvalé fronty s vyrovnávací pamětí, které přijímají události přes HTTP endpointy nebo Worker bindings.

Pipelines

Propojte streamy se sinky pomocí SQL transformací, které při příjmu dat provádějí validaci, filtrování, transformaci a obohacení.

Sinks

Nakonfigurujte cílová umístění pro svá data. Zapisujte tabulky Apache Iceberg do R2 Data Catalog nebo je exportujte jako soubory Parquet a JSON.

Příklady

Projděte si příklady od začátku do konce, včetně toho, jak rozdělit jeden stream do více tabulek Iceberg.

R2

Cloudflare R2 Object Storage umožňuje vývojářům ukládat velké objemy nestrukturovaných dat bez nákladných poplatků za odchozí přenos dat, které jsou typické pro běžné cloudové úložné služby.

Workers

Cloudflare Workers umožňují vývojářům vytvářet bezserverové aplikace a okamžitě je nasazovat po celém světě, a to s vynikajícím výkonem, spolehlivostí a škálovatelností.

Další zdroje

Limity

Přečtěte si o limitech pipelines.

@CloudflareDev

Sledujte @CloudflareDev na Twitteru, kde se dozvíte o novinkách v produktech a o tom, co je nového v Cloudflare Workers.

Developer Discord

Zapojte se do komunity Workers na Discordu, pokládejte otázky, ukazujte, co tvoříte, a diskutujte o platformě s dalšími vývojáři.

Obsah

39 stránek zrcadlených z dokumentace Cloudflare pro pipelines.

Pages

Příklady

Observabilita

Pipelines

Platforma

Referenční informace

Sinks

reference SQL

Streams