← Cloudflare Logs / logs / logpush / logpush-job / enable-destinations
Povolení Cloudflare Pipelines
Cloudflare Pipelines přijímá události, transformuje je pomocí SQL, a doručuje je do R2 jako Iceberg tabulek nebo jako soubory Parquet a JSON. Logpush umí zapisovat data do Pipelines jako do nativního cíle.
Místo přímého odesílání surových protokolů do úložného bucketu ve formátu JSON může Logpush protokoly směrovat do Pipeline, kde se data filtrují, obohacují a převádějí do tabulek Parquet nebo Apache Iceberg spravovaných R2 Data Catalog. Díky tomu jsou data mnohem kompaktnější a optimalizovaná pro analýzy, například dotazování pomocí R2 SQL.
Cíl Pipelines podporuje následující datasety Logpush:
| Rozsah | Datové sady |
|---|---|
| Zóna | http_requests, firewall_events, dns_logs |
| Účet | workers_trace_events |
Úplný seznam polí dostupných v jednotlivých datových sadách najdete v Datové sady.
Správa přes dashboard Cloudflare
- V dashboardu Cloudflare přejděte na Logpush stránku na úrovni účtu nebo domény (známé také jako zóna).
- Pro účet: Přejděte na Logpush ↗
- Pro doménu (známou také jako zóna): Přejděte na Logpush ↗
- Vyberte Vytvoření úlohy Logpush.
- Vyberte Pipelines jako cíl.
- V Dataset kroku vyberte datovou sadu z rozbalovací nabídky.
- Název Pipeline se generuje automaticky, ale můžete ho upravit.
- V Cíl kroku nakonfigurujte cíl:
- Vyberte existující bucket R2, nebo zadejte nový název, čímž se během nastavení vytvoří nový.
- Zvolte formát úložiště: Parquet, JSON nebo R2 Data Catalog (Apache Iceberg).
- Pokud vyberete R2 Data Catalog, zadejte jmenný prostor katalogu a název tabulky.
- Volitelně rozbalte Nastavení doručování ke konfiguraci nastavení roll size, roll interval a dalších nastavení specifických pro daný cíl. Další informace o těchto nastaveních najdete v Dokumentace k Pipelines Sinks.
- V Transformace kroku zvolte, jak se mají protokoly zpracovat, než budou zapsány do Sink:
- Jednoduché přeposílá všechna pole beze změny (výchozí nastavení).
- Vlastní SQL otevře editor SQL, kde můžete data filtrovat, transformovat a obohacovat. Viz Referenční příručka SQL pro Pipelines pro úplný seznam SQL funkcí.
- V Zkontrolovat kroku zkontrolujte konfiguraci a vyberte Vytvořit. Tím se automaticky vytvoří všechny potřebné prostředky, včetně Stream, Sink, přihlašovací údaje R2 nebo token Data Catalog, Pipeline, a úlohu Logpush.