← Cloudflare Pipelines / pipelines / sinks / available-sinks

R2 Data Catalog

R2 Data Catalog sinky zapisují zpracovaná data z pipeline jako Apache Iceberg ↗ tabulky do R2 Data Catalog. Tabulky Iceberg poskytují ACID transakce, vývoj schématu a možnost návratu k dřívějším verzím dat pro analytické úlohy.

Chcete-li vytvořit R2 Data Catalog sink, spusťte příkaz pipelines sinks create příkaz a zadejte typ sinku, cílový bucket, jmenný prostor a název tabulky:

npx wrangler pipelines sinks create my-sink \
  --type r2-data-catalog \
  --bucket my-bucket \
  --namespace my_namespace \
  --table my_table \
  --catalog-token YOUR_CATALOG_TOKEN

Sink vytvoří zadaný jmenný prostor a tabulku, pokud ještě neexistují. Sinks nelze vytvořit pro již existující tabulky Iceberg.

R2 Data Catalog sinky podporují pouze formát Parquet. Formát JSON není pro tabulky Iceberg podporován.

Nakonfigurujte kompresi Parquet pro optimální výkon ukládání a dotazů:

--compression zstd

Dostupné možnosti komprese:

• zstd (výchozí) - nejlepší kompresní poměr
• snappy - nejrychlejší komprese
• gzip - dobrá komprese, široce podporovaná
• lz4 - rychlá komprese s rozumným poměrem
• uncompressed - bez komprese

Skupiny řádků ↗ jsou sady řádků v souboru Parquet, které jsou uloženy společně a ovlivňují využití paměti a výkon dotazů. Cílovou velikost skupiny řádků nastavte v MB:

--target-row-group-size 256

Určete, kdy se mají data zapisovat do tabulek Iceberg. Nastavení upravte podle svých potřeb:

• Nižší hodnoty: Častější zápisy, menší soubory, nižší latence
• Vyšší hodnoty: Méně časté zápisy, větší soubory, lepší výkon dotazů

Nastavte, jak často se mají soubory zapisovat (výchozí hodnota: 300 sekund, minimum: 60 sekund):

--roll-interval 60  # Write files every 60 seconds

Minimální interval pro R2 Data Catalog sinky je 60 sekund, aby se předešlo problémům s kompaktací. Tabulky Iceberg vyžadují pravidelnou kompaktaci, která slučuje malé soubory do větších kvůli optimálnímu výkonu dotazů. Příliš časté zápisy způsobují konflikty s procesem kompaktace.

Nastavte maximální velikost souboru v MB, po jejímž dosažení se vytvoří nový soubor:

--roll-size 100  # Create new file after 100MB

R2 Data Catalog sinky vyžadují API token s R2 Admin Read & Write permissions. Toto oprávnění uděluje sinku přístup jak k R2 Data Catalog, tak k úložišti R2.

--catalog-token YOUR_CATALOG_TOKEN