← R2 Data Catalog / r2-data-catalog

R2 Data Catalog

R2 Data Catalog je spravovaný Apache Iceberg ↗ katalog dat zabudovaný přímo do vašeho R2 bucketu. Poskytuje standardní rozhraní Iceberg REST catalog, takže se s ním můžete propojit s enginy, které již používáte, například Spark, Snowflake, a PyIceberg.

R2 Data Catalog usnadňuje přeměnu R2 bucketu na datový sklad nebo lakehouse pro nejrůznější analytické úlohy, včetně log analytics, business intelligence a datových pipeline. Díky modelu R2 bez poplatků za odchozí přenos dat mohou uživatelé a spotřebitelé dat přistupovat k datům a analyzovat je napříč různými cloudy, datovými platformami nebo regiony, aniž by jim vznikly náklady za přenos.

Chcete-li začít s R2 Data Catalog, přečtěte si R2 Data Catalog: Začínáme.

Apache Iceberg ↗ je otevřený formát tabulek určený pro práci s rozsáhlými analytickými datovými sadami uloženými v objektovém úložišti. Mezi jeho klíčové vlastnosti patří:

• ACID transakce - zajišťují spolehlivé souběžné čtení a zápis s plnou integritou dat.
• Optimalizovaná metadata - díky indexovaným metadatům se vyhnete nákladnému procházení celé tabulky a dotazy proběhnou rychleji.
• Úplná evoluce schématu - umožňuje přidávat, přejmenovávat a mazat sloupce bez nutnosti přepisovat data.

Iceberg je již široce podporovaný ↗ enginy jako Apache Spark, Trino, Snowflake, DuckDB a ClickHouse, a stojí za ním rychle rostoucí komunita.

Ačkoli samotné datové a metadatové soubory Iceberg jsou uloženy přímo v objektovém úložišti (jako R2), seznam tabulek a ukazatele na aktuální metadata musí centrálně spravovat datový katalog.

Datový katalog si můžete představit jako rejstřík knihovny. Zatímco knihy (vaše data) jsou fyzicky rozmístěny na různých policích (objektové úložiště), rejstřík poskytuje jediný zdroj pravdy o tom, jaké knihy existují, kde se nacházejí a jaká je jejich nejnovější verze. Bez tohoto rejstříku by čtenáři (query enginy) ztráceli čas hledáním knih, mohli by přistupovat k zastaralým verzím nebo by mohli nové knihy omylem zařadit tak, že by je už nikdo nenašel.

Datové katalogy obdobně zajišťují konzistentní a koordinovaný přístup, díky němuž mohou různé query enginy bezpečně číst ze stejných tabulek a zapisovat do nich, aniž by docházelo ke konfliktům nebo poškození dat.