← R2 Data Catalog / r2-data-catalog

R2 Data Catalog

R2 Data Catalog является управляемым Apache Iceberg ↗ каталог данных, встроенный непосредственно в ваш бакет R2. Он предоставляет стандартный интерфейс REST-каталога Iceberg, поэтому вы можете подключать уже используемые вами движки, например Spark, Snowflake, а также PyIceberg.

R2 Data Catalog позволяет легко превратить бакет R2 в хранилище данных или lakehouse для различных аналитических нагрузок, включая анализ логов, бизнес-аналитику и конвейеры данных. Благодаря модели R2 с нулевой платой за исходящий трафик пользователи и потребители данных могут получать доступ к данным и анализировать их из разных облаков, платформ данных или регионов без затрат на передачу данных.

Чтобы начать работу с R2 Data Catalog, см. R2 Data Catalog: начало работы.

Apache Iceberg ↗ это открытый формат таблиц, предназначенный для работы с масштабными аналитическими наборами данных в объектном хранилище. Ключевые возможности:

• ACID транзакции - обеспечивают надежное параллельное чтение и запись с полной целостностью данных.
• Оптимизированные метаданные: помогают избежать затратных полных сканирований таблиц благодаря использованию индексированных метаданных для более быстрых запросов.
• Полная эволюция схемы: позволяет добавлять, переименовывать и удалять столбцы без перезаписи данных.

Iceberg уже широко поддерживается ↗ такими движками, как Apache Spark, Trino, Snowflake, DuckDB и ClickHouse, и опирается на быстрорастущее сообщество.

Хотя сами файлы данных и метаданных Iceberg находятся непосредственно в объектном хранилище (например, R2), список таблиц и указателей на текущие метаданные должен централизованно отслеживаться каталогом данных.

Каталог данных можно сравнить с алфавитным каталогом библиотеки. Книги (ваши данные) физически хранятся на разных полках (объектное хранилище), а каталог служит единым источником достоверной информации о том, какие книги существуют, где они находятся и какое у них последнее издание. Без такого каталога читателям (движкам запросов) пришлось бы тратить время на поиск книг, они могли бы обращаться к устаревшим версиям или случайно расставлять новые книги так, что найти их становится невозможно.

Аналогичным образом каталоги данных обеспечивают согласованный и скоординированный доступ, что позволяет нескольким движкам запросов безопасно читать и записывать данные в одни и те же таблицы без конфликтов и повреждения данных.