INTEGRITY Документация

← Cloudflare Pipelines / pipelines

Cloudflare Pipelines

Принимайте, преобразуйте и загружайте потоковые данные в Apache Iceberg или Parquet в R2.

Доступно на платных тарифных планах

Cloudflare Pipelines принимает события, преобразует их с помощью SQL и доставляет в R2 в виде Таблицы Iceberg или в виде файлов Parquet и JSON.

Pipelines обеспечивает надёжный приём данных через HTTP-эндпоинты или привязки Worker, преобразования на основе SQL и доставку в R2 ровно один раз, будь то журналы серверов, события мобильных приложений, телеметрия IoT или данные о кликах. Это позволяет легко создавать хранилища и озёра данных, готовые к аналитике, без необходимости управлять инфраструктурой потоковой обработки.

Создайте свой первый pipeline, выполнив действия из руководство по началу работы или запустив этот Wrangler команда:

npx wrangler pipelines setup

Возможности

Создайте свой первый pipeline

Создайте свой первый pipeline: настройте приём данных через HTTP или Workers, примените преобразования SQL и выгружайте результат в R2 в виде таблиц Iceberg или файлов Parquet.

Streams

Устойчивые буферизованные очереди, которые принимают события через HTTP-эндпоинты или Worker bindings.

Pipelines

Соединяйте stream и sink с помощью преобразований SQL, которые проверяют, фильтруют, преобразуют и обогащают данные на этапе приёма.

Приёмники

Настройте назначения для ваших данных: записывайте таблицы Apache Iceberg в R2 Data Catalog или экспортируйте их в файлы Parquet и JSON.

Примеры

Изучите комплексные примеры, в том числе о том, как распределить один stream по нескольким таблицам Iceberg.

R2

Cloudflare R2 Object Storage позволяет разработчикам хранить большие объёмы неструктурированных данных без высокой платы за исходящий трафик, характерной для типичных облачных хранилищ.

Workers

Cloudflare Workers позволяет разработчикам создавать бессерверные приложения и мгновенно развёртывать их по всему миру, обеспечивая исключительную производительность, надёжность и масштабируемость.

Дополнительные ресурсы

Лимиты

Подробнее об ограничениях pipelines.

@CloudflareDev

Подпишитесь на @CloudflareDev в Twitter, чтобы узнавать об анонсах продуктов и новостях Cloudflare Workers.

Discord для разработчиков

Присоединяйтесь к сообществу Workers в Discord, чтобы задавать вопросы, делиться тем, что вы разрабатываете, и обсуждать платформу с другими разработчиками.

Содержание

39 страниц, зеркалированных из документации Cloudflare для pipelines.

Pages

Примеры

Observability

Pipelines

Платформа

Справочник

Приёмники

справочник по SQL

Streams