← Cloudflare Logs / logs / logpush / logpush-job / enable-destinations
Включите Cloudflare Pipelines
Cloudflare Pipelines принимает события, преобразует их с помощью SQL, и доставляет их в R2 как Iceberg таблицы или в виде файлов Parquet и JSON. Logpush может записывать данные в Pipelines как в нативное назначение.
Вместо того чтобы отправлять необработанные журналы напрямую в бакет хранилища в формате JSON, Logpush может направлять их в Pipeline, где данные фильтруются, обогащаются и преобразуются в таблицы Parquet или Apache Iceberg, управляемые R2 Data Catalog. Благодаря этому данные становятся гораздо компактнее и лучше подходят для аналитики, например для запросов с помощью R2 SQL.
Приёмник Pipelines поддерживает следующие наборы данных Logpush:
| Область действия | Наборы данных |
|---|---|
| Zone | http_requests, firewall_events, dns_logs |
| Аккаунт | workers_trace_events |
Полный список полей, доступных в каждом наборе данных, приведён в Наборы данных.
Управление через панель управления Cloudflare
- На панели управления Cloudflare перейдите к разделу Logpush на уровне аккаунта или домена (также называемого зоной).
- Для аккаунта: Перейдите в Logpush ↗
- Для домена (также называемого зоной): Перейдите в Logpush ↗
- Выберите Создание задания Logpush.
- Выберите Pipelines в качестве назначения.
- В Набор данных шаге выберите набор данных из выпадающего списка.
- Имя Pipeline генерируется автоматически, но вы можете его изменить.
- В Назначение шаге настройте назначение:
- Выберите существующий бакет R2 или введите новое имя, чтобы создать его в процессе настройки.
- Выберите формат хранения: Parquet, JSON или R2 Data Catalog (Apache Iceberg).
- Если вы выбираете R2 Data Catalog, укажите пространство имён каталога и название таблицы.
- При необходимости разверните Настройки доставки для настройки размера ротации, интервала ротации и других параметров, специфичных для назначения. Подробнее об этих параметрах см. Документация по Pipelines Sinks.
- В Преобразование шаге выберите, как обрабатывать логи перед записью в Sink:
- Простой пересылает все поля без изменений (значение по умолчанию).
- Пользовательский SQL открывает редактор SQL, в котором можно фильтровать, преобразовывать и обогащать данные. См. Справочник по SQL для Pipelines для полного списка функций SQL.
- В Проверить шаге проверьте конфигурацию и выберите Создание. Это автоматически создаёт все необходимые ресурсы, включая Stream, Sink, учётные данные R2 или токен Data Catalog, Pipeline, и задание Logpush.