← Cloudflare Logs / logs / logpush / logpush-job / enable-destinations

Включите совместимые с S3 конечные точки

Cloudflare Logpush поддерживает отправку журналов в совместимые с S3 хранилища через панель управления Cloudflare или API, в том числе:

Дополнительную информацию о Logpush и текущих продакшен-API см. в Cloudflare Logpush документация.

Управление через панель управления Cloudflare

На панели управления Cloudflare перейдите к разделу Logpush на уровне аккаунта или домена (также называемого зоной).

Для аккаунта: Перейдите в Logpush ↗

Для домена (также называемого зоной): Перейдите в Logpush ↗
В зависимости от выбора вам доступны наборы данных уровня аккаунта и наборы данных, привязанные к зоне, соответственно.
Выберите Создание задания Logpush.

В Выберите пункт назначения, выберите S3-совместимый.
Введите или выберите следующую информацию о получателе:
- Бакет - Имя бакета, совместимого с S3
- Путь - расположение бакета внутри контейнера хранилища
- Распределяйте журналы по ежедневным подпапкам (рекомендуется)
- Endpoint URL - URL без имени бакета или пути. Пример: sfo2.digitaloceanspaces.com.
- Регион бакета
- Access Key ID
- Secret Access Key

Когда вы закончите вводить данные получателя, выберите Продолжение.

Выберите набор данных для отправки в хранилище.
На следующем шаге настройте задание Logpush:
- Введите Название задания.
- В разделе Если журналы соответствуют, вы можете выбрать, какие события включить в журналы или исключить из них. См. Фильтры с дополнительной информацией. Эта опция доступна не для всех наборов данных.
- В Отправьте следующие поля, вы можете либо отправлять в хранилище назначения все журналы, либо выбирать, какие журналы отправлять.
В Advanced Options, вы можете:
- Выберите формат полей отметки времени в своих журналах (RFC3339 (по умолчанию), Unix, или UnixNano).
- Выберите частота сэмплирования для ваших журналов или отправлять случайно выбранный процент журналов.
- Включите скрытие данных для CVE-2021-44228. Эта опция заменит каждое вхождение ${ с x{.
Выберите Отправить после того как настройка задания Logpush завершена.

Управление через API

Чтобы настроить конечные точки, совместимые с S3:

Создайте задание, указав соответствующий URL конечной точки и параметры аутентификации.
Включите задание, чтобы оно начало отправлять журналы.

Убедитесь Log Share разрешения включены, прежде чем пытаться читать или настраивать задание Logpush. Дополнительные сведения см. в Раздел Roles.

1. Создайте задание

Чтобы создать задание, выполните POST запрос к конечной точке заданий Logpush со следующими полями:

имя (необязательно) - Используйте имя своего домена в качестве имени задания.
destination_conf - Получатель журналов, состоящий из имени эндпойнта, имени бакета, пути бакета, региона, access-key-id и secret-access-key в следующем формате строки:

"s3://<BUCKET_NAME>/<BUCKET_PATH>?region=<REGION>&access-key-id=<ACCESS_KEY_ID>&secret-access-key=<SECRET_ACCESS_KEY>&endpoint=<ENDPOINT_URL>"

dataset - Категория журналов, которые вы хотите получать. См. Наборы данных для полного списка поддерживаемых наборов данных.
output_options (необязательно) - Чтобы настроить поля, частоту выборки и формат временной метки, см. Параметры вывода журнала.

Пример запроса с использованием cURL:

Необходимые разрешения API-токена

Хотя бы одно из следующих права доступа токена требуется:

Logs Write

Создать задание Logpush

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/logpush/jobs" \
	--request POST \
	--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
	--json '{
		"name": "<DOMAIN_NAME>",
		"destination_conf": "s3://<BUCKET_NAME>/<BUCKET_PATH>?region=<REGION>&access-key-id=<ACCESS_KEY_ID>&secret-access-key=<SECRET_ACCESS_KEY>&endpoint=<ENDPOINT_URL>",
		"output_options": {
				"field_names": [
						"ClientIP",
						"ClientRequestHost",
						"ClientRequestMethod",
						"ClientRequestURI",
						"EdgeEndTimestamp",
						"EdgeResponseBytes",
						"EdgeResponseStatus",
						"EdgeStartTimestamp",
						"RayID"
				],
				"timestamp_format": "rfc3339"
		},
		"dataset": "http_requests",
		"enabled": true
	}'

Ответ:

{
  "errors": [],
  "messages": [],
  "result": {
    "id": <JOB_ID>,
    "dataset": "http_requests",
    "kind": "",
    "enabled": true,
    "name": "<DOMAIN_NAME>",
    "output_options": {
      "field_names": ["ClientIP", "ClientRequestHost", "ClientRequestMethod", "ClientRequestURI", "EdgeEndTimestamp","EdgeResponseBytes", "EdgeResponseStatus", "EdgeStartTimestamp", "RayID"],
      "timestamp_format": "rfc3339"
    },
    "destination_conf": "s3://<BUCKET_NAME>/<BUCKET_PATH>?region=<REGION>&access-key-id=<ACCESS_KEY_ID>&secret-access-key=<SECRET_ACCESS_KEY>&endpoint=<ENDPOINT_URL>",
    "last_complete": null,
    "last_error": null,
    "error_message": null
  },
  "success": true
}

См. Управлять Logpush с помощью cURL чтобы обновить задание (включая включение и отключение).