INTEGRITY Документация

← Cloudflare Logs / logs / logpush / logpush-job / enable-destinations

Включите Google Cloud Storage

Cloudflare Logpush поддерживает отправку журналов напрямую в Google Cloud Storage (GCS) через панель управления Cloudflare или API.

Управление через панель управления Cloudflare

  1. На панели управления Cloudflare перейдите к разделу Logpush на уровне аккаунта или домена (также называемого зоной).

    Для аккаунта: Перейдите в Logpush ↗

    Для домена (также называемого зоной): Перейдите в Logpush ↗

  2. В зависимости от выбора вам доступны наборы данных уровня аккаунта и наборы данных, привязанные к зоне, соответственно.

  3. Выберите Создание задания Logpush.

  1. В Выберите пункт назначения, выберите Google Cloud Storage.

  2. Введите или выберите следующие данные о получателе:

    • Бакет - Имя бакета GCS
    • Путь - расположение бакета внутри контейнера хранилища
    • Распределяйте журналы по ежедневным подпапкам (рекомендуется)
    • Для Предоставьте Cloudflare доступ для загрузки файлов в ваш бакет, убедитесь, что в вашем bucket IAM Cloudflare добавлен в качестве пользователя с роль Storage Object Admin ↗.

Когда вы закончите вводить данные получателя, выберите Продолжение.

  1. Для подтверждения владения Cloudflare отправит файл в указанное вами место назначения. Чтобы найти токен, выберите Открыто кнопку в Обзор вкладке файла подтверждения владения, затем вставьте его в панель управления Cloudflare, чтобы подтвердить доступ к бакету. Введите Токен владения и выберите Продолжение.

  2. Выберите набор данных для отправки в хранилище.

  3. На следующем шаге настройте задание Logpush:

    • Введите Название задания.
    • В разделе Если журналы соответствуют, вы можете выбрать, какие события включить в журналы или исключить из них. См. Фильтры с дополнительной информацией. Эта опция доступна не для всех наборов данных.
    • В Отправьте следующие поля, вы можете либо отправлять в хранилище назначения все журналы, либо выбирать, какие журналы отправлять.

  4. В Advanced Options, вы можете:

    • Выберите формат полей отметки времени в своих журналах (RFC3339 (по умолчанию), Unix, или UnixNano).
    • Выберите частота сэмплирования для ваших журналов или отправлять случайно выбранный процент журналов.
    • Включите скрытие данных для CVE-2021-44228. Эта опция заменит каждое вхождение ${ с x{.

  5. Выберите Отправить после того как настройка задания Logpush завершена.

Создание бакета GCS и получение доступа к нему

Cloudflare использует Google Cloud Identity and Access Management (IAM) для получения доступа к вашему бакету. Сервисному аккаунту IAM Cloudflare необходимы права администратора для этого бакета.

Убедитесь Log Share разрешения включены, прежде чем пытаться читать или настраивать задание Logpush. Дополнительные сведения см. в Раздел Roles.


Чтобы включить Logpush для GCS:

  1. Создайте бакет GCS. См. инструкции от GCS ↗.

  2. В Хранилище > Браузер > Бакет > Разрешения, добавьте участника [email protected] с Storage Object Admin разрешение.

Сжатие и декомпрессионное транскодирование

Logpush всегда доставляет файлы журналов в формате, сжатом с помощью gzip. При загрузке в GCS Logpush устанавливает Content-Encoding: gzip в метаданных объекта.

GCS выполняет декомпрессивное транскодирование ↗ по умолчанию. Это означает, что когда клиент скачивает объект, сохранённый с Content-Encoding: gzip, GCS может автоматически распаковать файл при передаче, если клиент не включает Accept-Encoding: gzip в заголовках запроса. В этом случае скачанный файл содержит несжатые данные, хотя имя файла сохраняет .gz расширение.

Чтобы скачать файлы журналов в исходном сжатом формате, используйте один из следующих способов: