← Cloudflare Logs / logs / logpull

Дополнительные сведения

Чтобы оценить объём данных зоны за день (количество строк журнала и занимаемый ими объём в байтах), запросите 1% или 10% выборку данных за период в 1 час (используйте 10%, если ваш объём невелик). Обратите внимание, что start=2018-12-15T00:00:00Z и end=2018-12-15T01:00:00Z охватывают период в 1 час, а sample=0.1.

curl "https://api.cloudflare.com/client/v4/zones/{zone_id}/logs/received?start=2018-12-15T00:00:00Z&end=2018-12-15T01:00:00Z&sample=0.1" \
--header "X-Auth-Email: <EMAIL>" \
--header "X-Auth-Key: <API_KEY>" \
> sample.log

wc -l sample.log

83 sample.log

ls -lh sample.log

-rw-r--r-- 1 mik mik 25K Dec 17 15:49 sample.log

Исходя из этих данных, примерное количество сообщений в сутки составит 19,920 (83 × 10 × 24), а объем в байтах: 6MB (25K × 10 × 24). Эта оценка объема основана на наборе полей ответа по умолчанию. Если изменить набор полей ответа (см. Поля) изменит размер ответа.

Чтобы получить достоверную оценку суточного трафика, лучше всего иметь в часовой выборке не менее 30 строк журнала. Если размер ответа слишком мал (или слишком велик), изменяйте значение выборки, а не временной диапазон.

Ответы по умолчанию сжимаются (gzip). cURL прозрачно распаковывает ответы, если не вызывается с:

--header "Accept-Encoding: gzip"

В этом случае выходные данные остаются сжатыми в формате gzip. Сжатые данные занимают примерно 5-10% от размера несжатых. Это значит, что несжатый ответ размером 1 ГБ сжимается до 50-100 МБ.

Если превышен лимит ответа или время ожидания, либо при получении ответа возникла какая-либо проблема, 200 статус, и ответ завершится не-JSON строкой текста «Error streaming data.» Поскольку ответы передаются потоково, заранее определить ошибку невозможно. Ответ считается успешным, если он не заканчивается строкой текста «Error streaming data».

После получения успешного ответа для заданной зоны и периода времени для всех последующих запросов верно следующее:

• Количество и содержимое возвращённых записей будут одинаковыми.
• Порядок возвращённых записей может отличаться (и, скорее всего, будет отличаться).

Что касается включения поля параметр:

• Если поля явно указаны в URL запроса, возвращаемые поля не изменятся.
• Если в URL они не указаны, возвращаются поля по умолчанию.
• Поля по умолчанию могут изменяться в любое время.

Действуют следующие ограничения на использование:

• Лимиты скорости: Превышение этих лимитов приводит к 429 ошибку:
  • 15 запросов в минуту на зону.
  • 180 запросов в минуту на пользователя (адрес электронной почты).
• Временной диапазон: Максимальная разница между start и end параметров может составлять 1 час.
• Размер ответа: Максимальный размер ответа составляет 10 ГиБ на запрос, что соответствует примерно 15 млн записей при выборе около 55 полей (при выборе меньшего числа полей можно получить больше записей, так как размер одной записи будет меньше).
• Тайм-аут: Ответ завершится ошибкой из-за разрыва соединения через 10 минут.
• Тайм-аут потока: Запрос будет прерван с 408 ошибку, если соединение простаивает 30 секунд. Это истечение времени ожидания обычно означает, что запрос, вероятно, слишком ресурсоёмкий (частые тайм-ауты, более 12 в час, приведут к тому, что последующие запросы будут блокироваться со статусом 429 на 1 час), и поэтому:
  • Попробуйте запросить записи с меньшим числом полей.
  • попробуйте с меньшим start и end параметры.