← Cloudflare Logs / logs / logpush
Logpush Health Dashboards
Logpush Health Dashboards дают четкое представление о производительности и надежности ваших заданий Logpush. Вы можете отслеживать статус доставки журналов, диагностировать проблемы и оценивать объем данных, отправляемых в настроенные получатели. Это помогает убедиться, что важные для безопасности, соответствия требованиям и наблюдаемости данные журналов всегда поступают именно так, как ожидается.
Будьте в курсе благодаря уведомлениям о состоянии
Настройте уведомления о состоянии Logpush чтобы получать оповещения при отключении задания Logpush или при возникновении ошибок. Раннее обнаружение критически важно, так как Logpush не может восполнить пропущенные логи: если данные потеряны, они потеряны навсегда.
Уведомления о состоянии работают вместе с Health Dashboard, обеспечивая как оповещения в реальном времени, так и исторический анализ производительности ваших заданий Logpush.
Access Health Dashboards
- В Панель управления Cloudflare, перейдите в Logpush на уровне аккаунта или домена (зоны).
- Перейдите в Работоспособность на вкладке.
- Выберите задание, которое хотите проанализировать.
- Укажите период времени, который хотите проверить.
- (Необязательно) Из Задания вкладке найдите задание, которое хотите проанализировать.
- Наведите курсор на Состояние заданий (24 ч) для этого задания и выберите Просмотрите состояние.
- Вы будете перенаправлены на Работоспособность вкладке, где можно выбрать нужный диапазон времени для анализа.
Доступность данных и доступ к API
- Health Dashboard отображает до 30 дней метрик работоспособности для каждого задания Logpush в панели управления Cloudflare.
- Необработанные метрики состояния можно запросить через
logpushHealthAdaptiveGroupsнабор данных в GraphQL API. - Изучать и тестировать запросы можно с помощью Cloudflare GraphQL Explorer ↗.
Ключевые понятия, связанные с состоянием заданий
Строка журнала
Отдельная запись журнала, сгенерированная Cloudflare, например HTTP-запрос, DNS-запрос или событие Access.
Batch
Группа журналов, которые Cloudflare загружает в место назначения единым файлом или запросом. Пакет также называют файлом.
Загрузить
Одна попытка загрузить пакет логов в место назначения. Если первая попытка не удается, Cloudflare автоматически повторяет ее, пока загрузка не завершится успешно или не будет достигнут лимит повторов. У каждой загрузки может быть один из трех результатов: Успешный, Попытки повтора, или Сбой.
Успешный
Указывает, что пакет журналов был загружен в вашу цель без ошибок и тайм-аутов. После успешной загрузки пакет помечается как доставленный, и дальнейшие повторные попытки не выполняются.
Попытки повтора
Дополнительные попытки загрузки после первого сбоя. Счётчик включает первую неудачную попытку. Повторные попытки продолжаются, пока пакет не будет успешно доставлен либо буферизованные данные не выйдут за пределы окна хранения.
Сбой
Указывает, что все попытки загрузки пакета были исчерпаны безуспешно. Если пакет не удаётся доставить, Cloudflare не может передать его журналы в вашу цель, и все журналы в этом пакете отбрасываются. Эти журналы теряются безвозвратно.
Принцип работы Health Dashboard
Logpush Health Dashboard предоставляет два взаимодополняющих представления, которые помогают отслеживать доставку журналов и устранять неполадки: Состояние загрузки и Надёжность загрузки.
Каждое представление отражает свой аспект работы задания: что было доставлено и насколько надёжно прошла доставка.
Состояние загрузки
Состояние загрузки помогает понять, сколько данных было успешно загружено и где загрузки завершились ошибкой или данные были потеряны. Этот раздел отвечает на вопрос: успешны ли загрузки и доходят ли журналы до места назначения?
Графики и метрики
-
Успешные и неуспешные пакетные загрузки: Показывает количество пакетов, которые были успешно загружены, по сравнению с теми, что завершились ошибкой.
- Успешные загрузки - Общее количество успешно отправленных пакетов.
- Неудачные загрузки - Общее количество пакетов, которые не удалось выгрузить из-за проблем с подключением или местом назначения.
-
Загруженные строки журнала: Отслеживает общее количество строк журнала, успешно загруженных в место назначения.
- Загруженные строки журнала - Общее количество строк журнала, успешно доставленных.
- Отброшенные строки журнала - Общее количество строк журнала, которые не удалось доставить после всех попыток повтора.
-
Объём данных: Показывает общий объем загруженных данных логов (в байтах), как сжатых, так и несжатых.
- Несжатые данные (raw) - Общий объём данных журнала до сжатия.
- Сжатые данные (отправлено) - Общий объём данных журнала после сжатия, то есть фактическое количество переданных байт.
Когда использовать
Начните отсюда, чтобы оценить общее состояние доставки данных:
- Высокая доля успешных отправок и стабильный объём данных говорят об исправной работе задания Logpush.
- Падения, всплески или неудачные отправки указывают на проблемы с доставкой: перейдите к Надёжность загрузки чтобы установить первопричины.
Надёжность загрузки
Надёжность загрузки помогает выявить факторы, влияющие на надёжность, стабильность и задержку при всех попытках загрузки (включая повторы и сбои). Этот раздел отвечает на вопрос: стабильны и эффективны ли загрузки?
Графики и метрики
-
Загруженные журналы по коду статуса Показывает количество пакетов, которые были успешными, неуспешными или повторно отправленными, с группировкой по коду статуса.
- Успешность - Процент успешно отправленных пакетов.
- Успешные загрузки - Общее количество успешно завершённых пакетов.
-
Продолжительность загрузки: Показывает среднее время, затраченное на завершение загрузки каждого пакета, с разбивкой по кодам состояния.
- Доступность назначения - Как часто Cloudflare успешно подключался к вашему получателю и завершал отправку.
- Средняя продолжительность загрузки - Среднее время, затрачиваемое на отправку журналов после их создания.
-
Попытки повтора: Показывает количество повторных попыток после неудачных загрузок, с разбивкой по кодам состояния.
- Попытки повтора - Общее количество попыток выгрузки, предпринятых после предыдущих сбоев (включая первую неудачную попытку).
Когда использовать
Используйте этот раздел для устранения проблем с надёжностью:
- Высокая задержка, частые повторные попытки или низкая доступность получателя указывают на возможную нестабильность конечной точки назначения или сети.
- Сочетание с Состояние загрузки метрик, чтобы сопоставить успешность доставки с базовыми показателями надёжности.
Руководство по устранению неполадок
Панели состояния Logpush (Logpush Health Dashboards) помогают отслеживать статус, надёжность и производительность заданий Logpush. Используйте это руководство, чтобы разобраться в каждом графике, определить первопричину аномалий и принять меры по их устранению.
| Название графика | Симптом | Что это значит | Возможные причины | Рекомендуемые действия |
|---|---|---|---|---|
| Успешные и неуспешные пакетные загрузки | Неудачные загрузки | Cloudflare не смог доставить пакеты после всех попыток повтора. Такие пакеты помечаются как failed, и все строки логов в них отбрасываются. | - Конечная точка назначения недоступна или отклоняет подключения (истекшие учётные данные, простой). - Превышение времени ожидания при выгрузке из-за большого размера пакетов или задержек в сети. - Получатель ограничивает скорость (throttling) или применяет rate limiting. |
- Проверьте учётные данные назначения и состояние конечной точки. - Уменьшите размер пакета в конфигурации задания Logpush. - Убедитесь, что получатель способен выдержать ожидаемую скорость отправки. - Если сбои не прекращаются, обратитесь в Cloudflare Support. |
| Загруженные строки журнала | Отброшенные строки журнала или сниженный объём доставки | Доставляется меньше журналов, чем ожидается, зачастую из-за неудачных загрузок или потерянных пакетов. | - Резкий рост числа неудачных отправок. - Ограничения приёма данных на стороне получателя или частично отправленные файлы. |
- Сравните Загруженные строки журнала и Объём данных графики на предмет провалов. - Проверьте получателя на наличие ошибок приёма данных или rate limiting. - Проверьте недавние изменения конфигурации задания Logpush. |
| Объём данных (сжатый и несжатый) | Неожиданное снижение объёма данных | Объём доставленных данных ниже ожидаемого, что может указывать на неэффективное сжатие или потерю пакетов. | - Неудачные отправки или неполные доставки. - Получатель отклоняет отправки из-за ограничений размера или квоты. |
- Проверьте настройки сжатия и размер пакета. - Проверьте объём доступного хранилища в месте назначения. - Проверьте, нет ли всплесков неудачных отправок или повторов. |
| Загруженные журналы по коду статуса | Большое количество повторных попыток или ошибочных кодов статуса | Загрузки не проходят с первой попытки, но завершаются успешно при повторе. | - Временный простой назначения или ограничение скорости. - Нестабильность сети между Cloudflare и получателем. |
- Проверьте распределение повторов и ошибок по кодам состояния. - Сравните с Доступность назначения для сопоставления. - Уменьшите размер пакета. |
| Попытки повтора | Частые повторные попытки | Загрузки неоднократно завершаются ошибкой и повторяются несколько раз. | - Нестабильность назначения или временные ошибки. - Высокая задержка или медленные подтверждения со стороны получателя. |
- Проверьте доступность назначения и скорость приёма данных. - Убедитесь, что получатель не ограничивает скорость запросов (throttling). - Редкие повторы допустимы, но постоянные всплески требуют проверки. |
| Сред. продолжительность загрузки | Долгое время загрузки | Загрузки занимают больше времени, чем ожидается, что указывает на задержку или слишком большие пакеты. | - Большие пакеты или несжатые данные. - Задержка сети или региональная задержка. - Задержки обработки на стороне получателя. |
- Проверьте Сред. продолжительность загрузки тенденции. - Уменьшите размер пакета для более быстрой отправки. - Проверьте пропускную способность места назначения и настройки ограничения скорости. |
| Доступность назначения | Низкая или нестабильная доступность | Cloudflare не может стабильно подключаться к вашему получателю. | - Простой назначения, ошибки DNS или проблемы с аутентификацией. - Ограничения брандмауэра или сети, блокирующие Cloudflare. |
- Проверьте Доступность назначения для провалов. - Проверьте учётные данные получателя и доступность эндпойнта. - Проверьте allowlist и настройки сетевого доступа. |
Коды ошибок назначения
Если Cloudflare не может получить код состояния HTTP от получателя запроса (например, соединение так и не устанавливается или запрос прерывается), попытка доставки записывается с кодом ошибки, сгенерированным Cloudflare, вместо кода состояния HTTP. Эти коды отображаются в поле Health Dashboard и в logpushHealthAdaptiveGroups набор данных GraphQL.
| Код | Название | Значение |
|---|---|---|
1101 |
ConnectionError |
При подключении Cloudflare к месту назначения произошла сетевая ошибка, не связанная с превышением времени ожидания (например, сброс TCP-соединения или отказ в соединении). |
1102 |
ConnectionTimeout |
Cloudflare не смог установить TCP-соединение с вашим получателем в течение connection timeout. Обычно это вызвано брандмауэрами, сетевыми маршрутами или недоступными хостами. |
1103 |
InternalLogpushError |
Cloudflare столкнулся с внутренней ошибкой при обработке загрузки. Если этот код появляется постоянно, обратитесь в службу поддержки Cloudflare. |
1104 |
ConfigError |
Конфигурация задания недействительна. Проверьте URL получателя, учётные данные и права доступа, а затем используйте проверьте конечные точки чтобы протестировать конфигурацию. |
1105 |
DNSError |
Cloudflare не смог определить имя хоста вашего получателя. Проверьте DNS-записи для эндпойнта получателя. |
1106 |
Timeout |
Запрос завис или превысил общий тайм-аут HTTP-клиента. Обычно это происходит, когда назначение принимает соединение, но перестаёт читать тело запроса, либо когда TLS-рукопожатие занимает слишком много времени. |
1107 |
RequestError |
HTTP-запрос завершился ошибкой до получения кода состояния, при этом ошибка не классифицируется как тайм-аут. Часто это происходит из-за закрытия HTTP/2-соединения получателем в процессе выполнения запроса. |
1108 |
TransferError |
Cloudflare столкнулся с ошибкой при передаче тела запроса: как правило, это означает, что соединение было сброшено во время загрузки. |
1201 |
FlushMaxLag |
Cloudflare отбросил пакет, потому что буферизованные данные вышли за пределы окна хранения раньше, чем их удалось доставить. Этот код указывает на постоянный сбой доставки: проверьте получателя и предыдущие коды за тот же период времени. |
Тайм-ауты загрузки
Cloudflare применяет несколько тайм-аутов на разных уровнях пути загрузки. Понимание каждого уровня поможет вам интерпретировать коды ошибок получателя и настроить конечную точку назначения.
| Тайм-аут | По умолчанию | Применяется к | Связанный код ошибки |
|---|---|---|---|
| TCP-соединение (dial) | 5 секунд | Все назначения, использующие HTTP | 1102 ConnectionTimeout |
| TLS-рукопожатие | 5 секунд | Все HTTPS-назначения | 1106 Timeout |
| Сторожевой таймер отсутствия прогресса | 10 секунд | Получатели, использующие общий HTTP-транспорт Cloudflare (HTTP-эндпойнты, Cloudflare R2, Splunk, Datadog, New Relic, CrowdStrike, Cloudflare Pipelines) | 1106 Timeout |
| Повторное использование неактивных соединений | 10 секунд | Постоянные HTTP-соединения | Не отображается как ошибка. Соединение закрывается и открывается заново по мере необходимости. |
| Общий тайм-аут HTTP-клиента | 2 минуты | Только для семейства конечных точек HTTP: https://, Datadog, New Relic, CrowdStrike, Cloudflare Pipelines |
1106 Timeout |
| Неактивное чтение HTTP/2 и ping | 10 секунд простоя, тайм-аут ping 15 секунд | Соединения HTTP/2 | 1107 RequestError |
| Блокировка записи HTTP/2 | 10 секунд | Соединения HTTP/2 | 1106 Timeout или 1107 RequestError |
Рекомендации для операторов конечных точек HTTP
- Убедитесь, что ваша конечная точка подтверждает каждый
POSTв течение 2 минут сквозным образом и поддерживает передачу тела запроса без пауз длиннее 10 секунд между чанками. - Если вы завершаете соединения на балансировщике нагрузки или WAF, убедитесь, что тайм-ауты простоя соединения и чтения не короче значений из таблицы тайм-аутов. Агрессивные настройки на стороне получателя часто проявляются как
1106или1107ошибок на стороне Cloudflare. - Если вы используете HTTP/2, убедитесь, что ваш сервер отвечает на
PINGкадров за 15 секунд.
Получатели объектного хранилища
Получатели Amazon S3, Google Cloud Storage и Microsoft Azure не используют общий HTTP-транспорт Cloudflare. Они используют клиентские библиотеки, которые задают собственные тайм-ауты, поэтому значения из таблицы тайм-аутов на них не распространяются. Из-за этого отдельные отправки могут выполняться дольше 2 минут, прежде чем завершиться ошибкой.
Поведение при повторных попытках
Logpush рассчитан на то, чтобы справляться с временными проблемами получателя с помощью автоматических повторных попыток. Когда ваш получатель временно недоступен, Cloudflare буферизует затронутые пакеты и повторяет попытки их доставки.
Повторные попытки не прекращаются после фиксированного числа попыток. Вместо этого Cloudflare продолжает повторно отправлять пакет, пока либо загрузка не завершится успешно и пакет не будет помечен как доставленный, либо буферизованные данные не выйдут за пределы внутреннего окна хранения. Когда данные выходят за пределы этого окна, пакет отбрасывается (это фиксируется как 1201 FlushMaxLag) и содержавшиеся в нём строки логов безвозвратно утеряны.
Если ни один пакет не был успешно доставлен в течение 24 часа, Cloudflare считает, что назначение окончательно недоступно, и отключает задание. Вы можете снова включить задание из Панель управления Cloudflare ↗ после устранения проблемы с назначением. Cloudflare не может восстановить задним числом журналы, созданные, пока задание было отключено.
Если получатель работает медленно, но продолжает принимать отправки, Logpush автоматически увеличивает количество параллельных отправок, чтобы устранить отставание. Как только получатель восстанавливается и задержка возвращается к норме, параллелизм снова снижается.