Сэмплирование

Подробнее о том, как работает выборка в Cloudflare, см. Основные сведения о выборке данных в Cloudflare Analytics.

Обзор

В небольшом числе случаев аналитика, отображаемая на дашборде Cloudflare и в GraphQL Analytics API, основана на выборка : подмножество набора данных. В таких случаях Cloudflare Analytics возвращает оценку, полученную на основе значения выборки. Например, допустим, что во время атаки частота выборки составляет 10%, а выбрано 5,000 событий. Cloudflare оценит общее количество событий в 50,000 (5,000 × 10) и укажет это значение в Analytics.

Выборочные наборы данных

Cloudflare GraphQL API предоставляет наборы данных, которые используют адаптивную выборку. Эти узлы имеют Адаптивный в имени и может быть обнаружено через интроспекция.

Наличие выборочных данных также отмечается в дашборде Cloudflare и в описании набора данных в API.

Почему применяется выборка

Аналитика разработана так, чтобы предоставлять запрошенные данные с нужным уровнем детализации как можно быстрее. Выборка позволяет Cloudflare выдавать аналитические данные за считаные секунды даже тогда, когда наборы данных стремительно и непредсказуемо растут, например при резком всплеске событий Firewall во время атаки. А поскольку объём исходных данных велик, значение, оценённое по выборке, всё равно статистически значимо, то есть на выборочные данные можно полагаться с высокой степенью уверенности. Без выборки ответ на запрос может занять несколько минут или больше, а это долгое ожидание, когда нужно проверить эффективность защиты от атак.

Типы выборки

адаптивная выборка

Cloudflare почти всегда использует адаптивная выборка, а значит, частота выборки меняется в зависимости от объёма поступающих или запрашиваемых данных. Если записей относительно немного, выборка не применяется. Но по мере роста объёма записей применяется всё более низкая частота выборки. Этой модели следуют Security Events (также известные как Firewall Events) и Security Event Log. Узлы данных, использующие адаптивную выборку, легко узнать по Adaptive суффикс в имени узла, как в firewallEventsAdaptive.

Фиксированная выборка

Следующие узлы данных используют фиксированную выборку, при которой частота выборки не меняется:

Набор данных	Скорость	Примечания
Предпросмотр правил файрвола Узлы: `firewallRulePreviewGroups`	1%	Используйте с осторожностью. Частота выборки 1% не даёт точных оценок для наборов данных меньше определённого порога: на это прямо указывает дашборд Cloudflare, а API не предупреждает об этом.
Network Analytics Узлы: `ipFlows1mGroups` `ipFlows1hGroups` `ipFlows1dGroups` `ipFlows1mAttacksGroups`	0.012%	Частота выборки указывается в количестве пакетов (1 из каждых 8,192 пакетов).

Доступ к необработанным данным

Поскольку выборка в основном адаптивная и автоматически подстраивается для получения точной оценки, частоту выборки нельзя настроить напрямую. Клиенты с планом Enterprise получают доступ к исходным данным через Cloudflare Logs.