← Аналитика / analytics / graphql-api / migration-guides / network-analytics-v2

Основные различия

В Network Analytics v1 (NAv1) данные сначала объединяются в сводные таблицы за одну минуту, затем в часовые сводки и, наконец, в дневные сводки. После этого пользователи могут запрашивать либо узел ipFlows1mGroups узел для получения детализированных данных о трафике и атаках за последние 30 дней, либо обратитесь к ipFlows1hGroups или ipFlows1dGroups узлы для получения исторических данных. Однако данные из этих узлов агрегированы, поэтому точность и кардинальность результатов ограничены. Например, кратковременные всплески трафика не будут видны в данных из этих узлов, поскольку выборки объединяются в сводки.

С другой стороны, Network Analytics v2 (NAv2) использует Adaptive Bit Rate (ABR) сэмплирование. Это означает, что пользователям не нужно выбирать узел в зависимости от временного диапазона запроса. Более того, кардинальность и точность сохраняются даже для исторических данных. В зависимости от размера запроса механизм ABR выберет оптимальную частоту сэмплирования и получит ответ из одной из выборочных таблиц, скрытых за каждым узлом.

Network Analytics v2 предоставляет более точные данные благодаря лучшей частоте выборки и Edge Sample Enrichment. NAv1 выбирает 1/8,192 пакетов (то есть один из каждых 8,192 пакетов), тогда как частота выборки NAv2 зависит от службы защиты от атак. Например:

• Частота выборки для dosd динамически изменяется от 1/100 до 1/10,000 пакетов в зависимости от объёма пакетов.
• Частота выборки событий Cloudflare Network Firewall динамически меняется от 1/100 до 1/1,000,000 пакетов в зависимости от их количества.
• Частота выборки для flowtrackd составляет 1/10 000 пакетов.

Конвейер данных NAv2 также более устойчив по сравнению с NAv1. NAv1 использует Core Sample Enrichment: необработанные выборки пакетов отправляются со всех периферийных дата-центров Cloudflare в центральные (Core) дата-центры. Там выборки пакетов сопоставляются с дополнительными базами данных и дополняются ID аккаунта клиента, ID атаки, типом атаки и другими метаданными. Затем выборки пакетов записываются в хранилище. Один из главных недостатков этого метода заключается в возможной перегрузке при сопоставлении данных, которая в редких случаях может вызывать временную задержку данных.

Чтобы устранить эту возможную задержку данных, NAv2 использует новый конвейер журналирования данных, основанный на технологии Edge Sample Enrichment. Перекладывая обогащение и сопоставление выборок пакетов на периферийные дата-центры, мы повышаем устойчивость конвейера данных и его способность выдерживать перегрузки. Благодаря этому обогащённые выборки пакетов сразу же сохраняются в основных дата-центрах Cloudflare, как только поступают.