← Cloudflare Radar / radar
Глоссарий
На этой странице приведен список терминов и понятий, которые помогут вам разобраться в Radar и отображаемой информации.
Трафик ИИ-ботов и краулеров
Активность HTTP-запросов от User-Agent, связанных с ИИ-ассистентами, сборщиками данных для ИИ и поисковыми краулерами ИИ. Эти данные нормализованы для отображения тенденций по объёму трафика и дают представление об уровне активности веб-взаимодействий на основе ИИ с течением времени. User-Agent, включённые в этот анализ, взяты из списка ориентированных на ИИ User-Agent, приведённого в ai.robots.txt ↗ репозиторий.
Атаки на уровне приложений
Информация об атаках уровня 7 на основе заблокированных запросов, включая наиболее часто применяемые техники блокировки и динамику объёма заблокированных запросов во времени. На графиках "Application layer attack volume" и "Mitigated traffic sources" выбранная локация или ASN выступает источником заблокированных запросов. На графике "Application layer attack distribution" график Origin Location показывает, откуда исходят атаки на выбранную локацию, а график Target Location показывает целевые локации атак, исходящих из выбранной локации. Данные "Application layer attack distribution" недоступны на уровне ASN.
Методы аутентификации
SPF ↗, DKIM ↗, а также DMARC ↗ представляют собой методы аутентификации электронной почты на основе политик, и при совместном использовании они помогают предотвратить отправку писем от имени домена спамерами, фишерами и другими сторонами, не имеющими на это прав. PASS означает долю обработанных сообщений, прошедших соответствующие проверки. FAIL означает долю обработанных сообщений, не прошедших соответствующие проверки. NONE означает долю обработанных сообщений, для которых не удалось найти соответствующую политику. Данные для этих метрик поступают из сервиса маршрутизации почты Cloudflare.
Автономные системы
Интернет представляет собой сеть сетей, состоящую из автономных систем. Точнее, автономная система (AS) представляет собой крупную сеть или группу сетей с единой политикой маршрутизации, то есть процессом выбора пути через одну или несколько сетей.
Пакеты данных перемещаются от одной AS к другой, пока не достигнут конечного пункта назначения. Каждый компьютер или устройство, подключенное к интернету, связано с какой-либо AS. У интернет-провайдеров есть одна или несколько AS, и каждой AS присваивается официальный номер автономной системы (ASN) для использования в маршрутизации по протоколу Border Gateway Protocol (BGP). Например, ASN Cloudflare: AS13335. Подробнее в Cloudflare Learning Center ↗.
Autonomous System Provider Authorization (ASPA)
Autonomous System Provider Authorization (ASPA) ↗ это криптографический объект внутри Инфраструктура открытых ключей для маршрутизации (RPKI) ↗ который расширяет безопасность маршрутизации за пределы проверки источника. В то время как RPKI Route Origin Authorizations (ROA) проверяют, какая Автономная система (AS) ↗ уполномочена анонсировать префикс, ASPA проверяет BGP AS_PATH позволяя AS объявлять своих авторизованных вышестоящих транзитных провайдеров, что даёт возможность обнаруживать утечки маршрутов и некоторые перехваты BGP с поддельными сегментами пути.
Каждая запись ASPA создается AS клиента (CAS) и содержит список Набор автономных систем провайдеров (SPAS) авторизован распространять свои маршруты вышестоящим провайдерам. Маршрутизаторы используют эти отношения Customer-to-Provider, чтобы оценить, является ли BGP AS_PATH соответствует легитимной топологии маршрутизации, что дает результат проверки Valid, Invalid, или Unknown. Хотя спецификация IETF всё ещё находится в статусе черновика, поддержка создания объектов ASPA доступна на порталах RIR, таких как ARIN ↗ и RIPE NCC ↗, и логика проверки реализована в стеках маршрутизации, включая OpenBGPD ↗ и BIRD ↗.
Анонсы BGP
Border Gateway Protocol (BGP) представляет собой протокол маршрутизации интернета. Подобно почте, обрабатывающей посылки, BGP выбирает наиболее эффективные маршруты для доставки интернет-трафика. BGP-анонс представляет собой способ, которым один AS сообщает другому: "Когда вы получаете трафик для этого сетевого префикса, отправляйте его мне". Затем это сообщение обрабатывается и, возможно, передается другим AS, благодаря чему каждый AS на пути узнает, куда отправлять трафик для этого сетевого префикса. Подробнее см. в Cloudflare Learning Center ↗.
В Cloudflare Radar мы предоставляем графики временных рядов как для объёма BGP-сообщений, анонсируемых AS, так и для общего размера анонсируемого ими адресного пространства IP. Объём BGP-сообщений отражает уровень общей маршрутизационной активности заданной AS, а анонсируемое адресное пространство IP показывает размер сетей, которыми управляет AS, во времени. Размер адресного пространства IP мы представляем в виде числа минимальных маршрутизируемых префиксов сети, то есть числа префиксов /24 для IPv4 и /48 для IPv6. Соответственно префикс /24 соответствует 256 IP-адресам, а префикс /48 соответствует 2^80 IP-адресам.
Утечки маршрутов BGP
Утечки маршрутов BGP ↗ определяются как распространение анонсов маршрутизации за пределы предполагаемой области действия. В Cloudflare Radar вы можете просмотреть обнаруженные случаи утечки маршрутов на страницах соответствующего номера автономной системы (ASN). Столбцы таблицы определены следующим образом:
From: автономная система (AS), от которой получены маршруты.By: автономная система, допустившая утечку маршрутов.To: автономная система, которая получила и распространила утекшие маршруты.StartиEnd: время начала и окончания утечки маршрутов.BGP Msgs.: количество анонсов BGP, содержащих утекшие маршруты.Prefixes: количество IP-префиксов, затронутых утечкой маршрутов.Origins: количество исходных автономных систем, затронутых утечкой маршрутов.Vantage Points: количество коллекторов маршрутов, зафиксировавших утечку маршрутов.
Подробнее о принципах работы нашей системы обнаружения утечек маршрутов и её применении можно узнать в Как мы обнаруживаем утечки маршрутов и о новом сервисе Cloudflare Radar для обнаружения утечек маршрутов ↗ в записи блога.
Угоны источника BGP
Угон источника BGP ↗ это один из типов аномалий BGP, при котором сети ложно анонсируют владение группами IP-адресов (префиксами), которыми они не владеют, не управляют и к которым не имеют маршрута. Перехват источника BGP может перенаправить интернет-трафик злоумышленнику вместо его законного получателя, что приводит к потере данных и возможной утечке частной или конфиденциальной информации.
В Cloudflare Radar вы можете просматривать обнаруженные события перехвата источника BGP в таблице «BGP Origin Hijacks». Столбцы таблицы определены следующим образом:
ID: идентификатор события; при нажатии на него открывается страница с подробностями о событии.Detected Origin: автономная система, которая была источником префиксов на момент обнаружения и потенциально является злоумышленником, перехватившим BGP.Expected Origin(s): автономные системы, которые, по разным данным, должны являться источником соответствующих префиксов.Start Time (UTC)иDuration: время обнаружения в UTC вместе с продолжительностью события в удобном для чтения формате. Для событий, которые еще продолжаются, значение длительности отсутствует, что обозначается--знак.BGP Messages: количество сообщений BGP, содержащих обнаруженную аномалию.Prefixes: префиксы, перехваченные во время события; из-за ограниченного места в таблице показан только один полный префикс.Confidence: уровень уверенности в том, что событие действительно является перехватом. Возможные значения:High,Medium, илиLow.Tags: соответствующие доказательства в виде коротких тегов с ключевыми фактами, собранными с помощью дополнительных источников данных, таких как результаты проверки RPKI или сетевые связи.
Результат проверки также можно получить программно через наш публичный API (CC BY-NC 4.0 ↗ лицензии).
Маршруты BGP в реальном времени
Страница маршрутизации префиксов Cloudflare Radar отображает BGP-маршруты в реальном времени в виде Диаграмма Sankey ↗. Эта визуализация построена на основе данных MRT из RouteViews ↗ и RIPE RIS ↗, в сочетании с потоками реального времени из экземпляра Kafka от RouteViews и RIS Live ↗.
По умолчанию визуализация маршрутов отображает пути от исходного AS к Сети уровня Tier-1 ↗, опуская для наглядности сегменты от сетей уровня Tier-1 до коллекторов BGP-маршрутов. Пользователи могут увидеть полные пути с помощью переключателя "Show full paths".
Над визуализацией расположена таблица с подробностями об источнике префикса: исходной автономной системе, проценте ее видимости среди коллекторов маршрутов и RPKI ↗ статус проверки (valid, invalid, unknown).
При наведении курсора на связь на диаграмме появляется подсказка со связанными ASN и коллекторами маршрутов BGP, которые их зафиксировали (из RIPE RIS ↗ и RouteViews ↗), и отметку времени последнего обновления.
Трафик ботов и людей
Процент HTTP-запросов, классифицированных как исходящие от ботов, в сравнении с запросами от людей, на основе значения Bot Score. Запросы с показателем бота от 1 до 29 классифицируются как вероятно автоматические (бот), а запросы с показателем 30 и выше классифицируются как вероятно человеческие. Подробнее см. Классы ботов.
По умолчанию Radar показывает трафик ботов и людей для запросов к HTML-контенту. Этот фильтр отражает традиционный веб-трафик и не учитывает вызовы API, запросы к ресурсам (изображениям, скриптам, шрифтам) и другие запросы между машинами.
Сертификаты
Шифрование составляет важнейшую часть безопасного интернета. SSL/TLS представляет собой стандартную технологию безопасности для установления зашифрованного соединения между клиентом и сервером.
В Cloudflare Radar можно просмотреть все сертификаты, выданные для указанного домена доверенным удостоверяющим центром и включённые в активные журналы прозрачности сертификатов.
Вы можете просматривать сертификаты, выданные для вашего домена, чтобы убедиться в отсутствии некорректных или мошеннических выпусков сертификатов, связанных с вашими доменами. Также можно подписаться на оповещения от нашего монитора прозрачности сертификатов в разделе Cloudflare Dashboard ↗.
Прозрачность сертификатов
Прозрачность сертификатов (CT) ↗ это стандарт безопасности интернета для мониторинга и аудита выпуска цифровых сертификатов удостоверяющими центрами (CA). CT помогает выявлять ошибочно выданные или вредоносные сертификаты, обязывая CA публично регистрировать все выпускаемые сертификаты в проверяемых журналах, доступных только для добавления записей. Эти журналы отслеживаются различными сторонами, включая браузеры и исследователей безопасности, для обеспечения прозрачности и доверия в экосистеме сертификатов.
К ключевым сущностям в CT относятся:
- CA: Организации, выпускающие сертификаты.
- Журналы CT: Публичные журналы только для добавления записей, в которых регистрируются выпущенные сертификаты.
- Мониторы: Стороны, проверяющие журналы на корректность.
Данные, доступные в Cloudflare Radar, получены из журналов CT, которые в настоящее время отслеживает Cloudflare. Это дает представление о тенденциях выпуска сертификатов, их распределении и метаданных по всему вебу.
Характеристики соединения
Доля входящих подключений к Cloudflare от почтовых транспортных агентов с указанными характеристиками. Категория «IP Version» показывает распределение подключений по IPv4 и IPv6. Категория «Encryption» показывает распределение подключений, установленных по зашифрованному соединению TLS, и подключений, установленных без шифрования, в открытом виде. Данные для этих метрик поступают из сервиса маршрутизации почты Cloudflare.
Качество соединения
Показатели качества соединения включают скорость загрузки и отправки данных, задержку (время кругового прохождения запроса) и джиттер задержки (стабильность времени кругового прохождения запроса), отражая наилучшую ожидаемую производительность для конкретных стран или ASN. Эти показатели рассчитываются на основе тестов скорости, которые конечные пользователи запускают на сайт Cloudflare Speed Test ↗, агрегированные за предыдущие 90 дней. Исходные необработанные данные находятся в свободном доступе для анализа через BigQuery от Measurement Lab ↗.
В рейтинги скорости, задержки и джиттера включаются только страны, где пользователи достаточно регулярно проходят тесты скорости. Поэтому некоторые страны могут отсутствовать в рейтингах, даже если их данные доступны в других разделах Radar.
Cloudflare Speed Test несколько раз измеряет задержку в ходе теста. Значения, полученные до начала загрузки или отправки данных, объединяются в показатели задержки и джиттера в режиме ожидания, а значения, полученные во время загрузки или отправки, формируют показатели задержки и джиттера под нагрузкой.
Категории содержимого
Cloudflare использует различные источники данных для категоризации доменов. С помощью Cloudflare Radar можно посмотреть категории содержимого, связанные с конкретным доменом. Клиенты Cloudflare, которые используют Cloudflare Gateway или 1.1.1.1 for Families может принять решение блокировать определённые категории, например "Adult Content", в дополнение к угрозам безопасности, таким как вредоносное ПО и фишинг.
Иногда домен может быть отнесён не к той категории. Например, сайт социальной сети может быть отнесён к категории «Shopping & Auctions». Если вы считаете, что домен отнесён не к той категории, или домен ещё не категоризирован, укажите предложенную категорию с помощью эта форма ↗ чтобы обратить на это наше внимание.
DNS
Система доменных имён (DNS) ↗ это сетевая служба, которая чаще всего используется для преобразования понятных человеку доменных имен в числовые IP-адреса, с помощью которых компьютеры взаимодействуют друг с другом. Это необходимая служба интернета, которая также используется для получения другой сетевой информации.
Данные, отображаемые в Radar для DNS, основаны на агрегированных и анонимизированных DNS-запросах к резолверу Cloudflare 1.1.1.1 службы публичного резолвера.
DNS magnitude
DNS Magnitude представляет собой метрику, изначально разработанную nic.at ↗ (PDF), чтобы оценить общую видимость домена в интернете.
Вместо того чтобы просто подсчитывать общее число DNS-запросов, DNS Magnitude учитывает, сколько уникальных клиентов отправляет запросы к доменам в пределах TLD. Такой подход даёт более точное представление об охвате TLD, поскольку небольшое число источников может генерировать большое число запросов. Наш рейтинг основан на запросах, зафиксированных на 1.1.1.1 публичного резолвера. Мы объединяем отдельные IP-адреса клиентов в подсети, которые здесь называются «сетями».
Значение величины находится в диапазоне от 0 до 10: чем оно выше и ближе к 10, тем к большему числу сетей обращается данный домен верхнего уровня (TLD) с запросами.
Это отражает более широкую глобальную видимость и в некоторых случаях более высокую вероятность совпадения имен в разных системах. По данным ICANN ↗, коллизия имён возникает, когда попытка разрешить имя, используемое в частном пространстве имён (например, в неделегированном домене верхнего уровня), приводит к запросу в публичную DNS. Когда административные границы частного и публичного пространств имён пересекаются, разрешение имени может дать нежелательные или вредоносные результаты. Например, если бы ICANN делегировала .home, что может создать серьёзные проблемы для энтузиастов, использующих этот (пока не делегированный) домен верхнего уровня в своих локальных сетях.
Рейтинги доменов
Domain Rankings построен на основе наших анонимизированных и агрегированных DNS-резолвер 1.1.1.1 данные, соответствует нашей политика конфиденциальности ↗, и призван определить самые популярные домены, отражающие то, как люди используют интернет по всему миру. Метрику популярности Domain Rankings лучше всего описать как оценочное число уникальных пользователей, обращающихся к домену за определённый период времени.
К растущим доменам относятся домены, популярность которых в настоящий момент увеличивается. К категории Trending Today относятся домены с резким всплеском популярности, что отражает возросший интерес, возможно связанный с определенным событием или темой. К категории Trending This Week относятся домены, популярность которых стабильно росла в течение недели за счет увеличения аудитории.
Географическое распределение
Страны, генерирующие трафик для этой AS, и их доля в общем объеме трафика AS, зафиксированном Cloudflare, в процентах.
Источники HTTP
Тенденции по источникам HTTP позволяют отслеживать состояние трафика между глобальная сеть Cloudflare ↗ и облачные исходная инфраструктура ↗. Эти данные получены из запросов, которые Cloudflare отправляет на исходные серверы (origin servers). Метрики отслеживают ключевые показатели, такие как HTTP-коды состояния, время отклика и объём трафика с течением времени, что позволяет выявлять деградации, сбои или аномалии в производительности и доступности исходного сервера.
Измерения агрегируются по запросам от всех дата-центров Cloudflare к облачной инфраструктуре источника. Данные о производительности рассчитываются по медиане (p50) для всех представлений, включая общие показатели и показатели по отдельным провайдерам. Для представлений по регионам дополнительно показано распределение по квартилям (25-й, 50-й и 75-й процентили).
Сбои в работе интернета
На связность интернета могут влиять сбои или нарушения работы, вызванные рядом факторов. К ним относятся отключения электроэнергии, повреждения оптоволоконных кабелей, сильные погодные явления, стихийные бедствия или отключения по решению властей. Сбои могут иметь как субнациональный, так и национальный географический охват, а также затрагивать одну или несколько ASN ↗. Некоторые сбои могут быть кратковременными и длиться всего несколько минут, тогда как другие могут продолжаться месяцами: длительность отчасти связана с основной причиной. Сбои в интернете, перечисленные в Cloudflare Radar Outage Center, представляют собой заметные падения трафика, которые, как правило, подтверждены сторонней информацией: это могут быть публикации в социальных сетях или на странице статуса телекоммуникационного провайдера, новостные сообщения либо отраслевые списки рассылки сообщества.
Ранним признаком возможного сбоя интернета в определенной сети или стране служит аномальное падение трафика по сравнению с историческими паттернами и трендами. Аномалии, перечисленные в Cloudflare Radar Outage Center, представляют собой алгоритмически обнаруженное аномальное падение трафика для указанной сущности. Если запись отмечена как подтвержденная, это означает, что мы вручную проверили наблюдаемое падение трафика по нескольким источникам данных Cloudflare и (или) сторонним источникам, например IODA ↗, или сторонних источников информации, таких как перечисленные выше. Во втором случае открывается связанное событие сбоя в интернете, которое отображается в таблице Internet Outages (и в API).
Рейтинг интернет-сервисов
Рейтинг интернет-сервисов основан на наших анонимизированных и агрегированных DNS-резолвер 1.1.1.1 данные, соответствует нашей политика конфиденциальности ↗, и призван определить самые популярные интернет-сервисы, отражающие то, как люди используют интернет по всему миру. Сервис представляет собой один или несколько доменов, объединённых вместе. Метрику популярности в рейтинге лучше всего описать как оценочное число уникальных пользователей, обращающихся к доменам, связанным с сервисом, за определённый период времени.
Тенденции интернет трафика
Тенденции интернет-трафика, зафиксированные глобально либо в пределах заданной локации или автономной системы за выбранный период, на основе агрегированных данных нашей сети.
Геолокация по IP-адресу
Термином «геолокация по IP-адресу» называют процесс сопоставления IP-адреса с местоположением в физическом мире. Геоданные, используемые в Cloudflare Radar, поступают из базы данных стороннего поставщика.
Обратите внимание, что на точность данных о геолокации может влиять ряд факторов, включая архитектуру мобильной сети, использование VPN-сервисов и использование прокси-сервисов для защиты конфиденциальности.
Подробнее в документации Cloudflare о Геолокация IP о том, как предложить исправление, если вы считаете, что указанная локация некорректна.
Внедрение IPv6
График IPv4 и IPv6 показывает распределение трафика по версии IP и помогает отслеживать динамику перехода на IPv6.
Обратите внимание, что до 23 января 2023 года доля IPv6 на графике рассчитывалась как (запросы IPv6 / запросы IPv4+IPv6). После этой даты доля IPv6 рассчитывается как (запросы IPv6 / запросы к контенту с двойным стеком).
IQI
Internet Quality Index оценивает производительность соединения при типичной нагрузке, например при просмотре веб-страниц. Показатель рассчитывается на основе измерений конечных пользователей относительно фиксированного набора целевых узлов Cloudflare и сторонних сервисов и включает значения пропускной способности, времени кругового прохождения запроса (задержки) и времени отклика DNS с разбивкой по континенту, стране или ASN.
Методология IQI требует минимального количества измерений для формирования оценок. Поэтому на графиках для небольших стран и ASN иногда встречаются пропуски, особенно в ночное время. Эти пропуски не означают сбоев в работе сети. Количество измерений, лежащих в основе IQI, не обязательно коррелирует с объемом трафика, который Cloudflare наблюдает в конкретной стране или ASN.
IRR AS-SETs
IRR AS-SET представляет собой именованную группу номеров автономных систем (ASN) в рамках Internet Routing Registry (IRR), которая используется для определения и управления политиками маршрутизации BGP. Объединяя связанные сети, например клиентов и нижестоящих пиров, под единым идентификатором, операторы сетей могут автоматизировать создание фильтров BGP, необходимых для предотвращения распространения утечек маршрутов BGP. AS-SET могут быть иерархическими, то есть включать в себя другие AS-SET как члены, что создает масштабируемую, но при этом сложную структуру. Для количественной оценки этой сложности используется показатель «AS Cone», который измеряет общее количество уникальных ASN в полностью развернутом наборе (то есть его нижестоящий охват), а показатель «Upstreams» отражает, сколько других AS-SET включают его прямо или косвенно, что дает представление о его роли в глобальной системе маршрутизации.
AS-SET не всегда содержит сети своего владельца. Cloudflare Radar определяет владельца, сопоставляя имя AS-SET с PeeringDB ↗ или по самому имени. Если владельца AS-SET можно определить обоими способами, предпочтение отдается информации из PeeringDB.
Утёкшие учётные данные
Обнаружение утечек учётных данных сканирует входящие HTTP-запросы на предмет известных паттернов аутентификации из распространенных веб-приложений, а также любых настроенных пользовательских мест обнаружения. Cloudflare Radar предоставляет обзор совокупных тенденций в запросах аутентификации, включая обнаружение скомпрометированных учетных данных.
Мобильные операционные системы
График Mobile Operating Systems показывает распределение запросов с мобильных устройств по операционным системам и отражает тенденции интернет-трафика, зафиксированные глобально либо в пределах заданной локации или автономной системы за выбранный период, на основе агрегированных данных нашей сети. Понятие «мобильное устройство» включает только телефоны и планшеты и не распространяется на другие типы устройств, например классифицируемые как настольные компьютеры и ноутбуки, смарт-телевизоры или игровые консоли.
Наиболее часто встречающиеся TLD
Домены верхнего уровня, также известные как TLD ↗, находятся в самой правой части имени хоста. По состоянию на февраль 2024 года насчитывается почти 1600 доменов верхнего уровня, перечисленных в IANA Root Zone Database ↗. В Radar мы делимся собственным взглядом на эти домены верхнего уровня, выделяя те, у которых наибольшая доля спама и вредоносных писем. Анализ основан на домене верхнего уровня отправляющего домена, указанном в From: заголовка электронного письма. Данные для этой метрики поступают из облачного сервиса защиты электронной почты Cloudflare.
DDoS-атаки на сетевом уровне
Атаки, отраженные нашими системами защиты уровня 3 и 4 от атак типа Denial of Service. Показываем наиболее часто используемые векторы атак, а также изменение объема атак за выбранный период. Выбранная локация обозначает местоположение дата-центра (или нескольких дата-центров), где атаки были отражены. Категории целевой отрасли и вертикали относятся к атакуемым клиентам.
Категории отраслей объединяют типы бизнеса по их основной деятельности, например информационные технологии и услуги, розничная торговля или телекоммуникации. Категории вертикалей представляют собой укрупнённые группировки, объединяющие смежные отрасли, например вертикаль "Internet and Telecom", которая включает такие отрасли, как "Internet" и "Telecommunications".
Графики DDoS-атак на сетевом уровне основаны на трафике, измеряемом в байтах.
Внедрение постквантового шифрования
График Post-Quantum Encryption Adoption показывает долю HTTPS-запросов к Cloudflare, зашифрованных с использованием постквантовой (PQ) криптографии. Дополнительные сведения о поддержке PQ-криптографии в Cloudflare доступны по адресу Cloudflare Research ↗.
Поддержка постквантового шифрования на origin-сервере
Набор данных о поддержке постквантовой криптографии на источниках содержит сведения об алгоритмах обмена ключами TLS, которые поддерживают проверенные исходные серверы клиентов. Дополнительные сведения о постквантовой криптографии между Cloudflare и исходными серверами приведены в PQC до вашего источника документация.
Robots.txt
A robots.txt ↗ файл содержит инструкции для ботов, указывающие, какие страницы им разрешено, а какие запрещено посещать.
Данные, отображаемые для robots.txt, основаны на успешно обработанных файлах robots.txt из топ-10,000 доменов. По этим файлам мы подсчитываем упоминания каждого user agent в разделе Allow и Disallow директив. User-Agent классифицируется как "полностью разрешён" или "полностью запрещён", если значение директивы равно *. В противном случае, если user agent разрешено или запрещено сканировать только определённые пути, он классифицируется как "partially allowed" или "partially disallowed".
На данный момент мы учитываем только пользовательские агенты, ориентированные на ИИ, перечисленные в ai.robots.txt ↗ репозиторий.
Сбросы и таймауты TCP
В протоколе управления передачей (TCP) инициированный клиентом сброс соединения (с помощью флага RST, «кнопки паники» TCP) является нетипичным и сигнализирует серверу, что что-то пошло не так из-за необходимости немедленного закрытия соединения. Аналогично, тайм-ауты соединения, когда сервер закрывает соединение из-за неотвечающего клиента, не должны происходить при обычном обмене данными. Для сравнения: типичное TCP-соединение состоит из тройного рукопожатия, инициированного клиентом с помощью пакета SYN к серверу, затем обмена данными с флагами ACK и PSH в пакетах данных и, наконец, корректного закрытия, инициированного любой из сторон с помощью пакета FIN. Закрытие с помощью FIN считается корректным, поскольку оно гарантирует, что обе стороны завершат передачу данных до закрытия соединения. В отличие от этого, тайм-аут или флаг RST вызывают резкую остановку, даже если данные еще ожидают отправки или подтверждения. См. RFC 9293 ↗ для получения дополнительных сведений о протоколе TCP.
TCP-сервер может фиксировать тайм-ауты или сбросы соединений по разным причинам. Некоторые из них безобидны, например потеря подключения клиентским приложением или его резкое завершение работы (скажем, браузер закрывает вкладки или работает сканер портов). Другие вызывают больше опасений, например DoS-атаки ↗ или вмешательства третьей стороны. В некоторых случаях внимательное изучение пакетов в соединении может помочь прояснить причину завершения. Например, Global, Passive Detection of Connection Tampering ↗ обнаруживает, что определённые паттерны пакетов могут быть связаны с вмешательством в соединение со стороны промежуточных устройств (middlebox).
На странице Cloudflare Radar для Страница «Security & Attacks» ↗, вы можете просматривать статистику по сбросам и тайм-аутам на выборке TCP-соединений с серверами Cloudflare, с разбивкой по тому, как далеко продвинулось соединение до завершения. Линии графика определяются следующим образом:
- Post-SYN (в середине рукопожатия): сбросы или тайм-ауты соединения после того, как сервер получил только один пакет SYN.
- Post-ACK (сразу после рукопожатия): сбросы или тайм-ауты соединения после того, как сервер получил и пакет SYN, и пакет ACK, то есть соединение было успешно установлено.
- Post-PSH (после первого пакета данных): сбросы или тайм-ауты соединения после того, как сервер получил пакет с установленным флагом PSH уже после установления соединения. Флаг PSH означает, что TCP-пакет содержит данные (например, сообщение TLS Client Hello), готовые к передаче приложению.
- Позже (после нескольких пакетов данных): сбросы соединения в течение первых 10 пакетов от клиента, но после того, как сервер уже получил несколько пакетов с данными.
- None: все остальные соединения.
Подробнее о наборе данных по TCP-сбросам и тайм-аутам можно узнать в нашей запись в блоге ↗.
Производительность серверов имён TLD
Метрика производительности серверов имён TLD измеряет время отклика (задержку) авторитетных серверов имён для доменов верхнего уровня по данным 1.1.1.1 инфраструктуры резолвера. Когда резолвер пересылает DNS-запрос вышестоящему серверу имен TLD, время round-trip фиксируется от инициировавшего запрос дата-центра Cloudflare. Для авторитетных серверов имен, использующих anycast, вышестоящие запросы обычно обрабатываются топологически близким дата-центром, что приводит к более низким медианным задержкам по сравнению с серверами имен, не использующими anycast. Эти данные показывают, какие серверы имен работают быстрее всего, как задержка варьируется в глобальной сети Cloudflare и как со временем меняется производительность инфраструктуры TLD.
Категории угроз
При атаках через email злоумышленники применяют различные техники: ссылки или вложения, ведущие на вредоносное ПО; подмену личности, когда письмо выглядит отправленным доверенным контактом; и имитацию бренда, когда письмо выглядит отправленным от доверенного бренда. Различным типам угроз, обнаруженным при анализе вредоносного письма, присваиваются категории, причем одно письмо может относиться к нескольким категориям. Эти категории объединяются в группы «Link», «Attachment», «Impersonation» и «Other». Группа «Link» объединяет типы угроз, при которых злоумышленник пытается заставить пользователя кликнуть по чему-либо, группа «Attachment» объединяет типы угроз, при которых злоумышленник прикрепил файл к письму, а группа «Impersonation» объединяет типы угроз, при которых злоумышленник имитирует доверенный бренд или контакт. Группа «Other» включает прочие типы угроз, не вошедшие в первые три. Процентные показатели отражают долю вредоносных писем, в которых были обнаружены указанные категории угроз. Данные для этого показателя поступают из облачного сервиса защиты электронной почты Cloudflare.
Классификация угроз
Вредоносные письма могут быть частью фишинговой кампании, цель которой обманом заставить получателей раскрыть личные данные, например учётные данные для входа, либо попыткой распространить вредоносное ПО через встроенные изображения, ссылки или вложения. Указанный процент отражает долю обработанных сообщений, классифицированных как вредоносные. Данные для этой метрики поступают из облачного сервиса защиты электронной почты Cloudflare.
Фильтр по типу трафика
-
Human Only Traffic: трафик, который наши алгоритмы определяют как созданный людьми.
-
Только автоматизированный трафик: трафик, который наши алгоритмы определяют как созданный ботами или автоматическими скриптами.
-
Весь трафик: использовать весь трафик, включая как действия людей, так и автоматическую активность.
Тенденции
На основе агрегированных метаданных HTTP/s мы показываем тренды по ряду метрик, включая соотношение трафика с мобильных устройств и настольных компьютеров, долю трафика, определенного как исходящего от ботов, и распределение user agent/браузеров. Мы также предоставляем данные об использовании HTTPS и IPv6.
Проверенные боты
Трафик ботов означает любой нечеловеческий трафик, поступающий на сайт или в приложение. Некоторые боты полезны, например боты поисковых систем, которые индексируют контент для поиска, или боты службы поддержки, которые помогают пользователям. Другие боты могут использоваться для вредоносных действий, например для взлома учетных записей пользователей или сканирования веб-страниц в поисках контактных данных для отправки спама.
Verified bots, например боты поисковых систем, обычно открыто сообщают о том, кто они. Cloudflare вручную одобряет добросовестные сервисы, которые приносят пользу интернету в целом и соблюдают правила robots.txt.
Каждая запись в списке Verified Bots появляется потому, что соответствующий IP-адрес был замечен связанным с подтвержденным ботом за последние 30 дней. Подтвержденный бот не обязательно является хорошим или плохим.
Местоположение посетителя
Данные, отображаемые для географических моделей трафика по конкретным доменам, основаны исключительно на данных наших рекурсивных DNS-сервисов. Все отображаемые данные соответствуют нашей политике конфиденциальности и обязательствам. Эти данные могут включать трафик атак и межсайтовые запросы.
веб-краулеры
веб-краулеры ↗ представляют собой тип ботов, которые обходят интернет для сбора и индексирования содержимого сайтов. Их используют поисковые системы, такие как Google или Bing, чтобы страницы можно было находить в результатах поиска.
Их также используют AI-платформы: для сбора контента при обучении больших языковых моделей или для получения актуальной информации для AI-ассистентов. И в поиске, и в AI-сценариях краулеры работают, переходя по ссылкам с одной страницы на другую и формируя карту онлайн-контента.
Метрика Radar crawl-to-refer ratio рассчитывается следующим образом: сначала запросы сканирования HTML-страниц сопоставляются на основе User-Agent заголовка, а также переходов на HTML-страницы на основе Referer заголовка, в разбивке по платформам (например, коэффициент для Google рассчитывается на основе запросов сканирования от Googlebot и переходов с платформ Google). Как и для других метрик трафика в Radar, разрешение агрегации данных коэффициента зависит от длины выбранного периода времени. Также обратите внимание, что трафик, переданный через встроенные приложения, может не включать Referer заголовок. Поэтому, поскольку количество переходов учитывает только трафик из веб-инструментов, эти расчеты могут завышать соответствующие коэффициенты, хотя точная величина завышения неизвестна.
WHOIS
WHOIS представляет собой стандарт публикации контактной информации и сведений о серверах имен для всех зарегистрированных доменов. Каждый регистратор поддерживает собственную службу WHOIS. Любой пользователь может отправить запрос к службе WHOIS регистратора, чтобы получить данные о конкретном домене.
Workers AI
Workers AI позволяет запускать модели машинного обучения в сети Cloudflare из собственного кода: из Workers, Pages или откуда угодно через Cloudflare API. Данные, отображаемые для Workers AI, основаны на количестве инференсов модели за определённый период времени.