← AI Crawl Control / ai-crawl-control / features
Анализ трафика ИИ
Метрики AI Crawl Control показывают, как AI-краулеры взаимодействуют с вашим сайтом (Зона Cloudflare).
Чтобы просмотреть метрики AI Crawl Control:
-
Войдите в Панель управления Cloudflare ↗, и выберите свой аккаунт и домен.
-
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗
Вы можете найти полезную информацию на Обзор, Краулеры, а также Метрики вкладки.
Откройте вкладку Overview
Обзор вкладка предоставляет краткий обзор активности AI-краулеров:
| Компонент | Что вы можете сделать |
|---|---|
| Сводный отчёт | Просматривайте общий объём запросов, изменение объёма, самый частый код статуса, самый популярный путь и активность краулеров с высоким объёмом запросов. |
| Статус управляемого robots.txt | Проверьте, robots.txt, управляемый Cloudflare включено для вашей зоны. |
| Метрики с графиками динамики | Отслеживайте общее количество запросов, разрешённых запросов, неуспешных запросов и переходов (только на платных тарифах). |
| Краулеры, сгруппированные по операторам | Изучите краулеров, сгруппированных по компаниям (OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta), с данными о разрешённых запросах, переходах по реферальным ссылкам (только на платных тарифах) и процентном изменении активности. Выберите краулера или оператора, чтобы перейти к подробностям в Краулеры на вкладке. |
| Фильтры | Настройте отображение по диапазону дат, краулеру, оператору, хосту или пути. Все метрики обновляются динамически. |
Откройте вкладку Crawlers
Краулеры вкладка предоставляет подробную информацию об отдельных AI-краулерах и позволяет задать Block или Allow элементы управления:
| Столбец | Описание |
|---|---|
| Краулер | Название AI-краулера. |
| Оператор | Компания, управляющая краулером. |
| Передача данных | Общий объём трафика, потреблённого запросами этого краулера. Указывается в KB, MB или GB. |
| Запросы | Общее количество запросов от этого краулера. |
| Действие | Текущая настройка контроля доступа (Allow или Block). |
Подробнее об управлении доступом краулеров см. в Управление AI-краулерами.
Откройте вкладку Metrics
Метрики вкладка предоставляет подробную аналитику и графики, которые помогают понять, как AI-краулеры взаимодействуют с вашим сайтом.
Динамика запросов
Визуализируйте закономерности активности краулеров за выбранный период времени. Используйте переключатель вида, чтобы переключаться между метриками:
| Просмотр | Описание |
|---|---|
| Все запросы | Общее количество запросов, включая заблокированные и запросы с ошибками. |
| Разрешённые запросы | Запросы, получившие успешный ответ (статус 200-299). |
| Передача данных | Объём трафика для разрешённых запросов во времени, в KB, MB или GB. |
Вы можете группировать данные по разным параметрам:
| Измерение | Описание |
|---|---|
| Краулер | Отслеживайте активность отдельных AI-краулеров (таких как GPTBot, ClaudeBot, Bytespider). |
| Категория | Анализируйте краулеров по их назначению или типу. |
| Оператор | Узнайте, какие компании (например, OpenAI, Anthropic, ByteDance) сканируют ваш сайт. |
| Host | Разбивка активности по нескольким поддоменам. |
Распределение кодов состояния
Распределение кодов состояния график показывает коды ответов HTTP для запросов AI-краулеров во времени:
- 2xx, успешные ответы
- 3xx, редиректы
- 4xx, ошибки клиента (включая блокировку с кодом 403 и требование оплаты с кодом 402)
- 5xx, ошибки сервера
Используйте этот график, чтобы выявить закономерности в том, как ваш сайт отвечает ИИ-краулерам, включая распределение кодов ошибок и объём перенаправлений.
Формат контента
Формат контента график показывает, какие типы содержимого запрашивают AI-системы, в сравнении с тем, что отдаёт ваш источник. Это позволяет понять закономерности согласования содержимого и оптимизировать способ его доставки AI-системам.
График включает три представления:
| Просмотр | Описание |
|---|---|
| Сравнение | Сгруппированная столбчатая диаграмма, сравнивающая запрошенные типы контента с переданными типами контента |
| Тип запроса | Разбивка запросов по заголовку Accept |
| Тип ответа | Разбивка ответов по заголовку Content-Type |
Основные источники переходов
Определяйте источники трафика с помощью аналитики по рефереру, чтобы понять, как пользователи находят контент и насколько он популярен у ИИ-операторов.
| Просмотр | Описание |
|---|---|
| Источники переходов | Основные домены, отправляющие на ваш сайт реферальный трафик от ИИ (например, chatgpt.com, perplexity.ai). |
| Шаблоны назначения | Какие разделы сайта получают больше всего реферального трафика от ИИ, сгруппированного по шаблону (например, /blog/*, /api/*). |
Переключайтесь между представлениями с помощью вкладок в разделе «Основные источники переходов».
Динамика переходов
Отслеживайте тенденции реферального трафика за выбранный период времени. Группировка по:
| Измерение | Описание |
|---|---|
| Оператор | Диаграмма с областями с накоплением, отображающая переходы по компаниям (OpenAI, Anthropic и т. д.). |
| Источник | Наиболее популярные URL-адреса, приводящие трафик на сайт. |
| Всего | Совокупный объём переходов по реферальным ссылкам. |
Самые популярные пути
Самые популярные пути таблица показывает, какие страницы вашего сайта AI-краулеры запрашивают чаще всего.
| Столбец | Описание |
|---|---|
| Путь | Запрошенный путь страницы. |
| Имя хоста | Имя хоста запрошенной страницы. |
| Переходы | Количество переходов на этот путь с AI-платформ. |
| Разрешённые запросы | Количество успешных запросов к этому пути. |
Чтобы увидеть разбивку по краулерам для каждого пути, используйте фильтры верхнего уровня.
Анализ разделов сайта с группировкой по шаблонам
Выберите Паттерны вкладку, чтобы увидеть запросы, сгруппированные по шаблону URI (например, /blog/*, /api/v1/*, или /docs/*). Это помогает быстро определить, какие разделы вашего сайта AI-краулеры посещают чаще всего.
Группировка по шаблону объединяет отдельные пути в разделы сайта:
- Шаблоны включают до 2 уровней вложенности (например,
/api/*,/api/v1/*) - Корневой шаблон
/*показывает общий трафик по вашему сайту - Шаблоны не объединяются между разными именами хостов
- Шаблоны с одним путём отображаются без подстановочных знаков (например,
sitemap.xmlвместоsitemap.xml/*)
Дополнительные вкладки:
- Все, суммарные запросы контента и медиафайлов (отдельные пути, а не шаблоны)
- Content, контент в формате HTML, JSON и текст
- Медиа, изображения, видео и другие медиафайлы
Фильтрация и экспорт данных
Используйте панель фильтров, чтобы сузить анализ по нескольким критериям:
| Фильтр | Описание |
|---|---|
| Диапазон дат | Выберите период для анализа. |
| Краулер | Фильтрация по конкретным ИИ-краулерам. |
| Оператор | Фильтрация по конкретным компаниям. |
| Имя хоста | Фильтрация по конкретным поддоменам. |
| Путь | Фильтрация по конкретным путям или шаблонам URL. |
Совмещайте несколько фильтров для комплексного анализа. Все метрики и графики обновляются динамически в зависимости от выбранных фильтров.
Чтобы экспортировать данные, выберите Скачать CSV или Скачать изображение. Скачанные файлы включают все применённые фильтры и группировки.
Детализация по краулерам
Краулеры вкладка содержит меню действий для каждого краулера со следующими параметрами:
| Действие | Описание |
|---|---|
| Просмотреть Metrics | Отфильтруйте Метрики вкладку к выбранному краулеру. |
| Просмотр в Cloudflare Radar | Узнайте больше о каждом проверенном краулере на Cloudflare Radar. |
| Просмотр в Security Analytics | Фильтрация Security Analytics по ID обнаружения (Bot Management клиентов). |
| Копировать User Agent | Скопируйте строки User Agent для использования в Пользовательские правила WAF, Redirect Rules, либо файлов robots.txt. |
| Копировать идентификатор обнаружения | Скопируйте идентификаторы обнаружения для использования в Пользовательские правила WAF (Bot Management клиентов). |
Программный доступ
Для программного доступа к аналитике AI Crawl Control используйте GraphQL Analytics API. API предоставляет доступ к тем же данным, что доступны в панели управления, включая идентификаторы обнаружения, данные об источниках перехода и метрики объёма переданных данных.