← AI Crawl Control / ai-crawl-control
Начало работы
В этом руководстве описано, как:
- Просмотр ИИ-краулеров, которые взаимодействуют со страницами вашего домена ( Зона Cloudflare).
- Используйте AI Crawl Control, чтобы блокировать доступ отдельных краулеров к вашему контенту.
Предварительные требования
- Зарегистрируйтесь для получения Аккаунт Cloudflare ↗.
- Подключение домена к Cloudflare.
- Убедитесь, что ваш домен проксирование трафика через Cloudflare.
1. Отслеживайте активность AI-краулеров одним взглядом
-
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗ -
Просмотрите сводку активности ваших AI-краулеров в разделе Обзор на вкладке.
-
Используйте фильтры, чтобы просматривать активность по определённым диапазонам дат, краулерам, операторам, хостам или путям.
2. Заблокируйте отдельных AI-краулеров
Чтобы заблокировать конкретных AI-краулеров:
-
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗ -
Просмотрите, какие AI-краулеры обращаются к вашему домену, в разделе Краулеры на вкладке.
-
В Действие столбец, выберите Block.
Чтобы заблокировать конкретных AI-краулеров:
-
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗ -
Просмотрите, какие AI-краулеры обращаются к вашему домену, в разделе Краулеры на вкладке.
-
В Действие столбец, выберите Block.
Подробнее см. в Управление AI-краулерами.
Вы также можете создавать более сложные правила при выполнении действий над ИИ-краулерами, используя Cloudflare WAF. Дополнительные сведения о создании более точных правил см. в Создание пользовательского правила в панели управления.
3. Изучите подробные метрики
Для более подробной аналитики используйте Метрики на вкладке.
-
Перейдите в AI Crawl Control.
Перейдите в AI Crawl Control ↗ -
Просматривайте подробную разбивку по диапазону дат, краулеру, оператору, коду статуса, имени хоста или пути в разделе Метрики на вкладке.
Обратите внимание, что на бесплатных тарифах Метрики вкладка отображает метрики только за последние 24 часа.
Сравнение тарифных планов
| Все тарифы | Планы Enterprise с Bot Management |
|---|---|
| Обнаружение ИИ-краулеров через строки user-agent ↗ | Расширенное обнаружение ИИ-краулеров через ID обнаружения Bot Management |
| Максимальное 24-часовое окно аналитики | Настраиваемые периоды аналитики |
| Элементы управления разрешением и блокировкой | Элементы управления разрешением и блокировкой, а также возможность взимать плату с ИИ-краулеров с помощью pay per crawl |
Следующие шаги
- Управление AI-краулерами с детальными элементами управления разрешением и блокировкой.
- Анализ трафика ИИ чтобы понять закономерности поведения краулеров и популярность контента.
- Изучите pay per crawl чтобы протестировать варианты монетизации контента (закрытая бета).
Дополнительные материалы
Ознакомьтесь со следующими материалами по теме:
- Блог Cloudflare: Начните аудит и контроль ИИ-моделей, обращающихся к вашему содержимому ↗
- Блокируйте ИИ-краулеров, которые не соответствуют рекомендованным правилам, с помощью Cloudflare AI Labyrinth.
- Управление ИИ-краулерами с помощью управляемого robots.txt.