Издатели и авторы контента
Издатели и авторы контента могут отслеживать, какие AI-краулеры обращаются к их статьям и образовательным материалам. Настройте политики, разрешающие доступ полезным краулерам и блокирующие остальные.
← AI Crawl Control / ai-crawl-control
AI Crawl Control
Доступно на всех тарифах
Отслеживайте и контролируйте доступ AI-сервисов к содержимому вашего сайта.
Компании, занимающиеся разработкой ИИ, используют содержимое веб-страниц для обучения моделей и работы приложений на основе ИИ. AI Crawl Control (ранее AI Audit) показывает, какие ИИ-сервисы обращаются к вашему контенту, и даёт инструменты для управления доступом по вашему усмотрению.
С AI Crawl Control вы можете:
- Узнайте, какие AI-сервисы обращаются к вашему контенту - отслеживайте активность краулеров и шаблоны запросов на панели управления
- Управление доступом с помощью детализированных политик - настраивайте правила разрешения или блокировки для отдельных краулеров
- Отслеживайте соответствие robots.txt - отслеживайте, какие краулеры соблюдают ваши директивы, и создавайте правила принудительного применения
- Изучите варианты монетизации - настройте тарификацию Pay Per Crawl для доступа к содержимому (закрытая бета)
- Развёртывание без настройки - работает автоматически на всех тарифных планах Cloudflare
Возможности
Управление AI-краулерами
Управляйте тем, как ИИ-краулеры взаимодействуют с вашим доменом.
Анализ трафика ИИ
Узнайте, как ИИ-краулеры взаимодействуют с вашими страницами.
Отслеживание robots.txt
Отслеживайте состояние robots.txt файлов и определять, какие краулеры
нарушают ваши директивы.
Pay Per Crawl
Разрешите ИИ-краулерам доступ к контенту за плату за каждое обращение.
Сценарии использования
Сайты электронной коммерции и бизнеса
Сайты электронной коммерции и бизнеса могут отслеживать активность ИИ-краулеров на страницах товаров и в бизнес-информации. Ограничивайте доступ к конфиденциальным данным, таким как цены и складские остатки.
Сайты документации
Сайты документации могут отслеживать, как ИИ-краулеры обращаются к их технической документации. Анализируйте, как ИИ-краулеры взаимодействуют с вашим сайтом.
Похожие продукты
Боты
Выявляйте автоматизированный трафик и снижайте его влияние, чтобы защитить домен от вредоносных ботов.
Web Application Firewall
Получите автоматическую защиту от уязвимостей и возможность гибко создавать собственные правила.
Аналитика
Просматривайте и анализируйте трафик на вашем домене.
Содержание
32 страницы, скопированные из документации Cloudflare для ai-crawl-control.
Pages
Конфигурация
- AI Crawl Control и Cloudflare Bots
- AI Crawl Control и Transform Rules
- AI Crawl Control и Cloudflare WAF
Возможности
- Анализ трафика ИИ
- Управление AI-краулерами
- Pay Per Crawl
- Pay Per Crawl FAQ
- Используйте pay per crawl как владелец ИИ
- Подключение Stripe
- Сканирование страниц
- Обнаружение платного контента
- Коды ошибок
- Настройте свою учётную запись
- Подтвердите своего ИИ-краулера
- Используйте pay per crawl как владелец сайта
- Расширенная настройка
- Включите в Account Settings
- Управление выплатами
- Мониторинг активности
- Выберите краулеры, с которых будет взиматься плата
- Задайте цену Pay per crawl
- Что такое Pay Per Crawl?
- Директивы