← AI Crawl Control / ai-crawl-control / features / pay-per-crawl
Pay Per Crawl FAQ
Часто задаваемые вопросы для владельцев сайтов
Можно ли устанавливать разные цены для разных ИИ-краулеров?
Нет. Pay per crawl позволяет настроить разные действия (Block, Charge или Allow) для каждого краулера, но вы можете задать только одну цену, которая применяется сразу ко всем краулерам с настроенной опцией «Charge».
Часто задаваемые вопросы для операторов ИИ-ботов
Придётся ли мне платить за повторное сканирование одной и той же страницы?
Да. Каждый раз, когда ваш ИИ-краулер обращается к контенту на сайте, защищённом pay per crawl, начисляется стоимость, установленная владельцем сайта. Вам следует реализовать в краулере механизмы отслеживания расходов и соблюдения лимитов, которые вы хотите установить.
Некоторые пути всегда открыты для бесплатного сканирования. Это следующие пути: /robots.txt, /sitemap.xml, /security.txt, /.well-known/security.txt, /crawlers.json.
Взимается ли плата за ответы с ошибкой?
Нет. Событие взимания платы происходит только при успешных кодах ответа HTTP. Ответы с ошибками не оплачиваются, даже если вы отправили crawler-exact-price или crawler-max-price заголовки.
Какой user agent следует использовать?
Используйте стандартные user agent, связанные с вашим ИИ-краулером, который вы подключили к Cloudflare и идентифицировали через Web Bot Auth.