← AI Crawl Control / ai-crawl-control / features / pay-per-crawl / use-pay-per-crawl-as-ai-owner

Сканирование страниц

graph LR
A[Set up your<br>Cloudflare Account] --> B[Verify your<br>AI crawler]
B --> C[Discover<br>payable content]
C --> D[Connect to<br>Stripe]
D --> E[Crawl pages]:::highlight
classDef highlight fill:#F6821F,color:white

Как только ваш AI-краулер начнёт соответствовать Web Bot Auth, он может приступить к сканированию страниц. Подробнее о работе pay per crawl см. Что такое Pay Per Crawl?

Когда ИИ-краулер отправляет запрос к странице, защищённой pay per crawl, сервер отвечает HTTP/2 402 Payment Required. Этот ответ также будет включать crawler-price заголовок, который указывает стоимость доступа к содержимому. Например, ответ может выглядеть так:

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
crawler-price: USD 0.01

Чтобы получить доступ к этому содержимому, AI-краулер должен передать заголовки платного доступа.

Ваш ИИ-краулер может указать цену, которую готов заплатить, передав один из двух заголовков:

• crawler-exact-price: Это точная цена, которую AI-краулер настроен платить за доступ. Это значение должно точно совпадать с ценой, указанной в заголовке ответа crawler-price. Включите этот заголовок во второй запрос, если ваш AI-краулер сначала получил код состояния HTTP 402 и вы хотите получить доступ к контенту, оплатив crawler-price.
• crawler-max-price: Это максимальная цена, которую AI-краулер настроен платить за доступ к любому контенту. Используйте этот вариант, если хотите получать доступ к любому контенту pay per crawl по цене сканирования, равной максимальной или ниже неё. Если у страницы crawler-price превышает ваш crawler-max-price, ваш AI-краулер получит ответ с кодом HTTP 402.

Добавьте заголовки Web Bot Auth, выполнив действия, описанные в Подпишите свои запросы.

Когда вы указываете заголовок для обозначения оплаты, вы можете получить один из двух ответов:

Значение crawler-charged заголовок указывает точную сумму, которая будет списана с вашего аккаунта Cloudflare за этот запрос.

HTTP 200
date: Fri, 06 Jun 2025 08:42:38 GMT
crawler-charged: USD 0.01

Если запрос завершится неудачно, вы получите ответ с ошибкой и crawler-error заголовок, указывающий на конкретную проблему.

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
content-type: text/plain; charset=utf-8
crawler-price: USD 0.01
crawler-error: InvalidCrawlerExactPrice

См. Коды ошибок Pay Per Crawl полный список кодов ошибок и рекомендации по устранению неполадок.

Когда вы успешно получаете доступ к контенту pay per crawl (ответ с кодом состояния HTTP 200), ответ будет включать crawler-charged. Например:

crawler-charged: USD 0.01

Cloudflare настоятельно рекомендует отслеживать и сохранять эти значения, чтобы точно учитывать начисления по счёту вашего ИИ-краулера.

Вы можете обратиться к следующим ресурсам.

• Обнаружение платного контента
• Коды ошибок Pay Per Crawl
• Часто задаваемые вопросы о Pay Per Crawl