INTEGRITY Документация

← AI Crawl Control / ai-crawl-control / features / pay-per-crawl / use-pay-per-crawl-as-ai-owner

Подтвердите своего ИИ-краулера

graph LR
A[Set up your<br>Cloudflare Account] --> B[Verify your<br>AI crawler]:::highlight
B --> C[Discover<br>payable content]
C --> D[Connect to<br>Stripe]
D --> E[Crawl pages]
classDef highlight fill:#F6821F,color:white

После подключения аккаунта Stripe настройте свой AI-краулер как проверенный бот.

Ограничение доступа к контенту

Когда ИИ-краулер пытается получить доступ к контенту, защищённому pay per crawl, он получает код состояния HTTP 402. Это означает, что требуется оплата. Заголовок HTTP в ответе содержит стоимость контента.

Например, заголовок ответа может выглядеть так:

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
content-type: text/plain; charset=utf-8
crawler-price: USD 0.01
server: cloudflare

Чтобы получить доступ к этому содержимому, необходимо верифицировать своего AI-краулера.

1. Следуйте протоколу Web Bot Auth

Убедитесь, что ваш ИИ-краулер идентифицирует себя с помощью заголовков, необходимых для Web Bot Auth.

Выполните действия, описанные в Web Both Auth.

2. Следуйте политике для проверенных ботов

Убедитесь, что ваш ИИ-краулер соблюдает политика проверенных ботов.

3. Отправьте запрос на верификацию

Отправьте форму, чтобы добавить своего AI-краулера в список проверенных ботов Cloudflare.

  1. В панели управления Cloudflare перейдите в Manage Account > Настройки.

    Перейдите в Конфигурации ↗

  2. Перейдите в Bot Submission Form на вкладке.

  3. Заполните форму, указав следующую обязательную информацию:

    • Выберите тип бота: Выберите Проверенный бот или Signed Agent.
    • Метод проверки: Выберите Подпись запроса.
    • Значения заголовка User-Agents: Укажите строку (или строки) User-Agent, которую использует ваш бот.
    • User-Agents Match Pattern: Укажите шаблоны подстрок, соответствующие вашему User-Agent (например, GoogleBot | GoogleScraper).

  4. Выберите Отправить.