← AI Crawl Control / ai-crawl-control / features / pay-per-crawl / use-pay-per-crawl-as-ai-owner

Обнаружение платного контента

graph LR
A[Set up your<br>Cloudflare Account] --> B[Verify your<br>AI crawler]
B --> C[Discover<br>payable content]:::highlight
C --> D[Connect to<br>Stripe]
D --> E[Crawl pages]
classDef highlight fill:#F6821F,color:white

Discovery API для Pay Per Crawl позволяет проверенным AI-краулерам узнавать, какие домены предлагают платный доступ к содержимому. Это позволяет вашему краулеру заранее определять сайты, участвующие в Pay Per Crawl, до отправки запросов на сканирование.

Предварительные требования

Перед использованием Pay Per Crawl Discovery API необходимо:

Аутентификация с помощью Web Bot Auth

Все запросы к Discovery API должны быть аутентифицированы с помощью HTTP message signatures и заголовков Web Bot Auth. Это гарантирует, что список участвующих доменов доступен только проверенным краулерам.

Сформируйте подпись Web Bot Auth, выполнив действия, описанные в Подпишите свои запросы.
Сформируйте необходимые заголовки, как описано в Формирование необходимых заголовков:
- Signature: Криптографическая подпись запроса
- Signature-Input: Метаданные и параметры подписи
- Signature-Agent: Сведения о подписывающем агенте

Обнаружение участвующих доменов

Конечная точка API

GET https://crawlers-api.ai-audit.cfdata.org/charged_zones

Параметры запроса

cursor (необязательно): курсор, возвращённый предыдущим вызовом, для постраничной навигации
limit (необязательно): количество результатов, возвращаемых на один запрос

Заголовки запроса

Добавьте заголовки подписи HTTP-сообщений, сгенерированные с помощью Web Bot Auth:

Signature: <your-signature>
Signature-Input: <signature-metadata>
Signature-Agent: <agent-information>

Пример запроса

curl -X GET "https://crawlers-api.ai-audit.cfdata.org/charged_zones?limit=50" \
  -H "Signature: <your-signature>" \
  -H "Signature-Input: <signature-metadata>" \
  -H "Signature-Agent: <agent-information>"

Формат ответа

API возвращает список зон (доменов), для которых включён Pay Per Crawl и которые принимают платежи от вашего краулера.

{
	"result": {
		"zones": [
			{
				"domain": "example.com"
			},
			{
				"domain": "news-site.com"
			}
		]
	},
	"success": true,
	"errors": [],
	"messages": []
}

Поля ответа

result.zones: Массив объектов зон, содержащих домены с включённым Pay Per Crawl
result.zones[].domain: Доменное имя, предлагающее контент Pay Per Crawl
success: Булево значение, указывающее, был ли запрос успешным
errors: Массив сообщений об ошибках (пустой при успешном выполнении)
messages: Массив информационных сообщений

Используйте данные обнаружения

Discovery API возвращает домены, для которых владельцы сайтов настроили для вашего краулера платный доступ к содержимому. Если домен отсутствует в ответе, значит владелец сайта не включил для вашего краулера тарификацию Pay Per Crawl. Кроме того, владельцы сайтов могут блокировать или разрешать доступ вашему краулеру с помощью правил WAF или директив в файле robots.txt, поэтому обязательно проверяйте и соблюдайте эти ограничения.

Кешируйте результаты Discovery API локально и обновляйте их периодически, чтобы отслеживать домены, подключающиеся к Pay Per Crawl или отключающиеся от неё.

Дополнительные ресурсы

Сканирование страниц