← AI Crawl Control / ai-crawl-control / features / pay-per-crawl / use-pay-per-crawl-as-ai-owner

Zjištění zpoplatnitelného obsahu

graph LR
A[Set up your<br>Cloudflare Account] --> B[Verify your<br>AI crawler]
B --> C[Discover<br>payable content]:::highlight
C --> D[Connect to<br>Stripe]
D --> E[Crawl pages]
classDef highlight fill:#F6821F,color:white

Rozhraní Pay Per Crawl Discovery API umožňuje ověřeným AI crawlerům zjistit, které domény nabízejí placený přístup k obsahu. Díky tomu může váš crawler ještě před odesláním požadavků na procházení aktivně vyhledat weby zapojené do Pay Per Crawl.

Předpoklady

Než začnete používat Pay Per Crawl Discovery API, musíte:

Ověřování pomocí Web Bot Auth

Všechny požadavky na Discovery API musí být ověřeny pomocí podpisů HTTP zpráv s hlavičkami Web Bot Auth. Díky tomu mají k seznamu zúčastněných domén přístup pouze ověření crawleři.

Podpis Web Bot Auth vygenerujte podle kroků v Podepište své požadavky.
Sestavte požadované hlavičky podle popisu v Sestavení požadovaných hlaviček:
- Signature: Kryptografický podpis požadavku
- Signature-Input: Metadata a parametry podpisu
- Signature-Agent: Informace o podepisujícím agentovi

Zjištění zúčastněných domén

Koncový bod API

GET https://crawlers-api.ai-audit.cfdata.org/charged_zones

Parametry požadavku

cursor (volitelné): kurzor vrácený z předchozího volání pro stránkování
limit (volitelné): počet výsledků, které se mají vrátit na jeden požadavek

Hlavičky požadavku

Uveďte hlavičky HTTP message signature vygenerované pomocí Web Bot Auth:

Signature: <your-signature>
Signature-Input: <signature-metadata>
Signature-Agent: <agent-information>

Příklad požadavku

curl -X GET "https://crawlers-api.ai-audit.cfdata.org/charged_zones?limit=50" \
  -H "Signature: <your-signature>" \
  -H "Signature-Input: <signature-metadata>" \
  -H "Signature-Agent: <agent-information>"

Formát odpovědi

Rozhraní API vrací seznam zón (domén), které mají povolenou funkci Pay Per Crawl a přijímají platby od vašeho crawleru.

{
	"result": {
		"zones": [
			{
				"domain": "example.com"
			},
			{
				"domain": "news-site.com"
			}
		]
	},
	"success": true,
	"errors": [],
	"messages": []
}

Pole odpovědi

result.zones: Pole objektů zón obsahujících domény s povolenou funkcí Pay Per Crawl
result.zones[].domain: Doménové jméno nabízející obsah v rámci Pay Per Crawl
success: Booleovská hodnota udávající, zda byl požadavek úspěšný
errors: Pole chybových zpráv (prázdné v případě úspěchu)
messages: Pole informačních zpráv

Použijte data Discovery

Rozhraní Discovery API vrací domény, u kterých vlastník webu konkrétně nastavil, že přístup k obsahu bude pro váš crawler zpoplatněn. Pokud se doména v odpovědi neobjeví, vlastník webu zpoplatnění přes Pay Per Crawl pro váš crawler nezapnul. Vlastníci webů mohou váš crawler také blokovat nebo povolovat pomocí pravidel WAF, případně nastavit direktivy v souboru robots.txt, které byste měli respektovat a dodržovat.

Ukládejte výsledky vyhledávání lokálně do mezipaměti a pravidelně je obnovujte, abyste měli aktuální přehled o doménách, které se k Pay Per Crawl připojují nebo ho opouštějí.

Další zdroje

Procházení stránek