← AI Crawl Control / ai-crawl-control / features / pay-per-crawl

Что такое Pay Per Crawl?

ИИ-краулеры нередко потребляют огромные объёмы веб-контента. Некоторые из них приносят взаимную выгоду владельцам контента, индексируя его для поисковых систем, тогда как другие занимаются, например, несанкционированным сбором данных.

В результате у владельцев содержимого остаётся мало возможностей управлять AI-краулерами или получать компенсацию за автоматизированный доступ к их интеллектуальной собственности.

Pay per crawl представляет собой функцию AI Crawl Control, которая позволяет владельцам сайтов управлять доступом AI-краулеров к контенту и монетизировать его, устанавливая цену за зону.

Каждый раз, когда ИИ-краулер запрашивает контент, он либо передаёт намерение оплаты через заголовки запроса для успешного HTTP 200 доступа или получить HTTP 402 Payment Required ответ с указанием цены. Cloudflare выступает в роли Юридический продавец (Merchant of Record) для Pay Per Crawl, а также предоставляет базовую техническую инфраструктуру.

В конечном счёте pay per crawl позволяет:

• Владельцам сайтов получить контроль над своим содержимым и взимать плату каждый раз, когда AI-краулер обращается к странице на их Зона Cloudflare. Подробнее см. в использование pay per crawl владельцем сайта.
• владельцам ИИ-краулеров платить за доступ к контенту на сайтах, защищённых функцией pay per crawl. Подробнее см. использование pay per crawl владельцем ИИ.

Ознакомьтесь со следующими материалами.

• Используйте pay per crawl как владелец сайта.
• Используйте pay per crawl как владелец ИИ.
• AI Crawl Control и Cloudflare WAF.
• AI Crawl Control и Cloudflare Bots.