← AI Crawl Control / ai-crawl-control / reference

Справочник по ботам

Набор краулеров от крупных AI-операторов. Актуальный список проверенных ботов см. в Cloudflare Radar Bots Directory ↗.

Краулер	Оператор	Категория	ID обнаружения	User Agent
GPTBot	OpenAI	AI Crawler	`123815556`, `33563875`	`GPTBot`
ChatGPT-User	OpenAI	AI Assistant	`132995013`, `33563857`	`ChatGPT-User`
OAI-SearchBot	OpenAI	AI Search	`126255384`, `33563986`	`OAI-SearchBot`
ClaudeBot	Anthropic	AI Crawler	`33563859`	`ClaudeBot`
Claude-SearchBot	Anthropic	AI Search	`33564301`	`Claude-SearchBot`
Claude-User	Anthropic	AI Assistant	`33564303`	`Claude-User`
PerplexityBot	Perplexity	AI Search	`33563889`	`PerplexityBot`
Perplexity-User	Perplexity	AI Assistant	`33564371`	`Perplexity-User`
Googlebot	Google	Поисковая система	`120623194`, `33554459`	`Googlebot`
Google-CloudVertexBot	Google	AI Crawler	`133730073`, `33564321`	`Google-CloudVertexBot`
BingBot	Microsoft	Поисковая система	`117479730`, `33554461`	`bingbot`
Bytespider	ByteDance	AI Crawler	`33563853`	`Bytespider`
CCBot	Common Crawl	AI Crawler	`133621792`, `33563855`	`CCBot`
Meta-ExternalAgent	Meta	AI Crawler	`124581738`, `33563982`	`meta-externalagent`
Meta-ExternalFetcher	Meta	AI Assistant	`132272919`, `33563980`	`meta-externalfetcher`
FacebookBot	Meta	AI Crawler	`33563972`	`FacebookBot`
Applebot	Apple	AI Search	`120424214`, `33563845`	`Applebot`
Amazonbot	Amazon	AI Crawler	`118601807`, `33563839`	`Amazonbot`
DuckAssistBot	DuckDuckGo	AI Assistant	`126666910`, `33564037`	`DuckAssistBot`
MistralAI-User	Mistral	AI Assistant	`128950951`, `33564323`	`MistralAI-User`

Домены-источники переходов по операторам

Когда посетители попадают на ваш сайт с ИИ-платформы, реферер указывает, какие их отправила служба оператора.

Оператор	Домены
OpenAI	`openai.com`, `chatgpt.com`
Anthropic	`anthropic.com`, `claude.ai`
Perplexity	`perplexity.ai`
Google	`google.com`, `youtube.com`
Microsoft	`bing.com`, `msn.com`, `microsoft.com`
Meta	`facebook.com`, `instagram.com`, `whatsapp.com`, `meta.com`
DuckDuckGo	`duckduckgo.com`, `duck.com`
ByteDance	`bytedance.com`, `tiktok.com`
Apple	`apple.com`, `icloud.com`
Amazon	`amazon.com`, `alexa.com`