Slovníček

Bot, který stahuje obsah z webů pro podporu AI modelu, mimo jiné za účelem indexace obsahu, retrieval augmented generation nebo trénování.

Preferovaná verze webové stránky, určená pomocí <link rel="canonical"> HTML tag v hlavičce stránky <head> sekci. Pokud více adres URL zobrazuje stejný nebo podobný obsah, kanonická adresa URL sděluje vyhledávačům a robotům, která verze je autoritativní.

Klasifikace popisující uvedený účel crawleru: "AI Crawler", "AI Search", "AI Assistant" nebo "Search Engine". Jeden crawler má vždy jednu kategorii.

Nově vznikající standard IETF pro vyjádření preferencí ohledně obsahu pro AI pomocí hlaviček HTTP nebo metadat. Jeho cílem je nahradit nestandardní signály jednotlivých dodavatelů. Více na contentsignals.org.

Jeden požadavek HTTP, kterým bot přistupuje ke stránce na vašem webu.

Konkrétní bot, který provozuje společnost za účelem přístupu k obsahu webu. Jeden provozovatel (například OpenAI) může provozovat více crawlerů (GPTBot, ChatGPT-User).

Ceny přenášené v hlavičkách odpovědi HTTP společně s obsahem. V Pay Per Crawl nastavuje původový server ceny pomocí crawler-price hlavička.

Subjekt, který zprostředkovává „nákup a prodej“. U služby pay per crawl je smluvním prodejcem (merchant of record) společnost Cloudflare.

Společnost nebo organizace, která vlastní a provozuje AI crawler. Mezi příklady patří OpenAI, Microsoft, Google, ByteDance, Anthropic a Meta. V AI Crawl Control jsou crawlery seskupeny podle svých provozovatelů.

Stránka, na které se uživatel nacházel před návštěvou vaší domény, sledovaná pomocí hlavičky HTTP Referer. V AI Crawl Control ukazují data referreru návštěvnost přicházející z platforem AI, jako jsou ChatGPT nebo Perplexity.

Textový soubor v kořenovém adresáři webu, který crawlerům určuje, ke kterým stránkám mají nebo nemají přistupovat. Dodržování těchto pravidel je dobrovolné. AI Crawl Control pomáhá sledovat, které crawlery pravidla souboru robots.txt porušují.