Глоссарий

Бот, который собирает контент с веб-сайтов для нужд модели ИИ, в том числе для индексирования, генерации с дополненным поиском (RAG) или обучения.

Предпочтительная версия веб-страницы, указанная с помощью <link rel="canonical"> тег HTML в <head> раздел. Когда несколько URL-адресов обслуживают одинаковый или похожий контент, канонический URL сообщает поисковым системам и краулерам, какая версия является основной.

Классификация, описывающая заявленное назначение краулера: "AI Crawler", "AI Search", "AI Assistant" или "Search Engine". Одна категория на краулер.

Формирующийся стандарт IETF для выражения предпочтений по использованию контента моделями ИИ через HTTP-заголовки или метаданные. Призван заменить нестандартные сигналы отдельных поставщиков. Подробнее на contentsignals.org.

Один HTTP-запрос от бота на доступ к странице вашего сайта.

Конкретный бот, которым компания пользуется для доступа к веб-контенту. Один оператор (например, OpenAI) может использовать несколько краулеров (GPTBot, ChatGPT-User).

Цены передаются в заголовках HTTP-ответа вместе с содержимым. В Pay Per Crawl источник задаёт цены через crawler-price заголовок.

Сторона, которая обеспечивает «покупку и продажу». Для Pay Per Crawl Cloudflare выступает в роли юридического продавца (Merchant of Record).

Компания или организация, которой принадлежит ИИ краулер и которая им управляет. Примеры: OpenAI, Microsoft, Google, ByteDance, Anthropic и Meta. В AI Crawl Control краулеры группируются по операторам.

Сайт, на котором пользователь находился перед переходом на ваш домен, отслеживается через HTTP-заголовок Referer. В AI Crawl Control данные об источнике перехода показывают трафик, поступающий с ИИ-платформ, таких как ChatGPT или Perplexity.

Текстовый файл в корне веб-сайта, который указывает краулерам, к каким страницам им разрешено или запрещено обращаться. Соблюдение этих правил добровольное. AI Crawl Control помогает отслеживать, какие краулеры нарушают правила вашего файла robots.txt.