INTEGRITY Документация

← Browser Run / browser-run / reference

robots.txt и карты сайта

На этой странице приведены общие рекомендации по настройке robots.txt и карты сайта (sitemaps) для сайтов, к которым вы планируете обращаться с помощью Browser Run.

Идентификация запросов Browser Run

Запросы можно определить по автоматические заголовки который Cloudflare добавляет:

Чтобы разрешать или блокировать трафик Browser Run с помощью правил WAF вместо robots.txt, используйте идентификаторы обнаружения ботов на странице об автоматических заголовках запроса.

Рекомендации для robots.txt

Правильно настроенный robots.txt помогает краулерам понять, к каким разделам сайта у них есть доступ.

Укажите карту сайта

Добавьте ссылку на карту сайта в robots.txt чтобы краулеры могли находить ваши URL-адреса:

robots.txt
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Можно указать несколько файлов sitemap:

robots.txt
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/blog-sitemap.xml

Задайте задержку сканирования

Используйте crawl-delay чтобы контролировать, как часто краулеры запрашивают страницы с вашего сервера:

robots.txt
User-agent: *
Crawl-delay: 2
Allow: /

Sitemap: https://example.com/sitemap.xml

Значение указывается в секундах. Значение crawl-delay со значением 2 означает, что краулер ожидает две секунды между запросами.

Блокировка краулеров с помощью robots.txt

Если вы хотите запретить Browser Run (или другим краулерам) доступ к вашему сайту, вы можете настроить robots.txt чтобы ограничить доступ.

Блокировка всех ботов на всём сайте

Чтобы запретить всем краулерам доступ к любым страницам вашего сайта:

robots.txt
User-agent: *
Disallow: /

Это самая строгая конфигурация: она блокирует всех добросовестных ботов, а не только Browser Run.

Блокировка только эндпоинта /crawl

/crawl конечная точка представляется с помощью User-Agent CloudflareBrowserRenderingCrawler/1.0. Чтобы заблокировать /crawl эндпоинт, разрешив при этом весь остальной трафик (включая другие Browser Run Быстрые действия эндпоинтов, которые используют другой User-Agent):

robots.txt
User-agent: CloudflareBrowserRenderingCrawler
Disallow: /

User-agent: *
Allow: /

Блокировка эндпоинта /crawl для определённых путей

Чтобы разрешить /crawl конечная точка доступ к вашему сайту, но блокирует отдельные разделы:

robots.txt
User-agent: CloudflareBrowserRenderingCrawler
Disallow: /admin/
Disallow: /private/
Allow: /

User-agent: *
Allow: /

Рекомендации для карт сайта

Структурируйте свой sitemap, чтобы краулерам было проще эффективно обрабатывать ваш сайт:

sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/important-page</loc>
    <lastmod>2025-01-15T00:00:00+00:00</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://example.com/other-page</loc>
    <lastmod>2025-01-10T00:00:00+00:00</lastmod>
    <priority>0.5</priority>
  </url>
</urlset>
Attribute Назначение Рекомендация
<loc> URL страницы Обязательно. Используйте полные URL-адреса.
<lastmod> Дата последнего изменения Добавьте это, чтобы помочь краулеру определить обновленный контент. Используйте формат ISO 8601.
<priority> Относительная важность (0.0-1.0) Для важных страниц задавайте более высокие значения. Краулер будет обрабатывать страницы в порядке приоритета.

Индексные файлы Sitemap

Для крупных сайтов с несколькими файлами sitemap используйте индексный файл sitemap. Browser Run использует depth параметр, чтобы контролировать, сколько уровней вложенных карт сайта обходится:

sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  ...
</urlset>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>https://www.example.com/sitemap-products.xml</loc>
   </sitemap>
   <sitemap>
      <loc>https://www.example.com/sitemap-blog.xml</loc>
   </sitemap>
</sitemapindex>

Заголовки кэширования

Browser Run периодически заново запрашивает карты сайта, чтобы содержимое оставалось актуальным. Отдавайте карту сайта с Last-Modified или ETag заголовки ответа, чтобы краулер мог определить, изменилась ли карта сайта с момента последнего запроса.

Рекомендации