INTEGRITY Dokumentace

← Browser Run / browser-run / reference

robots.txt a mapy webu

Tato stránka poskytuje obecné pokyny ke konfiguraci robots.txt a mapy webu (sitemaps) pro weby, ke kterým plánujete přistupovat pomocí Browser Run.

Identifikace požadavků Browser Run

Požadavky lze identifikovat pomocí automatické hlavičky které Cloudflare připojuje:

Chcete-li povolit nebo blokovat provoz Browser Run pomocí pravidel WAF namísto robots.txt, použijte ID pro detekci botů na stránce o automatických hlavičkách požadavků.

Doporučené postupy pro robots.txt

Správně nakonfigurovaný robots.txt pomáhá vyhledávačům (crawlerům) pochopit, ke kterým částem vašeho webu mají přístup.

Odkažte na svůj sitemap

Uveďte odkaz na svůj sitemap v robots.txt aby prohledávače mohly zjistit vaše URL adresy:

robots.txt
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Můžete vypsat více souborů sitemap:

robots.txt
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/blog-sitemap.xml

Nastavení zpoždění procházení

Použijte crawl-delay k řízení toho, jak často prohledávače požadují stránky z vašeho serveru:

robots.txt
User-agent: *
Crawl-delay: 2
Allow: /

Sitemap: https://example.com/sitemap.xml

Hodnota je v sekundách. crawl-delay o hodnotě 2 znamená, že prohledávač čeká mezi požadavky dvě sekundy.

Blokování prohledávačů pomocí robots.txt

Pokud chcete zabránit tomu, aby Browser Run (nebo jiní crawleři) přistupoval k vašemu webu, můžete nakonfigurovat svůj robots.txt k omezení přístupu.

Zablokujte všechny roboty na celém webu

Chcete-li zabránit všem prohledávačům v přístupu na jakoukoli stránku vašeho webu:

robots.txt
User-agent: *
Disallow: /

Jedná se o nejrestriktivnější konfiguraci, která blokuje všechny standardům vyhovující boty, nejen Browser Run.

Zablokujte pouze koncový bod /crawl

/crawl koncový bod se identifikuje pomocí User-Agent CloudflareBrowserRenderingCrawler/1.0. Chcete-li zablokovat /crawl endpointu, přičemž povolíte veškerý ostatní provoz (včetně dalších endpointů Browser Run Rychlé akce endpointy, které používají jiný User-Agent):

robots.txt
User-agent: CloudflareBrowserRenderingCrawler
Disallow: /

User-agent: *
Allow: /

Zablokujte koncový bod /crawl na konkrétních cestách

Chcete-li povolit /crawl koncový bod pro přístup na váš web, ale blokuje konkrétní sekce:

robots.txt
User-agent: CloudflareBrowserRenderingCrawler
Disallow: /admin/
Disallow: /private/
Allow: /

User-agent: *
Allow: /

Doporučené postupy pro mapy webu

Sitemap strukturujte tak, aby prohledávačům usnadnila efektivní zpracování vašeho webu:

sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/important-page</loc>
    <lastmod>2025-01-15T00:00:00+00:00</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://example.com/other-page</loc>
    <lastmod>2025-01-10T00:00:00+00:00</lastmod>
    <priority>0.5</priority>
  </url>
</urlset>
Attribute Účel Doporučení
<loc> URL stránky Povinné. Použijte úplné adresy URL.
<lastmod> Datum poslední úpravy Přidejte, aby prohledávač snáze rozpoznal aktualizovaný obsah. Použijte formát ISO 8601.
<priority> Relativní důležitost (0.0-1.0) Důležitým stránkám nastavte vyšší hodnoty. Prohledávač pak zpracuje stránky v pořadí podle priority.

Indexové soubory sitemap

U rozsáhlých webů s více mapami webu použijte indexový soubor sitemap. Browser Run využívá depth parametr pro řízení počtu úrovní vnořených souborů sitemap, které se mají prohledat:

sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  ...
</urlset>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>https://www.example.com/sitemap-products.xml</loc>
   </sitemap>
   <sitemap>
      <loc>https://www.example.com/sitemap-blog.xml</loc>
   </sitemap>
</sitemapindex>

Hlavičky pro ukládání do mezipaměti

Browser Run pravidelně znovu načítá mapy webu, aby byl obsah aktuální. Svou mapu webu poskytujte s Last-Modified nebo ETag hlavičky odpovědi, aby prohledávač dokázal zjistit, zda se soubor sitemap od posledního načtení změnil.

Doporučení