← Přehled / ai-search / configuration / data-source / website

Parse types

Parse type určuje, jak AI Search nachází stránky k indexaci na zdroj dat webu. AI Search podporuje dva parse types.

Nastavte parse type v source_params.web_crawler.parse_type. Pokud ho nenastavíte, AI Search použije sitemap.

Oba parse types vyžadují zdrojovou URL adresu na doméně, kterou jste onboardovali do stejného účtu Cloudflare. Více informací najdete v Onboarding domény pokud vaše doména ještě není na Cloudflare.

Oba parse types dokážou číst vaše sitemapy, takže volba není jen otázkou „sitemapa, nebo odkazy“. discover má výchozí hodnotu zdroj zjišťování z all, což znamená, že načítá vaše sitemapy a sleduje odkazy. Rozdíl je v tom, jak důkladně každý z nich využívá sitemapu.

Pokud váš web publikuje sitemap, který pokrývá stránky, jež chcete indexovat, upřednostněte sitemap. Je to spolehlivější ze dvou možností, protože:

• Aktualizace se řídí vaší sitemapou. sitemap znovu prochází stránku, když se změní její <lastmod> se změní, takže úpravy se projeví při další synchronizaci. discover ignoruje <lastmod> a <changefreq> zcela a znovu načítá v pevně daném stáří mezipaměti místo toho.
• Nic není oříznuto. discover se zastaví na nakonfigurovaném limit stránek a hloubka procházení, takže stránky ležící hluboko v grafu odkazů nebo za limitem mohou být přeskočeny. sitemap indexuje vše, co sitemap obsahuje.
• Pořadí určujete vy. sitemap indexuje stránky podle jejich <priority> hodnotu, aby se v případě dosažení limitu instance nejdříve indexovaly vaše nejdůležitější stránky.
• Rozsah procházení můžete omezit. Konkrétní sitemap není podporováno s discover.

Vyberte discover když sitemap chybí, je neúplná nebo zastaralá.

sitemap parse type je výchozí. AI Search načítá XML sitemapy publikované na vašem webu, aby určil, které stránky indexovat, a znovu prochází stránku, když se změní její <lastmod> se změní.

Když připojíte doménu, crawler vyhledá sitemapu vašeho webu, aby zjistil, které stránky má navštívit:

1. Pokud v dashboardu nakonfigurujete jednu nebo více vlastních URL adres sitemap v části Možnosti parseru > Konkrétní sitemap, AI Search prochází pouze tyto adresy URL souborů sitemap.
2. Jinak crawler zkontroluje robots.txt pro uvedené sitemapy.
3. Pokud žádný robots.txt je nalezen, crawler zkontroluje sitemapu na adrese /sitemap.xml.
4. Pokud není k dispozici žádný sitemap, doménu nelze procházet pomocí sitemap parse type. Použijte discover místo toho.

Pokud vaše sitemapy obsahují <priority> atributy, AI Search přečte všechny sitemapy a indexuje stránky podle hodnoty priority každé stránky bez ohledu na to, ve kterém sitemapu se stránka nachází.

Pokud žádný <priority> je zadán, stránky se indexují v pořadí, v jakém jsou uvedeny sitemapy, buď z nakonfigurovaných vlastních URL adres pro sitemapy, nebo z robots.txt odshora dolů.

AI Search podporuje .gz komprimované sitemapy. Obě robots.txt a mapy webu mohou používat částečné adresy URL.

Během plánované nebo ruční synchronizační úlohy, crawler zkontroluje změny v <lastmod> atribut ve vašem sitemapu. Pokud bylo změněno na datum pozdější než poslední datum synchronizace, stránka se prochází, uloží se aktualizovaná verze a stránka se automaticky znovu zaindexuje, aby výsledky vyhledávání vždy odrážely nejnovější obsah.

Pokud <lastmod> atribut není definován, AI Search použije <changefreq> atribut k určení, jak často se má URL znovu procházet. Pokud není definován ani <lastmod> ani <changefreq> je definován, AI Search automaticky prochází každý odkaz jednou denně.

AI Search ve výchozím nastavení prochází všechny sitemapy uvedené ve vašem robots.txt v pořadí, v jakém se objevují (odshora dolů). Pokud nechcete, aby prohledávač indexoval vše, nebo pokud je váš sitemap umístěn na nestandardní cestě, můžete vlastní adresy URL sitemap nastavit v dashboardu v části Možnosti parseru > Konkrétní sitemap.

Pokud jsou nakonfigurované vlastní URL adresy sitemap, AI Search použije tyto adresy URL místo automatického vyhledávání sitemap z robots.txt nebo /sitemap.xml. Můžete přidat až pět URL adres sitemapy.

Crawler AI Search používá user agenta Cloudflare-AI-Search. Váš robots.txt soubor by měl odkazovat na váš sitemap a povolovat přístup crawleru:

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Můžete uvést více sitemap nebo použít soubor s indexem sitemap:

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/blog-sitemap.xml
Sitemap: https://example.com/sitemap.xml.gz

Chcete-li zablokovat všechny ostatní crawlery a povolit pouze AI Search:

User-agent: *
Disallow: /

User-agent: Cloudflare-AI-Search
Allow: /

Sitemap: https://example.com/sitemap.xml

Strukturujte svou sitemapu tak, aby AI Search měl informace potřebné pro efektivní procházení:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/important-page</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://example.com/other-page</loc>
    <lastmod>2026-01-10</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.5</priority>
  </url>
</urlset>

Pomocí těchto atributů řiďte chování při procházení:

Sitemap Index můžete také použít k seskupení dalších sitemap specifických pro jednotlivé domény:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://www.example.com/sitemap-blog.xml</loc>
    <lastmod>2024-08-15T10:00:00+00:00</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://www.example.com/sitemap-docs.xml</loc>
    <lastmod>2024-08-10T12:00:00+00:00</lastmod>
  </sitemap>
</sitemapindex>

Při zpracování souboru Sitemap Index AI Search shromáždí všechny podřízené sitemapy a následně je rekurzivně prochází, aby získala všechny relevantní adresy URL uvedené ve vašich sitemapách.

• Vložte <lastmod> na všech URL adresách, aby bylo možné během synchronizace efektivně rozpoznávat změny.
• Nastavte <priority> a určete tak pořadí indexování. Stránky s vyšší prioritou se indexují jako první.
• Použijte <changefreq> jako záložní řešení, když <lastmod> není k dispozici.
• U velkých webů s více sitemapami použijte soubory indexu sitemap.
• Komprimujte velké sitemapy pomocí .gz formát pro snížení šířky pásma.
• Udržujte sitemapy pod 50 MB a 50 000 URL adres na soubor (standardní limity pro sitemapy).

discover parse type deleguje vyhledávání stránek na Browser Run /crawl koncový bod. AI Search spustí úlohu procházení na vaší zdrojové URL adrese a každou stránku, kterou načte, uloží do vestavěné úložiště.

Standardně discover shromažďuje kandidátní adresy URL jak z vašich sitemap, tak z odkazů na procházených stránkách. Použijte zdroj zjišťování volbu, kterou to omezíte pouze na jedno z obou.

Protože discover nezávisí na sitemapu, dosáhne i na stránky, které sitemap vynechává.

1. AI Search spustí úlohu procházení od zdrojové URL adresy.
2. Crawler shromažďuje kandidátní adresy URL ze sitemap, z odkazů na procházených stránkách nebo z obou zdrojů, v závislosti na zdroji vyhledávání.
3. Crawler sleduje odkazy až do nakonfigurované hloubky a zastaví se, jakmile dosáhne limitu stránek.
4. Každá načtená stránka se uloží do vestavěného úložiště, převede do Markdownu, rozdělí na části a zaindexuje.

Crawler se identifikuje jako Cloudflare-AI-Search na doménách ve vašem účtu Cloudflare. Pokud povolíte externí odkazy nebo subdomény a prohledávání dosáhne domény mimo váš účet, identifikuje se jako Cloudflare-AI-Search-External. Stránky, které robots.txt zákazy se zaznamenávají pomocí blocked_by_robots_txt kód chyby indexování namísto toho, aby byla indexována.

Chcete-li tato nastavení později změnit, vyberte svou instanci a otevřete Nastavení kartu a upravte Možnosti procházení v části Možnosti parseru. Uložení změny spustí novou indexační úlohu, která znovu zaindexuje všechny položky.

Nastavte parse_type na discover, poté předejte veškerá nestandardní nastavení v discover_options.

curl -X POST "https://api.cloudflare.com/client/v4/accounts/<ACCOUNT_ID>/ai-search/instances" \
  -H "Authorization: Bearer <API_TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "id": "my-ai-search",
    "type": "web-crawler",
    "source": "example.com",
    "source_params": {
      "web_crawler": {
        "parse_type": "discover",
        "discover_options": {
          "source": "links",
          "limit": 5000,
          "depth": 3,
          "max_age": 86400,
          "include_subdomains": true
        }
      }
    }
  }'

Následující možnosti platí pouze při parse_type je discover. Všechny jsou volitelné.

source volba určuje, odkud pocházejí kandidátní URL adresy:

• all: Používá jak sitemapy, tak odkazy nalezené na procházených stránkách.
• sitemaps: Používá pouze adresy URL uvedené v sitemapách.
• links: Používá pouze odkazy nalezené na procházených stránkách.

Použijte links když vaše sitemap chybí nebo je nespolehlivá. Použijte sitemaps když chcete pokrytí prostřednictvím sitemap bez sledování odkazů na stránkách.

limit volba omezuje počet stránek, které crawler zaindexuje, až do maxima 100000. Hodnoty nad tímto maximem jsou při vytváření nebo aktualizaci instance odmítnuty. Váš limit objektů instance se přesto uplatňuje, takže platí nižší z obou hodnot.

depth volba omezuje, jak daleko se crawler od zdrojové URL adresy vzdálí. Hloubka 1 prochází pouze stránky odkazované přímo ze zdrojové URL adresy.

max_age volba nastavuje maximální stáří, v sekundách, obsahu stránky uloženého v mezipaměti, které crawler akceptuje, než stránku znovu načte z vašeho origin serveru. Nastavte ji na 0 pokud chcete obsah vždy načítat přímo z origin serveru.

V dashboardu Max. stáří mezipaměti nabízí Žádná mezipaměť, 1 hodina, 1 den, 3 dny, a 7 dnů.

Prohledávač ve výchozím nastavení zůstává na hostiteli zdrojové adresy URL. Povolte include_subdomains aby procházení sledovalo odkazy i do subdomén, a include_external_links aby sledovalo odkazy i na jiné domény.

Každý synchronizační úloha spustí novou úlohu procházení. AI Search znovu zaindexuje stránky, které procházení vrátí, a odstraní ty, ke kterým se už nedostane.

Pokud se procházení nedokončí nebo se zastaví na limitu stránek, AI Search ponechá stránky, které již dříve zaindexovala, místo aby mazala stránky, ke kterým se dané procházení nedostalo.

discover nečte <lastmod> nebo <changefreq> atributy sitemap. Použijte max_age a určete tak, jak často se crawler vrací na váš origin server.

parse_options.specific_sitemaps je platné pouze tehdy, když parse_type je sitemap. Odešlete ho s discover vrátí chybu ověření.

Následující nastavení webu platí bez ohledu na to, který parse type zvolíte:

• Filtrování cest: Vzory URL pro zahrnutí a vyloučení. Vyloučené stránky se nikdy nenačítají.
• Selektory obsahu: Omezí indexování na prvky odpovídající selektoru CSS.
• Ověřovací hlavičky: Vlastní HTTP hlavičky odesílané s každým požadavkem.
• Vlastní metadata: Metadata extrahovaná z <meta> tagy.
• Režim vykreslování: Zda se stránky načítají v headless prohlížeči.

A discover zaindexuje nejvýše 100 000 stránek a sleduje nejvýše 100 000 odkazových skoků od zdrojové URL adresy, nastavených pomocí limit a depth.

soubory na instanci limit se také uplatňuje, takže efektivní strop odpovídá nižší z hodnot. Přehled všech limitů, které platí pro zdroje dat typu web, najdete v Web.