← Přehled / ai-search / configuration / data-source
Web
Jako zdroj dat pro svou instanci AI Search můžete připojit web, který vlastníte. AI Search stránky automaticky prochází a indexuje.
Procházet můžete pouze domény, které jste onboardovali do stejného účtu Cloudflare. Viz Onboarding domény pro další informace o přidání domény do vašeho účtu Cloudflare.
Začínáme
Web můžete připojit při vytváření nové instance prostřednictvím dashboard, REST API, nebo Wrangler. Website je volitelný zdroj dat, který můžete přidat vedle vestavěné úložiště.
Jak funguje procházení webu
AI Search najde stránky na vašem webu, každou z nich načte, převede do Markdownu, rozdělí na části obsahu a přidá do indexu. parse type určuje, jak se stránky vyhledávají:
- Sitemap (výchozí): načte soubory XML sitemap, které váš web publikuje.
- Discover: začíná na zdrojové adrese URL a ve výchozím nastavení používá jak vaše sitemapy, tak odkazy nalezené na procházených stránkách.
Viz Parse types o tom, jak každý typ vyhledává stránky, jak pracuje se sitemapami a synchronizací a která nastavení platí jen pro jeden z nich.
Úložiště
Procházené stránky se automaticky ukládají do vestavěného úložiště.
Chcete-li zobrazit položky zpracované z vašeho webu, vypsat položky instance s Items API, nebo otevřete Položky kartu na dashboardu (AI > AI Search > vaše instance > Položky).
Konfigurace
Tyto možnosti můžete nastavit během úvodního nastavení nebo později v nastavení instance v části Možnosti parseru.
| Možnost | Popis |
|---|---|
| Filtrování cest | Vzory URL pro zahrnutí a vyloučení, které určují, které stránky se procházejí. |
| Parse type | Jak crawler nachází stránky. Sitemap načítá vaše XML sitemapy. Discover začíná na zdrojové URL adrese a standardně využívá jak vaše soubory sitemap, tak nalezené odkazy. |
| Konkrétní sitemap | Procházejte sadu adres URL sitemap, které si sami zvolíte, místo těch, které AI Search zjistí automaticky. Až pět adres URL. Platí pouze pro parse type sitemap. |
| Možnosti Discover | Zdroj vyhledávání, limit počtu stránek, hloubka procházení, stáří mezipaměti a to, zda sledovat externí odkazy a subdomény. Platí pouze pro parse type discover. |
| Režim vykreslování | Zda se stránky stahují jako čistý HTML, nebo se nejprve načtou v headless prohlížeči. |
| Ověřovací hlavičky | Vlastní hlavičky HTTP odesílané s každým požadavkem, aby se prohledávač dostal i na stránky chráněné autentizací. Až pět hlaviček. |
| Selektory obsahu | Omezí indexování na prvky, kterým odpovídá selektor CSS, takže přeskočíte navigaci, postranní panely a patičky. |
| Vlastní metadata | Hodnoty extrahované z <meta> tagy na každé stránce v sekci <head>, uložené spolu s indexovaným obsahem. |
Filtrování cest
Které stránky se zaindexují, můžete řídit definováním pravidel pro zahrnutí a vyloučení cest URL. Díky tomu můžete omezit indexování na konkrétní části svého webu nebo vyloučit obsah, který nechcete mít prohledatelný.
Chcete-li například indexovat pouze příspěvky na blogu a vynechat koncepty:
- Zahrnout:
**/blog/** - Vyloučit:
**/blog/drafts/**
Viz Filtrování cest pro syntaxi vzorů, chování filtrování a další příklady.
Podporované typy souborů a omezení velikosti najdete v Zdroj dat.
Režim vykreslování
Můžete zvolit, jak se stránky při procházení parsují:
- Statické weby: Stáhne nezpracované HTML každé stránky.
- Rendered Sites: Načte stránky pomocí headless prohlížeče a stáhne plně vykreslenou verzi včetně dynamického obsahu JavaScriptu.
Povolení AI Search přes WAF
Pokud máte na svém webu nakonfigurována bezpečnostní pravidla blokující aktivitu botů, můžete přidat pravidlo, které bota AI Search zařadí na allowlist. Přečtěte si AI Search v adresáři botů Cloudflare Radar ↗ pro jeho ověřenou identitu a user agenta.
-
V dashboardu Cloudflare přejděte na Bezpečnostní pravidla stránce.
Přejděte na Bezpečnostní pravidla ↗ -
Chcete-li vytvořit nové prázdné pravidlo, vyberte Vytvořit pravidlo > Custom rules.
-
Zadejte popisný název pravidla do Název pravidla, jako je
Allow AI Search. -
V části Když příchozí požadavky odpovídají, použijte Pole rozbalovací seznam pro výběr ID detekce botů. Pro Operátor, vyberte equals. Pro Hodnota, zadejte
122933950. -
V části Poté proveďte akci, v Vyberte akci je rozbalovací nabídka, ve které vyberte Přeskočit.
-
V části Umístit na, vyberte pořadí pravidla v Vybrat pořadí je rozbalovací nabídka, kterou nastavte na První. Nastavení pořadí na První umožňuje uplatnit toto pravidlo dříve než následující pravidla.
-
Chcete-li pravidlo uložit a nasadit, vyberte Nasadit.
Limity
Běžný AI Search limity platí při použití datového zdroje typu web. Pro datové zdroje typu web platí na obou plánech Workers následující limity:
| Limit | Hodnota |
|---|---|
Stránky na procházení, discover parse type |
100,000 |
Hloubka procházení, discover parse type |
100 000 odkazových skoků (výchozí hodnota: 5) |
Stáří stránky v mezipaměti, discover parse type |
604,800 sekund (7 dní) |
| Konkrétní sitemap URL adresy | 5 na instanci |
| Ověřovací hlavičky | 5 na instanci |
| Selektor obsahu záznamů | 10 na instanci |
| Vzor cesty selektoru obsahu a délka selektoru | 200 znaků na položku |
soubory na instanci limit se také uplatňuje, takže efektivní strop odpovídá nižší z hodnot. Crawler indexuje první stránky, které navštíví, dokud tohoto stropu nedosáhne, a žádný stažený soubor, který překročí maximální velikost souboru, se neindexuje.