INTEGRITY Dokumentace

← Přehled / ai-search / configuration / data-source / website

Ověřovací hlavičky

Procházet můžete pouze domény, které jste onboardovali do stejného účtu Cloudflare. Viz Onboarding domény pro další informace o přidání domény do vašeho účtu Cloudflare.

Pokud má váš web stránky za autentizací nebo stránky viditelné pouze pro přihlášené uživatele, můžete nakonfigurovat vlastní HTTP hlavičky, které crawleru AI Search umožní přístup k tomuto chráněnému obsahu. K požadavkům, které AI Search odesílá při procházení vašeho webu, můžete přidat až pět vlastních HTTP hlaviček.

Toto nastavení je označeno jako Další hlavičky v dashboardu, v části Možnosti parseru. V REST API a ve Wrangleru je to source_params.web_crawler.parse_options.include_headers .

Nastavení v dashboardu

  1. V dashboardu Cloudflare přejděte na AI Search stránce.

    Přejděte na AI Search ↗

  2. Vyberte Vytvořit, pak vyberte Web jako svůj zdroj dat. Chcete-li přidat hlavičky k existující instanci, vyberte instanci a otevřete Nastavení kartě.

  3. V části Možnosti parseru, vyhledejte Další hlavičky.

  4. Přidejte hlavičku a zadejte její název do Key a hodnotu hlavičky v Hodnota. Například Key Authorization a Hodnota Bearer <TOKEN>.

  5. Opakujte pro každou potřebnou hlavičku, maximálně pětkrát.

  6. Uložte své změny.

Crawler odesílá s každým požadavkem na váš web všechny hlavičky, které nakonfigurujete. Přidání nebo změna hlaviček u existující instance spustí novou indexovací úlohu, která znovu zaindexuje všechny položky.

Indexování webu chráněného pomocí Cloudflare Access

Chcete-li AI Search umožnit procházení webu chráněného pomocí Cloudflare Access, musíte vytvořit přihlašovací údaje tokenu služby a nastavit je jako vlastní hlavičky.

Tokeny služby obcházejí ověřování uživatelů, proto zajistěte, aby vaše zásady Access byly nakonfigurované odpovídajícím způsobem pro obsah, který chcete indexovat. Token služby umožní crawleru AI Search přístup ke všemu obsahu, na který se vztahuje zásada Service Auth.

  1. V Cloudflare dashboard ↗, vytvořit token služby. Jakmile se vygenerují Client ID a Client Secret, uložte si je pro další kroky. Mohou vypadat například takto:

    CF-Access-Client-Id: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
CF-Access-Client-Secret: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

  2. Vytvořit zásadu s následující konfigurací:

    • Přidejte Include pravidlo s Selektor nastaveno na Service token.
    • V Hodnota, vyberte Service Token, který jste vytvořili v kroku 1.

  3. Přidejte svou self-hosted aplikaci do Access s následující konfigurací:

    • V zásadách Access klikněte na Vyberte existující zásady.
    • Vyberte zásadu, kterou jste právě vytvořili, a vyberte Potvrdit.

  4. V dashboardu Cloudflare přejděte na AI Search stránce.

    Přejděte na AI Search ↗

  5. Vyberte Vytvořit.

  6. Vyberte Web jako svůj zdroj dat.

  7. V části Možnosti parseru, vyhledejte Další hlavičky a pomocí uložených přihlašovacích údajů přidejte následující dvě hlavičky:

    • Nadpis 1:
      • Key: CF-Access-Client-Id
      • Hodnota: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
    • Nadpis 2:
      • Key: CF-Access-Client-Secret
      • Hodnota: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

  8. Dokončete proces nastavení AI Search a vytvořte tak svou vyhledávací instanci.