INTEGRITY Dokumentace

← Přehled / ai-search / configuration / data-source / website

Selektory obsahu

Selektory obsahu umožňují určit, které části procházené stránky se indexují. Každá položka spojuje glob vzor adresy URL s CSS selektorem. Když adresa URL stránky odpovídá danému vzoru, extrahují se jen prvky odpovídající příslušnému CSS selektoru včetně jejich potomků, které se převedou do formátu Markdown pro indexování.

Seznam je seřazený a první odpovídající cesta vyhrává. Pokud URL adresa stránky odpovídá více glob patterns, použije se selektor jen z první shody. Řaďte své položky od nejspecifičtější po nejobecnější.

Výchozí chování

Bez selektorů obsahu použije AI Search výchozí zpracovatelskou pipeline, která odstraňuje prvky jako <header>, <footer>, a <head> před převodem zbývajícího obsahu do Markdownu. Podrobnosti o zpracování HTML najdete v Jak se zpracovává HTML.

Nastavení v dashboardu

  1. Přejděte na AI Search ↗ stránku v Cloudflare dashboardu.

    Přejděte na AI Search ↗

  2. Vyberte svou instanci AI Search, nebo vyberte Vytvořit a vytvořte novou se zdrojem dat typu Web zdroj dat.

  3. V nastavení zdroje dat najděte Selektory obsahu sekce.

  4. Vyberte Přidat selektor.

  5. V Cesta je pole; zadejte do něj glob pattern, který určuje adresy URL stránek. Například **/blog/**.

  6. V Selektor je pole; zadejte do něj selektor CSS pro extrakci obsahu z odpovídajících stránek. Například article .post-body.

  7. Chcete-li přidat další položky, vyberte Přidat selektor znovu. Položky se vyhodnocují postupně shora dolů.

Nakonfigurujte pomocí API

Selektory obsahu se konfigurují v source_params.web_crawler.parse_options.content_selector pole při vytváření nebo aktualizaci instance AI Search. Toto pole přijímá pole objektů, z nichž každý obsahuje path a selector vlastnost.

curl -X POST "https://api.cloudflare.com/client/v4/accounts/<ACCOUNT_ID>/ai-search/instances" \
  -H "Authorization: Bearer <API_TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "id": "my-ai-search",
    "source": "https://example.com",
    "type": "web-crawler",
    "source_params": {
      "web_crawler": {
        "parse_options": {
          "content_selector": [
            {
              "path": "**/blog/**",
              "selector": "article .post-body"
            },
            {
              "path": "**/docs/**",
              "selector": "main .content"
            }
          ]
        }
      }
    }
  }'
Pole Typ Popis
path string Glob pattern, který se porovnává s úplnou adresou URL stránky. Používá stejnou syntaxi glob jako filtrování cest: * odpovídá v rámci segmentu, ** přechází mezi adresáři. Maximálně 200 znaků.
selector string CSS selektor pro extrakci obsahu ze stránek odpovídajících vzoru cesty. Podporuje standardní CSS selektory, včetně selektorů elementu, třídy, ID a atributu. Maximální délka je 200 znaků.

Příklady

Extrahovat hlavní obsah z blogových stránek

Chcete-li na stránkách blogu indexovat pouze tělo článku a ignorovat navigaci, postranní panely a patičky:

Cesta Selektor
**/blog/** article .post-body

Zaměřte se na obsah dokumentace

Chcete-li zaindexovat hlavní obsahovou oblast dokumentačního webu:

Cesta Selektor
**/docs/** main .content

Různé selektory pro různé sekce

Můžete definovat více položek a použít různé selektory na různé části svého webu. Platí první odpovídající cesta, proto umístěte konkrétnější vzory jako první:

Cesta Selektor
**/blog/releases/** .release-notes
**/blog/** article .post-body
**/docs/** main .content

V tomto příkladu stránka na adrese https://example.com/blog/releases/v2 odpovídá prvnímu vzoru a použije .release-notes selektor. Stránka na https://example.com/blog/my-post přeskočí první vzor a odpovídá druhému.

Interakce s dalšími funkcemi

Limity

Viz Web pro limity, které platí pro selektory obsahu.