← Přehled / ai-search / configuration / indexing

Rozdělování na části

Rozdělování na části je proces, při kterém se velká data před vytvořením embeddingů pro vyhledávání rozdělí na menší segmenty. AI Search využívá rekurzivní rozdělování na části, které rozdělí váš obsah na přirozených hranicích, jako jsou odstavce nebo věty, a poté ho dále rozdělí, pokud jsou fragmenty příliš velké.

Rekurzivní rozdělování na části se snaží zachovat smysluplnost částí obsahu tím, že:

• Rozdělování na přirozených hranicích: jako odstavce, poté věty.
• Kontrola velikosti: pokud je fragment příliš dlouhý (na základě počtu tokenů), rozdělí se znovu na menší části.

Díky tomu se části obsahu snadno vektorizují a načítají, aniž by se myšlenky přerušily uprostřed věty.

AI Search nabízí dva parametry, kterými můžete ovlivnit dělení na části obsahu:

• Velikost části: Počet tokenů na část obsahu. Rozsah možností se může lišit podle modelu.
• Překryv částí: Procento překrývajících se tokenů mezi sousedními částmi obsahu.
  • Minimum: 0%
  • Maximum: 30%

Tato nastavení se uplatní během kroku indexování, ještě než se vaše data zpracují na vektory a uloží do vyhledávacího indexu.

Rozdělování na části ovlivňuje způsob, jakým se váš obsah načítá, i množství kontextu předávaného generativnímu modelu. Vyzkoušejte tento externí nástroj pro vizualizaci částí ↗ a udělejte si tak lepší představu, jak mohou vypadat různá nastavení chunků.

• Velikost indexu: Menší velikost bloků znamená více bloků a více vektorů celkem. Více informací najdete v Limity AI Search a ověřte, že vaše nastavení odpovídá limitům instance.
• Kontextové okno generačního modelu: Generativní modely mají omezené kontextové okno, do kterého se musí vejít všechny načtené fragmenty (max_num_results × chunk size), dotaz uživatele a výstup modelu. Dávejte pozor na velké fragmenty nebo vysoké max_num_results hodnoty, abyste se vyhnuli přetečení kontextu.
• Náklady a výkon: Větší fragmenty a vyšší max_num_results nastavení vedou k tomu, že se modelu předává více tokenů, což může zvýšit latenci i náklady. Toto využití můžete sledovat v AI Gateway.