← Přehled / ai-search / concepts

Jak funguje AI Search

AI Search je spravovaná vyhledávací služba. Připojte web, R2 bucket nebo nahrajte vlastní dokumenty a AI Search zaindexuje váš obsah pro dotazy v přirozeném jazyce.

AI Search se skládá ze dvou hlavních procesů:

• Indexování: Asynchronní proces, který převádí váš obsah na vektory a klíčové indexy pro vyhledávání. Indexování probíhá automaticky při připojení zdroje dat nebo nahrání souborů.
• Dotazování: Synchronní proces spouštěný dotazy uživatelů: pomocí vektorového vyhledávání, klíčového vyhledávání, nebo obou způsobů načte nejrelevantnější obsah a volitelně vygeneruje odpověď.

Indexování se spustí automaticky, jakmile připojíte zdroj dat nebo nahrajete soubory pomocí Items API.

Zde je, co se děje během indexování:

1. Příjem dat: AI Search čte data z vašeho připojeného zdroje dat nebo přijímá soubory nahrané přes Items API.
2. Převod do Markdownu: AI Search používá Konverze do Markdownu ve Workers AI k převodu podporované typy dat do strukturovaného Markdownu. Tím se zajistí konzistence napříč různými typy souborů. U obrázků se pomocí Workers AI provádí detekce objektů, po níž následuje převod z obrazu na text, čímž se obrázky převedou na text v Markdownu. Viz jak se obrázky převádějí s podrobnostmi.
3. Rozdělování na části: Extrahovaný text se rozděleno na části na menší části pro zlepšení granularity vyhledávání.
4. Embedding: Každý fragment je zpracován embedding modelem Workers AI, který obsah převede na vektory.
5. Indexování podle klíčových slov: Když je zapnuté klíčové vyhledávání, každý blok se indexuje i pro porovnávání klíčových slov pomocí BM25.
6. Úložiště: Vektory, klíčový index a obsah jsou uloženy a připraveny k vyhledávání.

U instancí s připojeným zdrojem dat AI Search pravidelně kontroluje aktualizace a automaticky indexuje změny. U instancí, které používají vestavěné úložiště, nové soubory se indexují ihned po nahrání.

Jakmile je indexování dokončeno, AI Search je připravena reagovat na dotazy koncových uživatelů v reálném čase.

Zde je, jak funguje dotazovací pipeline:

1. Přijetí dotazu z API AI Search: Pracovní postup dotazu začíná ve chvíli, kdy odešlete požadavek buď na rozhraní služby AI Search, nebo na Chat Completions nebo Hledat koncové body.
2. Přepis dotazu (volitelné): AI Search nabízí možnost přepsat vstupní dotaz pomocí jednoho z LLM modelů Workers AI, aby se zlepšila kvalita vyhledávání transformací původního dotazu na efektivnější vyhledávací dotaz.
3. Embedding dotazu: Přepsaný (nebo původní) dotaz se převede na vektor pomocí stejného embedding modelu, jaký byl použit k vektorizaci vašich dat.
4. Vektorové vyhledávání: Vektor dotazu se porovná s uloženými vektory a vyhledá se sémanticky podobný obsah.
5. Klíčové vyhledávání (volitelné): Když je zapnuté hybridní vyhledávání, běží souběžně s vektorovým vyhledáváním i klíčové vyhledávání BM25.
6. Fúze (volitelné): Při použití hybridního vyhledávání se výsledky vektorového a klíčového vyhledávání kombinují pomocí nastavené metody fúze.
7. Přeřazení (volitelné): Model cross-encoder znovu ohodnotí výsledky tím, že posoudí dotaz a dokument společně. Viz Přeřazení s podrobnostmi.
8. Získávání obsahu: Vrátí se nejrelevantnější bloky a jejich zdrojový obsah. Pokud používáte koncový bod Search, obsah se vrátí v tomto kroku.
9. Generování odpovědi: Pokud používáte endpoint Chat Completions, model pro generování textu vytvoří odpověď na základě načteného obsahu. Viz Systémový prompt s podrobnostmi.

AI Search je postavena na Vectorize a doplňuje kolem něj zbytek vyhledávacího pipeline. Vectorize použijte, pokud chcete vektory spravovat sami, a AI Search, pokud chcete spravované vyhledávání nad svým obsahem.