← Přehled / ai-search / configuration / models

AI Gateway

Každá instance AI Search je připojena ke Cloudflare AI Gateway. Volání modelu, která AI Search provádí pro embedding, přepis dotazu, reranking a generování odpovědi, procházejí přes tento gateway. Konfigurací připojeného gateway můžete tato volání modelu sledovat a řídit.

Chcete-li vybrat nebo změnit bránu, kterou vaše instance používá, najdete více informací v Modely.

AI Gateway zaznamenává požadavky na model, které jí procházejí, takže vidíte, co vaše instance dělá.

• Analytics: Sledujte počet požadavků, použitých tokenů, náklady, latenci a chyby napříč voláními modelu.
• Protokoly: Prohlédněte si jednotlivé požadavky a odpovědi včetně platné systémový prompt, přepsané dotazy a vygenerované odpovědi.

AI Search ve výchozím nastavení používá Workers AI modely. Pokud chcete použít modely od jiných poskytovatelů, například OpenAI nebo Anthropic, přidejte klíče daného poskytovatele do AI Gateway a tyto modely vyberte v AI Search.

1. Přidejte klíče poskytovatele pomocí Bring Your Own Keys.
2. Připojte bránu a vyberte modely v nastavení AI Search. Podrobnosti najdete v Modely.

Použijte AI Gateway Guardrails a kontrolovat tak prompty a odpovědi procházející vaší instancí a blokovat obsah, který je nebezpečný nebo nevhodný. Pro detekci a zpracování citlivých informací, jako jsou osobní nebo finanční údaje, použijte Data Loss Prevention (DLP).

Nakonfigurujte opakování požadavků a náhradní modely aby se volání modelu mohlo při chybě poskytovatele automaticky zopakovat nebo přepnout na jiný model.

Některé funkce AI Gateway se uplatňují na každý požadavek, který prochází gatewayem. Protože vaše instance AI Search sdílí tento gateway pro své interní volání modelů, může několik funkcí narušovat indexování a dotazování.

Nezapínejte Ukládání do mezipaměti AI Gateway pro bránu připojenou k vaší instanci AI Search. Nejdůležitější je to u požadavků na embeddingy. AI Search potřebuje aktuální embeddingy k sestavení vektorového indexu a k porovnání každého dotazu s tímto indexem, takže vracení embeddingů z mezipaměti může ukládat nebo vracet nesprávné vektory a nenápadně snižovat přesnost výsledků vyhledávání. Pro ukládání výsledků vyhledávání do mezipaměti použijte vlastní Mezipaměť podobnosti místo toho.

Podobně se vyhněte nastavení rate limiting na této gateway. Rate limity platí i pro vlastní volání modelů AI Search, včetně mnoha embedding požadavků prováděných během indexace, a mohou přerušit indexaci i dotazování.