← Případy užití / use-cases / ai
Kontrola nákladů a zlepšení kvality
Náklady na AI inferenci mohou s růstem vaší aplikace narůstat nepředvídatelně, zejména při použití více poskytovatelů. Cloudflare AI Gateway ukládá totožné dotazy do mezipaměti, aby se předešlo zbytečným opakovaným voláním inference, uplatňuje rate limity na uživatele nebo API klíč a poskytuje jednotnou analytiku napříč všemi poskytovateli.
Řešení
AI Gateway
Ukládejte odpovědi do mezipaměti, omezujte frekvenci požadavků a sledujte využití napříč poskytovateli. Zjistěte více o AI Gateway.
- Cachování odpovědí - Ukládejte shodné dotazy do mezipaměti, aby opakované promty nevyvolávaly nové volání inference
- Omezení četnosti požadavků - Nastavit limity požadavků na uživatele nebo klíč aplikačního programového rozhraní (API) a zabránit tak zneužití a kontrolovat náklady
- Jednotná analytika - Sledovat využití, latenci a náklady napříč všemi poskytovateli AI z jednoho dashboardu
Workers Analytics Engine
Ukládejte časové řady analytických dat z Workers a dotazujte se na ně. Zjistěte více o Workers Analytics Engine.
- Vlastní metriky - Vytvářejte dashboardy zaměřené na AI, které sledují počet tokenů, rozložení latence a míru chyb