← Případy užití / use-cases

AI aplikace

Vytvářejte a nasazujte aplikace AI na globální síti Cloudflare s inferencí na edge, vektorovými databázemi a gateways pro modely. Workers AI provozuje velké jazykové modely (LLM), textové embeddingy, generování obrázků a další modely s platbou za skutečné využití. AI Gateway směruje požadavky na OpenAI, Anthropic a další poskytovatele a zajišťuje přitom cachování a jednotnou analytiku. Vectorize ukládá embeddingy pro workflow typu Retrieval Augmented Generation (RAG).

AI aplikace mohou přinášet specifické infrastrukturní výzvy, jako jsou nepředvídatelné náklady na inferenci, uživatelské prostředí citlivé na latenci nebo potřeba pracovat s více poskytovateli modelů. Cloudflare nabízí komplexní platformu pro vývoj AI aplikací, které jsou rychlé, nákladově efektivní a globálně distribuované.

• Vytvářejte a provozujte aplikace AI
• Ukládejte a získávejte kontext
• Kontrola nákladů a zlepšení kvality

Kombinujte vektorové vyhledávání s inferencí velkých jazykových modelů (LLM) a odpovědi tak opřete o vlastní data:

• Vectorize ukládá embeddingy vaší znalostní báze
• Workers přijímá dotazy uživatelů a vyhledává relevantní kontext
• Workers AI nebo AI Gateway generuje odpovědi na základě získaného kontextu

Pomocí AI Gateway směrujte požadavky mezi poskytovateli a přitom zachovejte jednotné rozhraní:

• AI Gateway přeposílá požadavky na OpenAI, Anthropic nebo Workers AI
• Vestavěné cachování snižuje náklady na opakované dotazy
• Jednotné logování a analytika napříč všemi poskytovateli

Nasazujte AI funkce s nízkou latencí přímo na edge:

• Workers zpracovává požadavky v nejbližší lokalitě Cloudflare a spouští odvozování přes vazbu Workers AI, bez zpětných přenosů na origin servery
• KV ukládá časté odpovědi do mezipaměti, čímž snižuje počet volání pro odvozování a latenci
• D1 ukládá stav relace a historii konverzace spolu s logikou inference

• A účet Cloudflare ↗.
• Node.js ↗ (verze 16.17.0 nebo novější) nainstalovaná na vašem počítači.
• Wrangler nainstalovaný. Wrangler je rozhraní příkazové řádky (CLI) pro nasazování Workers a správu vazeb.

• A účet Cloudflare ↗.
• AI Gateway nevyžaduje doménu přidanou do Cloudflare. Můžete jej umístit před libovolného stávajícího poskytovatele AI (OpenAI, Anthropic a další) tak, že upravíte svůj koncový bod API, aby provoz směroval přes AI Gateway.
• Pokud plánujete do stávající aplikace přidat inferenci Workers AI nebo Vectorize, budete také potřebovat Node.js ↗ (verze 16.17.0 nebo novější) a Wrangler nainstalovaný.