← Referenční architektury / reference-architecture / diagrams / ai

Observabilita a řízení AI od více poskytovatelů

Prostředí AI se rychle vyvíjí, denně vznikají nové modely, služby a aplikace. Řada vývojářů a organizací se snaží zvýšit svou agilitu volbou řešení typu inference jako služba, jako je Workers AI, místo aby modely sami vyvíjeli nebo spravovali.

Inference-as-a-Service je cloudový model, který uživatelům umožňuje nasazovat a spouštět AI bez nutnosti spravovat podkladovou infrastrukturu. Platforma se stará o všechny aspekty provozu modelu, včetně škálování zdrojů podle poptávky, a často podporuje jak inferenci v reálném čase, tak dávkovou inferenci. Uživatelé mohou modelu posílat vstupní data prostřednictvím volání API, přičemž poskytovatel služby se stará o servery, škálování a údržbu. Inferenční služby obvykle fungují na modelu pay-as-you-go, zjednodušují nasazení a škálování modelů a umožňují organizacím využívat možnosti AI bez komplikací spojených s infrastrukturou.

Protože se tato oblast rychle vyvíjí, čelí vývojáři i organizace řadě výzev:

• Fragmentace: Mnoho poskytovatelů inferenčních služeb nabízí jen omezenou škálu modelů a funkcí. Různé případy užití mohou vyžadovat více dodavatelů, což vede k fragmentaci.
• Dostupnost: S rostoucí poptávkou a rychlým technologickým vývojem mají poskytovatelé inferenčních služeb potíže udržet vysokou dostupnost API.
• Nedostatečná observabilita: poskytovatelé často nabízejí jen omezené možnosti analytiky a logování, které se navíc liší dodavatel od dodavatele. Získat jednotný přehled o využívání AI je tak náročné.
• Nedostatečná kontrola zabezpečení: organizace mají potíže udržet odpovídající bezpečnostní opatření.
• Nedostatečná kontrola nákladů: porozumět přehledům o využití může být náročné a chybějící vlastní rate limity představují riziko u veřejně dostupných AI aplikací.

Tyto problémy lze zmírnit použitím forward proxy. Ten je umístěn mezi službou, která odesílá požadavky na inferenci, a platformou poskytující inferenční službu, a funguje jako jednotné místo pro pozorovatelnost a řízení. Přesunutím funkcí, jako je omezování rychlosti, cachování a zpracování chyb, na vrstvu proxy mohou organizace uplatnit jednotnou konfiguraci napříč službami i poskytovateli inferenčních služeb.

Následující architektura znázorňuje nastavení AI Gateway jako přeposílající proxy (forward proxy) mezi službou a jedním nebo více poskytovateli AI inference, například Workers AI

1. Inferenční požadavek: Odeslání POST požadavku na vaši AI gateway.
2. Proxování požadavků: Přeposlání POST požadavek poskytovateli AI Inference nebo obsloužit odpověď z cache, pokud je povolena a dostupná. Během tohoto procesu se ověří jak analytika a protokoly se shromažďují. Kromě toho se uplatňují kontrolní mechanismy, jako je Rate Limiting.
3. Zpracování chyb: V případě chyby se požadavek podle konfigurace buď zopakuje, nebo se přepne na jiného poskytovatele inference.

• AI Gateway: Začínáme
• AI Gateway: podporovaní poskytovatelé