INTEGRITY Dokumentace

← Referenční architektury / reference-architecture / diagrams / ai

Načítání dat z BigQuery do Workers AI

Cloudflare Worker můžete propojit tak, aby získával data z Google BigQuery a předával je Workers AI ke spouštění AI modelů poháněných bezserverovými GPU. Díky tomu můžete data obohatit o odpovědi generované AI, například o rozpoznání sentimentu textu nebo generování štítků k článku. Tento dokument popisuje jednoduchý způsob, jak začít, pokud si chcete Workers AI vyzkoušet a zjistit, jak nové a odlišné modely AI provedla s vašimi daty uloženými v BigQuery.

Přístup založený na uživateli

Tato verze integrace je určena pro workflow, které vyžadují interakci s uživateli při získávání dat nebo generování reportů na vyžádání.

Obrázek 1: Import dat z Google BigQuery do Workers AI (na základě uživatele)
Obrázek 1: Import dat z Google BigQuery do Workers AI (na základě uživatele)
  1. Uživatel odešle požadavek na Worker ↗ koncového bodu. (Ten může volitelně zahrnovat Access před ni k ověřování uživatelů).
  2. Worker načte bezpečně uložena Informace o servisním účtu Google Cloud Platform, jako je servisní klíč, a generuje JSON Web Token pro vydání ověřeného API požadavku do BigQuery.
  3. Worker přijme data z BigQuery a převede jej do formátu které usnadňují iterativní práci při interakci s Workers AI.
  4. Pomocí své nativní integrace s Workers AI Worker přeposílá data z BigQuery, která jsou následně zpracována jedním z hostovaných AI modelů Cloudflare.
  5. Původní data získaná z BigQuery společně s informacemi vygenerovanými AI se uživateli vrátí jako odpověď na požadavek zahájený v kroku 1.

Přístup spouštěný pomocí cronu

Pro periodické nebo delší workflow můžete zvolit dávkový přístup. Tento diagram také ukazuje další produkty, ve kterých můžete využít data načtená z BigQuery. Vychází přitom z Cron Triggers, které jsou součástí Developer Platform a jsou k dispozici zdarma, když k plánování inicializace úloh používáte Workers.

Obrázek 2: Import dat Google BigQuery do Workers AI (pomocí Cron Triggers)
Obrázek 2: Import dat Google BigQuery do Workers AI (pomocí Cron Triggers)
  1. Cron Trigger vyvolává Worker bez jakékoli interakce uživatele.
  2. Worker načte bezpečně uložena Informace o servisním účtu Google Cloud Platform, jako je servisní klíč, a generuje JSON Web Token pro vydání ověřeného API požadavku do BigQuery.
  3. Worker přijme data z BigQuery a převede jej do formátu které usnadňují iterativní práci při interakci s Workers AI.
  4. Pomocí své nativní integrace s Workers AI Worker přeposílá data z BigQuery, aby vygeneroval související obsah.
  5. Data z BigQuery i data vygenerovaná pomocí AI můžete volitelně ukládat v celé řadě různých služeb Cloudflare.
    • Do D1, SQL databáze.
    • Pokud jste ve čtvrtém kroku k generování embeddingů použili Workers AI, můžete je uložit do Vectorize. Pokud se chcete o tomto typu řešení dozvědět více, prohlédněte si diagram referenční architektury na Generování rozšířené vyhledáváním.
    • Chcete-li Workers KV pokud se výstup vašich dat bude ukládat a využívat ve formátu klíč/hodnota.
    • Pokud chcete data načtená z BigQuery a Workers AI ukládat do objektů (například obrázků, souborů, JSON), můžete použít R2, a to díky našemu objektovému úložišti bez poplatků za odchozí přenos dat (egress).
  6. Můžete nastavit integraci, díky které bude systém nebo uživatel upozorněný pokaždé, když je k dispozici nový výsledek nebo dojde k chybě. Stojí také za zmínku, že samotné Workery už dokážou poskytnout další observabilita.
    • Odeslání e-mailu se všemi daty získanými a vygenerovanými v předchozím kroku je možné pomocí Email Routing.
    • Protože Workers umožňují vydávat požadavky HTTP, můžete po dokončení procesu nebo v případě chyby informovat webhook nebo koncový bod API.