← Справочные архитектуры / reference-architecture / diagrams / ai
Загрузка данных BigQuery в Workers AI
Вы можете подключить Cloudflare Worker для получения данных из Google BigQuery и передачи их в Workers AI, чтобы запускать AI-модели на serverless GPU. Это позволяет дополнять данные ответами, сгенерированными ИИ, например определять тональность текста или генерировать теги для статьи. В этом документе описан простой способ начать работу, если вы хотите попробовать Workers AI и посмотреть, как новые и разнообразные модели ИИ выполнялись бы с вашими данными, размещенными в BigQuery.
Подход на основе пользователя
Эта версия интеграции рассчитана на рабочие процессы, требующие взаимодействия с пользователями для получения данных или формирования отчётов по запросу.
- Пользователь отправляет запрос к Worker ↗ конечная точка. (При необходимости может включать Доступ перед ним для аутентификации пользователей).
- Worker получает надёжно хранятся информацию сервисного аккаунта Google Cloud Platform, например ключ сервисного аккаунта, и создает JSON Web Token для отправки аутентифицированного API-запроса в BigQuery.
- Worker получает данные из BigQuery и преобразует его в формат которые упрощают итеративную работу при взаимодействии с Workers AI.
- Используя его встроенная интеграция с Workers AI, Worker пересылает данные из BigQuery, которые затем обрабатываются одной из размещенных у Cloudflare AI-моделей.
- Исходные данные, полученные из BigQuery, вместе со сгенерированной AI информацией возвращаются пользователю в ответ на запрос, инициированный на шаге 1.
Подход с запуском по расписанию cron
Для периодических или более длительных процессов можно выбрать пакетный подход. На этой схеме также рассматриваются другие продукты, в которых можно использовать данные, полученные из BigQuery. Здесь используется Cron Triggers, которые встроены в Developer Platform и доступны бесплатно при использовании Workers для планирования инициализации рабочих нагрузок.
- Cron Trigger вызывает Worker без какого-либо участия пользователя.
- Worker получает надёжно хранятся информацию сервисного аккаунта Google Cloud Platform, например ключ сервисного аккаунта, и создает JSON Web Token для отправки аутентифицированного API-запроса в BigQuery.
- Worker получает данные из BigQuery и преобразует его в формат которые упрощают итеративную работу при взаимодействии с Workers AI.
- Используя его встроенная интеграция с Workers AI, Worker пересылает данные из BigQuery, чтобы сгенерировать связанный с ними контент.
- При желании данные BigQuery и данные, сгенерированные ИИ, можно хранить в различных сервисах Cloudflare.
- В D1, SQL-базу данных.
- Если на четвертом шаге вы использовали Workers AI для генерации эмбеддингов, их можно сохранить в Vectorize. Чтобы узнать больше об этом типе решения, ознакомьтесь с диаграммой референсной архитектуры на Генерация с дополнением поиском.
- Чтобы Workers KV если результат ваших данных будет храниться и использоваться в формате ключ-значение.
- Если вы предпочитаете сохранять данные, полученные из BigQuery и Workers AI, в виде объектов (например, изображений, файлов, JSON), вы можете использовать R2, наше хранилище объектов без платы за исходящий трафик.
- Можно настроить интеграцию, чтобы система или пользователь получали уведомление при появлении нового результата или при ошибке. Стоит также отметить, что сами Workers уже способны обеспечить дополнительную наблюдаемость.
- Отправить письмо со всеми данными, полученными и сформированными на предыдущем шаге, можно с помощью Email Routing.
- Поскольку Workers позволяет отправлять HTTP-запросы, вы можете уведомлять webhook или конечную точку API по завершении процесса или при возникновении ошибки.