← Справочные архитектуры / reference-architecture / diagrams / ai

Наблюдаемость и контроль ИИ разных поставщиков

Сфера ИИ быстро развивается: каждый день появляются новые модели, сервисы и приложения. Многие разработчики и организации стремятся повысить гибкость, выбирая решения inference-as-a-service, такие как Workers AI, а не разрабатывать и обслуживать модели самостоятельно.

Inference-as-a-Service представляет собой облачную модель, которая позволяет развёртывать и выполнять ИИ без управления базовой инфраструктурой. Платформа берёт на себя все аспекты обслуживания модели, включая масштабирование ресурсов по мере спроса, зачастую поддерживая как инференс в реальном времени, так и пакетный. Пользователи отправляют входные данные модели через вызовы API, а поставщик услуги занимается серверами, масштабированием и обслуживанием. Такие сервисы обычно работают по модели оплаты по факту использования и упрощают развёртывание и масштабирование моделей, позволяя организациям пользоваться возможностями ИИ без сложностей, связанных с инфраструктурой.

Поскольку эта область стремительно развивается, разработчики и организации сталкиваются с рядом трудностей:

• Фрагментация: многие поставщики сервисов инференса предлагают лишь ограниченный набор моделей и функций. Разным сценариям использования могут потребоваться разные поставщики, что приводит к фрагментации.
• Доступность: на фоне растущего спроса и стремительного технологического прогресса провайдерам сервисов инференса становится сложно поддерживать высокую доступность API.
• Недостаточная наблюдаемость: провайдеры часто предлагают ограниченные возможности аналитики и журналирования, которые различаются от поставщика к поставщику. Получить единую картину использования ИИ оказывается непросто.
• Недостаточный контроль безопасности: организациям сложно поддерживать надлежащий уровень защиты.
• Отсутствие контроля затрат: анализировать данные об использовании бывает сложно, а отсутствие пользовательских ограничений скорости запросов создаёт риски в публичных сценариях использования ИИ.

Прямой прокси помогает справиться с этими сложностями. Находясь между сервисом, отправляющим запросы на инференс, и платформой инференса, он становится единой точкой наблюдаемости и контроля. Перенеся такие функции, как ограничение частоты запросов, кеширование и обработку ошибок, на уровень прокси, организации могут применять единые конфигурации для всех сервисов и провайдеров инференса.

Следующая архитектура показывает настройку AI Gateway в качестве прямого прокси между сервисом и одним или несколькими провайдерами AI-инференса, например Workers AI

1. Запрос на инференс: Отправка POST-запроса на ваш AI Gateway.
2. Проксирование запросов: Пересылка POST запрос поставщику AI Inference или отдаёт ответ из кеш, если он включён и доступен. В ходе этого процесса оба аналитика и журналы собираются. Кроме того, применяются такие механизмы контроля, как Rate Limiting.
3. Обработка ошибок: В случае ошибок запрос повторяется или переключается на другого провайдера инференса, в зависимости от конфигурации.

• AI Gateway: начало работы
• AI Gateway: поддерживаемые провайдеры