← Варианты использования / use-cases / ai
Контроль затрат и повышение качества
Затраты на AI инференс могут расти непредсказуемо по мере роста вашего приложения, особенно при использовании нескольких провайдеров. Cloudflare AI Gateway кэширует одинаковые запросы, чтобы избежать лишних вызовов инференса, применяет rate limit на пользователя или API ключ и предоставляет единую аналитику по всем провайдерам.
Решения
AI Gateway
Кешируйте ответы, ограничивайте частоту запросов и отслеживайте использование у разных провайдеров. Узнать больше об AI Gateway.
- Кеширование ответов - кэшировать одинаковые запросы, чтобы повторяющиеся промпты не вызывали новый вызов инференса
- Ограничение скорости запросов - Задавайте лимиты запросов на пользователя или ключ Application Programming Interface (API), чтобы предотвратить злоупотребления и контролировать расходы
- Единая аналитика - Отслеживайте использование, задержку и расходы по всем провайдерам AI на одной панели
Workers Analytics Engine
Хранение и запросы данных временных рядов из Workers. Узнать больше о Workers Analytics Engine.
- Пользовательские метрики - создавать специализированные дашборды для ИИ, отслеживающие токены, распределение задержек и частоту ошибок