← Обзор / ai-search / configuration / models

AI Gateway

Каждый экземпляр AI Search подключён к Cloudflare AI Gateway. Вызовы моделей, которые AI Search выполняет для эмбеддинга, переписывания запроса, реранкинга и генерации ответа, проходят через этот gateway. Настраивая подключённый gateway, вы можете отслеживать эти вызовы моделей и управлять ими.

Чтобы выбрать или изменить gateway, который использует ваш экземпляр, см. Модели.

AI Gateway регистрирует запросы к моделям, которые проходят через него, поэтому вы можете видеть, что делает ваш экземпляр.

• Аналитика: Отслеживайте количество запросов, использованных токенов, стоимость, задержку и ошибки по всем вызовам модели.
• Журналы: Просматривайте отдельные запросы и ответы, включая действующие системный промпт, переписанные запросы и сгенерированные ответы.

По умолчанию AI Search использует Workers AI модели. Чтобы использовать модели других провайдеров, например OpenAI или Anthropic, добавьте ключи провайдера в AI Gateway и выберите эти модели в AI Search.

1. Добавьте свои ключи провайдера с помощью Использование собственных ключей.
2. Подключите шлюз и выберите модели в настройках AI Search. Подробности см. в Модели.

Используйте AI Gateway Guardrails для проверки промптов и ответов, проходящих через ваш инстанс, и блокировки небезопасного или неприемлемого содержимого. Для обнаружения и обработки конфиденциальной информации, например личных или финансовых данных, используйте Data Loss Prevention (DLP).

Настройте повторные попытки запросов и резервные модели чтобы при ошибке поставщика вызов модели мог автоматически повториться или переключиться на другую модель.

Некоторые функции AI Gateway применяются к каждому запросу, который проходит через этот шлюз. Поскольку ваш экземпляр AI Search использует тот же шлюз для своих внутренних вызовов моделей, некоторые из этих функций могут мешать индексированию и выполнению запросов.

Не включайте Кэширование AI Gateway для шлюза, подключённого к вашему экземпляру AI Search. Это особенно важно для запросов эмбеддингов: AI Search опирается на свежие эмбеддинги, чтобы строить векторный индекс и сопоставлять с ним каждый запрос, поэтому обслуживание эмбеддингов из кэша может сохранить или вернуть неверные векторы и незаметно снизить точность результатов поиска. Чтобы кэшировать результаты поиска, используйте собственный Кэш сходства взамен.

Аналогично, не задавайте ограничение частоты запросов на этом шлюзе. Ограничения скорости запросов действуют и для собственных вызовов моделей AI Search, включая множество запросов на эмбеддинг во время индексации, и могут прерывать индексацию и выполнение запросов.