← Варианты использования / use-cases

AI приложения

Создавайте и развёртывайте AI-приложения в глобальной сети Cloudflare с инференсом на периферии, векторными базами данных и шлюзами моделей. Workers AI запускает большие языковые модели (LLM), текстовые эмбеддинги, генерацию изображений и другие модели с оплатой по факту использования. AI Gateway проксирует запросы к OpenAI, Anthropic и другим провайдерам с кешированием и единой аналитикой. Vectorize хранит эмбеддинги для процессов Retrieval Augmented Generation (RAG).

AI приложения могут создавать особые инфраструктурные сложности: непредсказуемые затраты на инференс, чувствительность пользовательского опыта к задержкам, необходимость работать с несколькими провайдерами моделей. Cloudflare предлагает комплексную платформу для разработки AI приложений, которые работают быстро, экономично и распределены по всему миру.

• Создание и запуск AI-приложений
• Хранение и получение контекста
• Контроль затрат и повышение качества

Сочетайте векторный поиск с выводом больших языковых моделей (LLM), чтобы основывать ответы на ваших собственных данных:

• Vectorize хранит эмбеддинги вашей базы знаний
• Workers принимает запросы пользователей и выполняет поиск релевантного контекста
• Workers AI или AI Gateway генерирует ответы на основе полученного контекста

Используйте AI Gateway, чтобы направлять запросы между провайдерами через единый интерфейс:

• AI Gateway проксирует запросы к OpenAI, Anthropic или Workers AI
• Встроенное кеширование снижает затраты на повторяющиеся запросы
• Единое логирование и аналитика для всех провайдеров

Развертывайте AI-функции с низкой задержкой прямо на периферии:

• Workers обрабатывает запросы в ближайшей точке присутствия Cloudflare и выполняет инференс через привязку Workers AI: без обращений к серверам-источникам
• KV кеширует часто повторяющиеся ответы, чтобы сократить количество обращений к инференсу и задержку
• D1 хранит состояние сеанса и историю диалога вместе с логикой вывода модели

• A Аккаунт Cloudflare ↗.
• Node.js ↗ (версия 16.17.0 или новее), установленная на вашем компьютере.
• Wrangler установлен. Wrangler представляет собой интерфейс командной строки (CLI) для развёртывания Workers и управления привязками.

• A Аккаунт Cloudflare ↗.
• AI Gateway не требует добавления домена в Cloudflare. Вы можете разместить его перед любым существующим провайдером ИИ (OpenAI, Anthropic и другими), изменив свой API-эндпоинт так, чтобы он проходил через AI Gateway.
• Если вы планируете добавить инференс Workers AI или Vectorize к существующему приложению, вам также потребуется Node.js ↗ (версия 16.17.0 или новее) и Wrangler установлен.