← Справочные архитектуры / reference-architecture / architectures

Эталонная архитектура AI Security for Apps

Цель этого документа заключается в том, чтобы показать, как Cloudflare AI Security for Apps дополняет Cloudflare WAF, добавляя уровень защиты AI для обнаружения и устранения угроз для приложений на основе AI. Также рассматриваются сценарии использования, конкретные угрозы AI и архитектура решения.

Этот документ предназначен для ИТ-специалистов и специалистов по безопасности, которые хотят понять необходимость защиты ИИ и способы защиты своих приложений на основе ИИ. В документе показано, как AI Security for Apps от Cloudflare дополняет Cloudflare WAF, добавляя уровень безопасности ИИ для обнаружения и нейтрализации угроз приложениям на основе ИИ. Кроме того, рассматриваются сценарии использования, конкретные угрозы ИИ, архитектура и поток трафика. Документ ориентирован прежде всего на директоров по информационной безопасности (CSO/CISO) и их непосредственные команды, отвечающие за общую программу безопасности веб-приложений в организации.

Этот документ посвящен именно безопасности приложений на основе ИИ. Чтобы глубже разобраться в общей архитектуре Cloudflare и полном спектре служб производительности и безопасности приложений, сетевых служб, Zero Trust / SASE и служб для разработчиков, см. Центр архитектурных решений.

Чтобы лучше разобраться в Cloudflare, рекомендуем следующие материалы:

• Что такое Cloudflare? | Сайт ↗ (5 минут на чтение) или видео ↗ (2 минуты)

• Электронная книга: Как Cloudflare усиливает безопасность везде, где ведется ваш бизнес ↗ (10 минут на чтение)

• Чтобы разобраться в базовой архитектуре безопасности и основных сервисах Cloudflare, см. Архитектура безопасности Cloudflare

• Страница продукта AI Security for Apps ↗

• Видеообзор и демонстрацию AI Security for Apps см. в Cloudflare AI Security Suite: защита приложений на базе AI с помощью AI Security for Apps ↗ (16 минут)

ИИ ускоряет развитие инноваций в самых разных отраслях. Быстрые изменения часто порождают новые, порой незаметные проблемы безопасности: вопросам защиты уделяется внимание в последнюю очередь, а поверхность атаки до конца не изучена. В таких условиях пользователи могут намеренно или случайно раскрыть уязвимости, недостатки или конфиденциальную информацию, что подвергает предприятия серьёзным последствиям и юридической ответственности.

Например, приложения на основе ИИ по своей природе более вероятностны, чем традиционные, более детерминированные приложения. С помощью регулярного выражения невозможно надёжно выявлять и блокировать атаки методом prompt injection: пользователи могут сформулировать такую атаку бесчисленным количеством способов, а поведение модели в ответ непредсказуемо. Поэтому модели ИИ должны защищаться другими LLM, способными полностью понять контекст и намерение взаимодействия и предложить соответствующие меры противодействия. Без надлежащих мер безопасности компании рискуют столкнуться с новыми уязвимостями, угрозами, репутационными потерями и даже юридической ответственностью.

С помощью Cloudflare AI Security Suite компания Cloudflare предлагает комплексное решение для обеспечения безопасности ИИ, закрывающее все потребности Enterprise в этой области: от защиты использования генеративного ИИ сотрудниками и управления ИИ-агентами до защиты приложений на основе ИИ и безопасной разработки с использованием ИИ.

Организациям необходимо защищать своих сотрудников и клиентов от угроз, специфичных для ИИ, будь то взаимодействие человека с ИИ или доступ ИИ к корпоративным и сторонним ресурсам. Для реализации единого уровня политик клиентам важно выбрать поставщика, способного предложить комплексное решение безопасности для ИИ. Это также дает организациям преимущества в виде операционной простоты и кросс-продуктовых инноваций.

Cloudflare реализует многоуровневый подход к обнаружению угроз и защите во всех своих продуктах безопасности, включая WAF. AI Security for Apps дополняет WAF, добавляя еще один уровень обнаружения и нейтрализации угроз, специфичных именно для AI.

AI Security for Apps помогает защитить ваши сервисы на базе больших языковых моделей (LLM) от злоупотреблений. Этот не зависящий от модели механизм обнаружения уже сейчас позволяет выявлять и устранять различные угрозы ИИ, такие как утечка PII, небезопасные темы, prompt injection и jailbreak.

AI Security for Apps выполняет три основные функции: обнаружение LLM, обеспечение видимости, а также защиту и снижение рисков, как показано на рисунке 3.

С Cloudflare также выполняет инференс ИИ в своей сети ↗ и способна охватить около 95% населения мира в пределах примерно 50 мс: развёртывание AI-безопасности так близко к модели и конечному пользователю позволяет Cloudflare выявлять атаки на ранней стадии и защищать как пользователей, так и модели клиентов от злоупотреблений и атак.

• Глубокое обучение: машинное обучение, использующее искусственные нейронные сети для обучения на данных способом, схожим с тем, как учатся люди
• LLM (большие языковые модели): ИИ-модели, разработанные для конкретной задачи, например для понимания и генерации наборов данных; как правило, используют огромные объемы данных для глубокого обучения
• Обнаружение LLM или ИИ: автоматизированный процесс обнаружения LLM- или AI-эндпоинтов
• Генеративный ИИ: ИИ, который создает новый контент на основе глубокого обучения с использованием существующих данных
• AI Inference: этап работы ИИ, на котором обученная модель применяет полученные знания

AI Security for Apps использует Архитектура reverse proxy Cloudflare и работает в едином потоке со всеми остальными функциями производительности и безопасности приложений Cloudflare. AI Security for Apps не зависит от расположения приложения или используемой AI-модели. Он дополняет WAF, добавляя средства обнаружения и предотвращения угроз, специфичных для AI, которые защищают AI-приложения и API, использующие большие языковые модели (LLM). Например, такая специфичная для AI защита требуется генеративным AI-приложениям. Приложения и LLM могут размещаться в Cloudflare, у сторонних облачных провайдеров или локально.

Это даёт несколько преимуществ:

• Операционная простота: пользователи могут продолжать работать по той же операционной модели, к которой они уже привыкли при создании политик WAF. Не нужно изучать новые конструкции, операции или панели управления.

• Единая унифицированная панель управления политиками безопасности: все политики безопасности следуют единой операционной модели и могут обновляться и применяться из одного места.

• Многоуровневая защита: поскольку AI Security for Apps работает в едином потоке (inline) со всеми остальными продуктами производительности и безопасности, клиент получает выгоду от многоуровневой защиты за счёт использования возможностей всей платформы Cloudflare для комплексной защиты всех приложений и API от начала до конца.

• Межпродуктовые инновации: клиенты получают выгоду от кросс-продуктовых инноваций и интеграций, таких как автоматическое обнаружение LLM (LLM Discovery) с помощью возможностей API Security.

1. Клиентский запрос отправляется в ближайший дата-центр Cloudflare через anycast, что обеспечивает низкую задержку. С помощью LLM Discovery Cloudflare распознаёт LLM- или AI-трафик по специфическим эвристикам LLM. Обнаруженные конечные точки LLM автоматически получают метку cf-llm метка.

2. Специфичные для Cloudflare AI обнаружения угроз, такие как утечка PII и небезопасный контент, выполняются для всего трафика на конечные точки LLM независимо от того, настроены ли какие-либо политики безопасности. Эту аналитику можно просмотреть в Security Analytics и подозрительная активность также отображается в Security Overview.

3. Любые политики защиты, настроенные пользователем, автоматически применяются ко всем обнаруженным конечным точкам LLM. При необходимости пользователи могут выборочно применять политики безопасности на основе множества различных атрибутов запроса и заголовков.

4. Функция защиты конфиденциальных данных может логировать такие данные в ответе, а применение специфичных для ИИ политик безопасности к входящему трафику защищает модель от обучения на персональных данных (PII) или небезопасной тематической информации, что, в свою очередь, предотвращает утечку PII в будущем.

Архитектура AI Security for Apps обеспечивает безопасность без потери производительности. Все обнаружения ИИ-угроз выполняются параллельно с использованием LLM-моделей, специализированных для конкретной обнаруживаемой угрозы ↗; такая архитектура позволяет добавлять новые механизмы обнаружения ИИ без значительного влияния на задержку, поскольку все проверки выполняются параллельно, а не последовательно. Для этой возможности Cloudflare использует собственный сервис AI Inference, Workers AI ↗ обеспечивая максимальную производительность и безопасность.

Архитектура reverse proxy Cloudflare, использующая anycast, встроенный (inline) подход к безопасности и параллельную обработку с помощью специализированных ИИ-моделей угроз, обеспечивает максимальную производительность по сравнению с решениями, которые опираются на компоненты сторонних поставщиков или построены на основе ИИ security wrapper-ов и решений с hairpinning.

Cloudflare выполняет эвристические проверки, чтобы выявлять трафик LLM и соответствующие конечные точки.

• Используются эвристики, специфичные для LLM
• Известные ложные срабатывания (выявленные при анализе миллионов запросов) отфильтровываются.

Например, конечным точкам LLM в большинстве случаев требуется больше 1 секунды на ответ, тогда как у остальных конечных точек это занимает меньше 1 секунды. Известно, что 80% конечных точек LLM работают с эффективной скоростью передачи данных менее 4 KB/s ↗.

Опираясь на данные о трафике по всей глобальной сети Cloudflare, мы знаем, что существуют и другие паттерны трафика, которые могут работать на той же скорости передачи данных, поэтому мы отфильтровываем такие ложные срабатывания. Например: 1) конечные точки GraphQL, 2) heartbeat устройства или проверка работоспособности, 3) генераторы (для QR кодов, одноразовых паролей, счетов и т. д.)

После того как конечные точки LLM определены, средства защиты API Cloudflare автоматически помечают их меткой cf-llm метка; это позволяет легко фильтровать данные в аналитике и легко применять политики безопасности ко всем конечным точкам LLM.

Диаграмма ниже показывает общую схему обнаружения LLM и нейтрализации угроз ИИ. После обнаружения конечных точек LLM на них автоматически запускаются проверки обнаружения. Нейтрализация выполняется путём создания политики безопасности WAF с использованием специфичного для ИИ контекста и полей, которые предоставляет AI Security for Apps.

Cloudflare ищет определенные паттерны и с помощью анализа выявляет и извлекает запросы (промпты) к LLM из тела входящих запросов. Обнаружение выполняется для входящего трафика. На данный момент оно работает только с запросами, у которых тип содержимого JSON (application/json). Cloudflare заполнит существующий Поля Security for AI Apps ↗ на основе результатов сканирования. Соответствующие результаты можно увидеть в Security Analytics дашборде, отфильтровав по cf-llm меткой managed endpoint и просмотра результатов обнаружения по вашему трафику.

Кроме того, соответствующие заполненные поля можно использовать в выражениях правил безопасности (custom rules и rate limiting rules) для защиты приложения от специфичных для ИИ угроз, таких как утечка PII.

AI Security for Apps уже сейчас обеспечивает обнаружение и устранение основных угроз безопасности ИИ. Угрозы, которые помогает устранять AI Security for Apps, соотносятся со следующими рисками в OWASP Top 10 for LLM Applications ↗ как показано в таблице ниже.

При включении этой функции обнаружение угроз ИИ-безопасности выполняется для входящего трафика с целью выявления промптов LLM, пытающихся эксплуатировать модель. Политики безопасности можно создавать как с помощью пользовательских правил WAF, так и с помощью правил ограничения частоты запросов.

Предотвращение утечек персональных данных (PII), например номеров телефонов, адресов электронной почты, номеров социального страхования и номеров банковских карт.

AI Security for Apps помогает предотвратить передачу PII в запросе, а значит и обучение моделей ИИ на этих данных, из-за чего PII могут впоследствии раскрываться в других запросах.

Обнаружение и модерация небезопасных или вредоносных запросов, например запросов, потенциально связанных с насильственными преступлениями.

AI Security for Apps помогает не допустить, чтобы модели ИИ получали вредоносные запросы, а также предотвращает обучение модели на таких запросах и её ответы на них, за которые предприятие потенциально может нести ответственность.

Обнаружение запросов, специально созданных для того, чтобы обойти предусмотренное разработчиком поведение LLM

AI Security for Apps обнаруживает попытки манипуляции, злоупотребления или получения нежелательных ответов модели. Каждому запросу, направляемому на конечную точку LLM, присваивается оценка prompt injection, отражающая вероятность попытки prompt injection или jailbreak. Значение ниже 20 означает атаку prompt injection.

AI Security for Apps обеспечивает постоянное обнаружение и непрерывную видимость всех угроз безопасности ИИ через аналитику, независимо от того, настроена ли политика безопасности. После того как конечная точка LLM обнаружена с помощью LLM discovery, ко всему трафику на эту точку применяются все проверки, а обнаруженные атаки записываются в лог. Это показано на схеме ниже.

Кроме того, любая подозрительная активность быстро отображается в разделе Security Overview и Security Analytics чтобы пользователям было удобно их просматривать и принимать меры.

Мощные возможности аналитики позволяют пользователям сразу переходить к актуальным угрозам, например утечке PII и небезопасным темам, а внутри каждой из них дополнительно фильтровать по конкретным категориям выявленной угрозы. Существуют категории как для утечка PII и небезопасные темы. Например, ниже логи с обнаруженными PII дополнительно фильтруются по конкретной категории Банковская карта.

Среди обнаруженных эндпоинтов, в разделе Конечные точки вкладке и в Безопасность > Web assets, пользователи также могут легко фильтровать по cf-llm метка для обнаруженных конечных точек, специфичных для LLM, как показано ниже.

Здесь в полной мере проявляются возможности платформы Cloudflare и межпродуктовая интеграция. Обнаруженные конечные точки LLM не просто помечаются cf-llm, но Возможности Cloudflare API Security также автоматически присваивают управляемые метки риска например, cf-risk-missing-auth, обозначая выявленные риски, связанные с соответствующей конечной точкой.

Пользователи также могут регистрировать точные запросы (prompts) с помощью prompt logging. Подробные сведения о запросе, включая тело запроса, легко доступны через Security Analytics. На рисунке ниже видно, что расшифровать и просмотреть содержимое payload могут только пользователи с настроенным соответствующим приватным ключом.

После расшифровки пользователи могут увидеть точный запрос к LLM и даже конкретную обнаруженную категорию, как показано ниже.

ИИ обладает огромными возможностями, и организации продолжают внедрять его высокими темпами, но без соответствующей защиты это сопряжено с риском. Cloudflare предлагает многоуровневый подход к безопасности, включающий AI Security, для защиты ваших приложений на основе ИИ.

AI Security for Apps дополняет WAF, работая по той же операционной модели, и позволяет обнаруживать и устранять такие угрозы, как утечка PII, небезопасный контент и prompt injection или jailbreak. Кроме того, мощные возможности Cloudflare по LLM discovery, аналитике и логированию промптов дают пользователям глубокую видимость, которая позволяет быстро разобраться в ситуации и принять меры для защиты приложений на основе ИИ.

• Cloudflare AI Security for Apps Product Page ↗
• Cloudflare Blog: AI Security for Apps ↗
• Cloudflare Developer Docs: AI Security for Apps ↗
• Самостоятельный тур по продукту: AI Security for Apps ↗
• Видео: Cloudflare AI Security Suite: защита приложений на базе AI с помощью AI Security for Apps ↗