← Документация WAF / detections / ai-security-for-apps

Обнаружение небезопасных и пользовательских тем

AI Security for Apps может определять, когда промпт LLM затрагивает небезопасные или нежелательные темы. Есть два уровня обнаружения тем:

• Небезопасные темы по умолчанию: Встроенный набор категорий безопасности, обнаруживающих вредный контент, такой как насильственные преступления, разжигание ненависти и сексуальный контент.
• Пользовательские темы: темы, которые вы определяете под политики вашей организации, например «competitors» или «financial-advice».

Когда AI Security for Apps включён, он автоматически проверяет промпты по набору стандартных категорий небезопасных тем и заполняет два поля:

• Обнаружена LLM Unsafe topic (cf.llm.prompt.unsafe_topic_detected): true при обнаружении любой небезопасной темы.
• Категории LLM Unsafe topic (cf.llm.prompt.unsafe_topic_categories): массив конкретных обнаруженных категорий.

Обнаружение пользовательских тем позволяет определить собственные темы, и AI Security for Apps будет оценивать каждый промпт относительно них. Затем эти оценки можно использовать в пользовательские правила или правила rate limiting чтобы блокировать, выдавать челлендж или журналировать запросы на основе определяемой вами оценки релевантности.

Эта возможность использует zero-shot-модель классификации который оценивает промпты в момент выполнения. Обучение модели не требуется.

1. Вы определяете список до 20 пользовательских тем. Каждая тема состоит из:
   • Метка: короткий идентификатор через дефис, используемый в выражениях правил и аналитике (например, financial-advice).
   • Описание темы: описательный текст, по которому модель классифицирует промпты (например, seeking financial advice).
2. Когда запрос приходит на cf-llm (endpoint с меткой), модель проверяет промпт по всем заданным описаниям тем и возвращает оценку релевантности для каждой.
3. Оценки записываются в cf.llm.prompt.custom_topic_categories (map-поле с ключами-метками). В выражениях правил и аналитике используются метки, а не описания тем.

Управлять пользовательскими темами можно из двух мест в панели управления:

1. Страница Security Settings: Перейдите в Security > Settings и найдите AI Security for Apps (раздел). В разделе Custom Topics, выберите Управление темами, чтобы добавлять, изменять или удалять темы.
2. Боковая панель Expression Builder: При создании или редактировании пользовательское правило, выберите LLM Custom topic (поле). Затем выберите Управление пользовательскими темами чтобы открыть боковую панель, где можно управлять темами, не покидая страницу создания правила.

Оба метода обновляют один и тот же список тем. Изменения, сделанные в одном, сразу отражаются в другом.

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

Качество обнаружения пользовательских тем зависит от того, как вы пишете описания тем. В основе лежит zero-shot-классификатор, который сравнивает семантический смысл промпта с вашим описанием темы.

Самое важное — описывать намерение пользователя, а не только тему.

Модель выполняет семантическую классификацию, а не сопоставление по ключевым словам. Описания тем, отражающие, что пользователь пытается сделать значительно точнее, чем описания, которые просто называют предметную область. Короткая глагольная фраза (3–6 слов) обычно является лучшим компромиссом между точностью и охватом.

Сравните, как одни и те же два описания тем срабатывают на двух промптах, которые оба упоминают финансы, но с совершенно разными намерениями:

• Будьте конкретны. Слишком широкие темы дают ложные срабатывания; слишком узкие — пропуски.
• Избегайте семантического пересечения. Если две темы означают почти одно и то же (например, seeking financial advice и asking for investment guidance), они будут давать похожие оценки на одних и тех же промптах и впустую расходовать ваш бюджет в 20 тем.
• Тестируйте и итерируйте. Отправьте тестовые промпты и просмотрите оценки в Security Analytics. Настройку можно выполнять, изменяя описание темы (более или менее конкретное) или порог оценки в вашем правиле (lt 20 строгая, lt 50 — разрешающий).
• Не перечисляйте несколько значений в одном описании темы. Модель оценивает только первый элемент списка, разделённого запятыми. Например, Toyota, Ford, Audi, BMW будет соответствовать только промптам о Toyota — остальные элементы игнорируются. Удаление запятых не улучшает результаты. Используйте одну фразу, описывающую намерение, например seeking info on competitors, или создайте отдельные темы для каждого значения.