← Dokumentace WAF / detections / ai-security-for-apps

Detekce nebezpečných a vlastních témat

AI Security for Apps dokáže detekovat, když se LLM prompt dotýká nebezpečných nebo nežádoucích témat. Existují dvě vrstvy detekce témat:

• Výchozí nebezpečná témata: Vestavěná sada bezpečnostních kategorií, které detekují škodlivý obsah, jako jsou násilné trestné činy, nenávistné projevy a sexuální obsah.
• Vlastní témata: Témata, která definujete podle specifických zásad vaší organizace, například "competitors" nebo "financial-advice".

Když je AI Security for Apps zapnuté, automaticky vyhodnocuje prompty vůči sadě výchozích kategorií nebezpečných témat a naplňuje dvě pole:

• LLM Unsafe topic detected (cf.llm.prompt.unsafe_topic_detected): true pokud bylo nalezeno jakékoli nebezpečné téma.
• LLM Unsafe topic categories (cf.llm.prompt.unsafe_topic_categories): Pole konkrétních detekovaných kategorií.

Detekce vlastních témat vám umožňuje definovat vlastní témata, vůči nimž AI Security for Apps skóruje každý prompt. Tato skóre pak můžete použít v vlastní pravidla nebo pravidla rate limitingu k blokování, vystavení challenge nebo logování požadavků na základě skóre relevance, které definujete.

Tato funkce používá zero-shot klasifikační model který vyhodnocuje prompty za běhu. Není potřeba žádné trénování modelu.

1. Definujete seznam až 20 vlastních témat. Každé téma se skládá z:
   • Štítek: Krátký identifikátor se spojovníky používaný ve výrazech pravidel a analytice (například financial-advice).
   • Popis tématu: Popisný text, který model používá ke klasifikaci promptů (například seeking financial advice).
2. Když požadavek dorazí na cf-llm označený endpoint, model vyhodnotí prompt vůči všem definovaným popisům témat a pro každé vrátí skóre relevance.
3. Skóre se zapisují do cf.llm.prompt.custom_topic_categories mapové pole klíčované podle štítku. Ve výrazech pravidel a analytice používáte štítky (nikoli popisy témat).

Vlastní témata můžete spravovat ze dvou míst v dashboardu:

1. Stránka Security Settings: Přejděte na Security > Settings a vyhledejte AI Security for Apps sekci. V části Vlastní témata, vyberte Manage topics k přidání, úpravě nebo odebrání témat.
2. Boční panel Expression Builderu: Při vytváření nebo úpravě vlastní pravidlo, vyberte LLM Custom topic (pole). Poté vyberte Správa vlastních témat k otevření postranního panelu, kde můžete spravovat témata, aniž byste opustili stránku vytváření pravidla.

Obě metody aktualizují stejný podkladový seznam témat. Změny provedené v jedné se okamžitě projeví v druhé.

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

Kvalita detekce vlastních témat závisí na tom, jak napíšete popisy témat. Podkladovým modelem je zero-shot klasifikátor, který porovnává sémantický význam promptu s vaším popisem tématu.

Nejdůležitější je popsat záměr uživatele, nikoli jen téma.

Model provádí sémantickou klasifikaci, nikoli porovnávání klíčových slov. Popisy témat, které zachycují, o co uživatel pokouší udělat jsou výrazně přesnější než popisy, které pouze pojmenovávají tematickou oblast. Krátká slovesná fráze (3–6 slov) je obvykle nejlepším kompromisem mezi přesností a pokrytím.

Porovnejte, jak si stejné dva popisy témat vedou proti dvěma promptům, které oba zmiňují finance, ale s velmi odlišným záměrem:

• Buďte konkrétní. Příliš široká témata způsobují falešně pozitivní výsledky; příliš úzká témata falešně negativní.
• Vyhněte se sémantickému překryvu. Pokud dvě témata znamenají téměř totéž (například seeking financial advice a asking for investment guidance), budou na stejných promptech dosahovat podobného skóre a plýtvat vaším rozpočtem 20 témat.
• Testujte a iterujte. Odešlete testovací prompty a zkontrolujte skóre v Security Analytics. Ladit můžete úpravou popisu tématu (více či méně specifický) nebo prahové hodnoty skóre v pravidle (lt 20 je strict, lt 50 je permisivní).
• Neuvádějte více hodnot v jednom popisu tématu. Model vyhodnocuje pouze první položku v seznamu odděleném čárkami. Například Toyota, Ford, Audi, BMW bude odpovídat pouze promptům o Toyota — zbývající položky jsou ignorovány. Odstranění čárek výsledky nezlepší. Použijte jedinou frázi vystihující záměr, například seeking info on competitors, nebo vytvořte pro každou hodnotu samostatné téma.