AI és LLMLLM-műveletekPerformance és Scale csomagok

Védőkorlát- és moderáció-gyorsítótárazás

Játssza újra azokat a válaszokat, amelyek már átmentek az ellenőrzőin, és utasítsa vissza az ismétlődő visszaélőket anélkül, hogy újra hívná a moderálást vagy a modellt.

gyorsítótár, jó és rossz
2
újraellenőrzés találatnál
0
TTL az elutasításokhoz
Rövid
Lépés 1 / 5
Generálás és ellenőrzés

A névtereket egyszer hozták létre a GUARD.CREATE-tel és az NCACHE.CREATE-tel. A modell JSON-t állít elő, az ellenőrzője pedig a séma ellen ellenőrzi, mielőtt bármi tárolódna.

Példa munkamenetplaying
# Generálás és ellenőrzés
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.

A probléma

A strukturált kimenet és a biztonsági ellenőrzések lassúak és pénzbe kerülnek. Van egy modellhívás, egy JSON-séma-ellenőrzés, és talán egy második modell, amely megítéli a választ. Az ismételt kérések mindezt újra kifizetik. És ugyanaz a bántalmazó prompt, amelyet egy szkript ezerszer elküld, ezerszer megy moderálásra.

Hogyan kezeli a HotKV

A védő-gyorsítótár csak azokat a válaszokat tárolja, amelyek már átmentek a sémaellenőrzésen vagy a védőkorlát-ellenőrzéseken, így egy találatról tudható, hogy biztonságosan újrajátszható úgy, ahogy van. A negatív gyorsítótár rövid TTL-lel megjegyzi az olyan elutasításokat, mint a „moderáció elutasította”, így az ismételt rossz kéréseket még azelőtt elutasítja, hogy elérnék a moderációs szolgáltatást vagy a modellt.

Lépésről lépésre

Mi történik, parancsról parancsra

  1. 01

    Generálás és ellenőrzés

    A névtereket egyszer hozták létre a GUARD.CREATE-tel és az NCACHE.CREATE-tel. A modell JSON-t állít elő, az ellenőrzője pedig a séma ellen ellenőrzi, mielőtt bármi tárolódna.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Újrajátszás újraellenőrzés nélkül

    Ugyanaz a kérés újra. A tárolt válasz már átment az ellenőrzésen, így úgy kerül visszaadásra, ahogy van.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    A moderáció elutasít egy promptot

    Egy ártalmas promptot elutasít. Az elutasítást öt percig megjegyzi.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    A szkript újra próbálkozik

    Ugyanazt a promptot egy pillanattal később a gyorsítótár utasítja el. A moderációt és a modellt nem hívja.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Mindkét gyorsítótár mérése

    Minden névtér jelenti a találatokat, tévesztéseket, kiürítéseket és a memóriát.

    GUARD.STATS validated
Hol használható

Valós helyzetek

Strukturált kinyerés

A számlákat és űrlapokat ellenőrzött JSON-ná alakítják. Ugyanazon dokumentum újrafeldolgozása újabb modellhívás nélkül adja vissza az ellenőrzött eredményt.

Fogyasztói csevegőalkalmazások

Azokat a visszaélő szkripteket, amelyek ugyanazt a promptot ismételgetik, a negatív gyorsítótár utasítja el, így a moderációs költségek állandóak maradnak.

Sikertelen keresések

A „User not found” és más negatív válaszokat röviden gyorsítótárazza, így az újrapróbálkozások nem terhelik a háttérrendszert.

Beépítve

Amit kap

Védő-gyorsítótár

Csak az ellenőrzésein átment válaszok kerülnek tárolásra, így egy találat biztonságosan újrajátszható.

GUARD.SETGUARD.GET

Negatív gyorsítótár

Rövid ideig megjegyzi az elutasításokat és a nem található eredményeket.

NCACHE.SETNCACHE.GET

TTL-ek és korlátok

Alapértelmezett TTL-ek és bejegyzéskorlátok névterenként, kiürítéssel, ha megtelt.

GUARD.CREATENCACHE.CREATE

Statisztikák

Találatok, tévesztések, kiürítések, memória és megtakarítás névterenként.

GUARD.STATSNCACHE.STATS
Referencia:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Gyakori kérdések

A HotKV maga ellenőrzi a kimenetet?

Nem. Az Ön ellenőrzője vagy védőkorlátja dönt. A HotKV csak azt tárolja, amit Ön a védő-gyorsítótárba tett, miután az átment.

Mennyi ideig gyorsítótárazzam az elutasításokat?

Általában rövid ideig, napok helyett percekig, hogy egy szabályzatváltozás vagy egy téves pozitív ne ragadjon be. Állítsa a TTL-t névterenként vagy bejegyzésenként.

Mely csomagok tartalmazzák?

A védő-gyorsítótár és a negatív gyorsítótár a Performance és a Scale csomag része.

Kapcsolódó felhasználási esetek

LLM-alkalmazások

Pontos prompt-gyorsítótárazás

Soha ne fizessen kétszer ugyanazért a promptért. Pontos egyezésű LLM-gyorsítótár, amely számolja a megtakarított tokeneket és dollárokat.

Felfedezés
LLM-műveletek

LLM-költségirányítás

Érvényesítsen token- és költési keretet felhasználónként vagy bérlőnként, lássa a valós költést gyűjtőnként, és ugyanazt a szöveget csak egyszer ágyazza be.

Felfedezés
LLM-alkalmazások

AI ügyfélszolgálati asszisztens

Egy támogatási bot, amely az ismétlődő kérdésekre azonnal válaszol, az átfogalmazásokat jelentés alapján párosítja, az új válaszokat a súgóközpontjára alapozza, és soha nem költ túl.

Felfedezés

Próbálja ki a saját munkaterhelésén

A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.

Korai hozzáférés kéréseKövetkező: Feature store