AI en LLMLLM-operatiesPlannen Performance en Scale

Caching van guardrails en moderatie

Speel antwoorden die je validators al hebben doorstaan opnieuw af en weiger herhaaldelijke overtreders zonder moderatie of het model opnieuw aan te roepen.

caches, goed en fout
2
hervalidatie bij een hit
0
TTL's voor weigeringen
Korte
Stap 1 van 5
Genereren en valideren

De namespaces zijn eenmalig gemaakt met GUARD.CREATE en NCACHE.CREATE. Het model produceert JSON en je validator controleert het tegen het schema voordat er iets wordt opgeslagen.

Voorbeeldsessieplaying
# Genereren en valideren
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Een geanimeerde walkthrough met echte HotKV-commando's en voorbeeldantwoorden. Klik op een stap om ernaartoe te springen. Commando's en antwoorden blijven Engels, precies zoals je ze in HotKV typt en ziet.

Het probleem

Gestructureerde uitvoer en veiligheidscontroles zijn traag en kosten geld. Er is een modelaanroep, een validatie van een JSON-schema en misschien een tweede model dat het antwoord beoordeelt. Herhaalde verzoeken betalen dat allemaal opnieuw. En dezelfde kwetsende prompt, duizend keer verstuurd door een script, gaat duizend keer naar moderatie.

Hoe HotKV het aanpakt

De guardcache slaat alleen antwoorden op die je schemavalidatie of guardrailcontroles al hebben doorstaan, zodat van een hit vaststaat dat hij veilig ongewijzigd kan worden afgespeeld. De negatieve cache onthoudt weigeringen zoals "geweigerd door moderatie" met een korte TTL, zodat herhaalde slechte verzoeken worden afgewezen voordat ze de moderatieservice of het model bereiken.

Stap voor stap

Wat er gebeurt, commando voor commando

  1. 01

    Genereren en valideren

    De namespaces zijn eenmalig gemaakt met GUARD.CREATE en NCACHE.CREATE. Het model produceert JSON en je validator controleert het tegen het schema voordat er iets wordt opgeslagen.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Afspelen zonder opnieuw te controleren

    Hetzelfde verzoek opnieuw. Het opgeslagen antwoord heeft de validatie al doorstaan, dus het wordt ongewijzigd teruggegeven.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    Moderatie weigert een prompt

    Een schadelijke prompt wordt geweigerd. De weigering wordt vijf minuten onthouden.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Het script probeert het opnieuw

    Dezelfde prompt een ogenblik later wordt vanuit de cache afgewezen. Moderatie en het model worden niet aangeroepen.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Beide caches meten

    Elke namespace rapporteert hits, misses, verwijderingen en geheugen.

    GUARD.STATS validated
Waar het past

Praktijkscenario's

Gestructureerde extractie

Facturen en formulieren worden omgezet in gevalideerde JSON. Hetzelfde document opnieuw verwerken geeft het gevalideerde resultaat terug zonder nieuwe modelaanroep.

Chat-apps voor consumenten

Misbruikscripts die steeds dezelfde prompt afvuren worden uit de negatieve cache geweigerd, waardoor de moderatiekosten gelijk blijven.

Opzoekingen die falen

"Gebruiker niet gevonden" en andere negatieve antwoorden worden kort gecachet, zodat retries de backend niet raken.

Ingebouwd

Wat je krijgt

Guardcache

Alleen antwoorden die je controles hebben doorstaan worden opgeslagen, dus een hit is veilig opnieuw af te spelen.

GUARD.SETGUARD.GET

Negatieve cache

Onthoud weigeringen en niet-gevonden-resultaten voor korte tijd.

NCACHE.SETNCACHE.GET

TTL's en limieten

Standaard-TTL's en itemlimieten per namespace, met verwijdering wanneer hij vol is.

GUARD.CREATENCACHE.CREATE

Statistieken

Hits, misses, verwijderingen, geheugen en besparingen per namespace.

GUARD.STATSNCACHE.STATS
Referentie:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Veelgestelde vragen

Valideert HotKV de uitvoer zelf?

Nee. Jouw validator of guardrail beslist. HotKV slaat alleen op wat je in de guardcache zet nadat het is geslaagd.

Hoe lang moeten weigeringen worden gecachet?

Meestal kort, minuten in plaats van dagen, zodat een beleidswijziging of een vals positief niet blijft hangen. Stel de TTL in per namespace of per item.

Welke plannen bevatten het?

De guardcache en de negatieve cache maken deel uit van de plannen Performance en Scale.

Verwante use cases

LLM-toepassingen

Exacte prompt-caching

Betaal nooit twee keer voor dezelfde prompt. Een LLM-cache met exacte match die de tokens en dollars telt die hij je heeft bespaard.

Verkennen
LLM-operaties

Beheersing van LLM-kosten

Dwing een token- en uitgavenbudget af per gebruiker of tenant, zie de echte uitgaven per bucket en embed identieke tekst maar één keer.

Verkennen
LLM-toepassingen

AI-klantenserviceassistent

Een supportbot die herhalingen direct beantwoordt, parafrases op betekenis matcht, nieuwe antwoorden onderbouwt met je helpcentrum en nooit te veel uitgeeft.

Verkennen

Probeer het op je eigen workload

HotKV spreekt het Redis-protocol, dus je kunt een bestaande client erop richten en dezelfde commando's uitvoeren.

Early access krijgenVolgende: Feature store