Strukturierte Extraktion
Rechnungen und Formulare werden in validiertes JSON umgewandelt. Eine erneute Verarbeitung desselben Dokuments liefert das validierte Ergebnis ohne weiteren Modellaufruf.
KI und LLMLLM-BetriebPerformance- und Scale-Tarife
Caching für Guardrails und Moderation
Spielen Sie Antworten erneut aus, die Ihre Validatoren bereits bestanden haben, und weisen Sie Wiederholungstäter ab, ohne Moderation oder Modell erneut aufzurufen.
- Caches, gut und schlecht
- 2
- erneute Validierung bei Treffer
- 0
- TTLs für Ablehnungen
- Kurze
Schritt 1 von 5
Erzeugen und validieren
Die Namespaces wurden einmal mit GUARD.CREATE und NCACHE.CREATE angelegt. Das Modell erzeugt JSON, und Ihr Validator prüft es gegen das Schema, bevor irgendetwas gespeichert wird.
Beispielsitzungplaying
# Erzeugen und validieren
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Ein animierter Durchlauf mit echten HotKV-Befehlen und Beispielantworten. Klicken Sie auf einen Schritt, um direkt dorthin zu springen. Befehle und Antworten bleiben auf Englisch, genau so, wie Sie sie in HotKV eingeben und sehen.
Das Problem
Strukturierte Ausgaben und Sicherheitsprüfungen sind langsam und kosten Geld. Es gibt einen Modellaufruf, eine JSON-Schema-Validierung und vielleicht ein zweites Modell, das die Antwort bewertet. Wiederholte Anfragen bezahlen all das erneut. Und derselbe missbräuchliche Prompt, von einem Skript tausendmal gesendet, geht tausendmal an die Moderation.
So löst HotKV es
Der Guard-Cache speichert nur Antworten, die Ihre Schema-Validierung oder Guardrail-Prüfungen bereits bestanden haben, sodass ein Treffer bekanntermaßen unverändert wiedergegeben werden kann. Der Negativ-Cache merkt sich Ablehnungen wie "von der Moderation abgelehnt" mit einer kurzen TTL, sodass wiederholte schlechte Anfragen abgewiesen werden, bevor sie den Moderationsdienst oder das Modell erreichen.
Schritt für Schritt
Was passiert, Befehl für Befehl
- 01
Erzeugen und validieren
Die Namespaces wurden einmal mit GUARD.CREATE und NCACHE.CREATE angelegt. Das Modell erzeugt JSON, und Ihr Validator prüft es gegen das Schema, bevor irgendetwas gespeichert wird.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Ohne erneute Prüfung wiedergeben
Noch einmal dieselbe Anfrage. Die gespeicherte Antwort hat die Validierung bereits bestanden und wird unverändert zurückgegeben.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Die Moderation lehnt einen Prompt ab
Ein schädlicher Prompt wird abgelehnt. Die Ablehnung wird fünf Minuten lang gemerkt.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
Das Skript versucht es erneut
Derselbe Prompt einen Moment später wird aus dem Cache abgewiesen. Moderation und Modell werden nicht aufgerufen.
NCACHE.GET refused "prompt:9f31c2" - 05
Beide Caches messen
Jeder Namespace meldet Treffer, Misses, Evictions und Speicher.
GUARD.STATS validated
Wo es passt
Szenarien aus der Praxis
Chat-Apps für Endkunden
Missbrauchsskripte, die denselben Prompt immer wieder senden, werden aus dem Negativ-Cache abgewiesen, und die Moderationskosten bleiben konstant.
Fehlschlagende Lookups
"Benutzer nicht gefunden" und andere negative Antworten werden kurz gecacht, sodass Wiederholungsversuche das Backend nicht treffen.
Integriert
Was Sie bekommen
Guard-Cache
Nur Antworten, die Ihre Prüfungen bestanden haben, werden gespeichert, sodass ein Treffer sicher wiedergegeben werden kann.
GUARD.SETGUARD.GETNegativ-Cache
Merken Sie sich Ablehnungen und Nicht-gefunden-Ergebnisse für kurze Zeit.
NCACHE.SETNCACHE.GETTTLs und Limits
Standard-TTLs und Eintragslimits pro Namespace, mit Eviction, wenn er voll ist.
GUARD.CREATENCACHE.CREATEStatistiken
Treffer, Misses, Evictions, Speicher und Einsparungen pro Namespace.
GUARD.STATSNCACHE.STATSHäufige Fragen
Validiert HotKV die Ausgabe selbst?
Nein. Ihr Validator oder Ihre Guardrail entscheidet. HotKV speichert nur, was Sie nach bestandener Prüfung in den Guard-Cache legen.
Wie lange sollten Ablehnungen gecacht werden?
Meist kurz, eher Minuten als Tage, damit eine Richtlinienänderung oder ein Fehlalarm nicht hängen bleibt. Legen Sie die TTL pro Namespace oder pro Eintrag fest.
Welche Tarife enthalten sie?
Guard-Cache und Negativ-Cache sind Teil der Tarife Performance und Scale.
Verwandte Anwendungsfälle
Probieren Sie es mit Ihrer eigenen Workload
HotKV spricht das Redis-Protokoll, sodass Sie einen bestehenden Client darauf richten und genau diese Befehle ausführen können.