Kundensupport
Passwort-Resets, Rechnungskopien und Lieferzeiten werden immer wieder erfragt. Jede Variante nach der ersten kommt aus dem Cache.
KI und LLMLLM-AnwendungenPerformance- und Scale-Tarife
Semantisches Antwort-Caching
Cachen Sie LLM-Antworten nach Bedeutung statt nach exaktem Text, damit umformulierte Fragen den Cache treffen und den Modellaufruf überspringen.
- Lookup vor jedem Modellaufruf
- 1
- Ähnlichkeitsmetriken
- 3
- Schwellenwert überschreibbar
- Pro Aufruf
Schritt 1 von 6
Namespace anlegen
Legen Sie die Embedding-Größe fest und die Ähnlichkeit, die als Treffer zählt.
Beispielsitzungplaying
# Namespace anlegen
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Ein animierter Durchlauf mit echten HotKV-Befehlen und Beispielantworten. Klicken Sie auf einen Schritt, um direkt dorthin zu springen. Befehle und Antworten bleiben auf Englisch, genau so, wie Sie sie in HotKV eingeben und sehen.
Das Problem
Ein Support-Assistent bekommt dieselbe Frage in hundert verschiedenen Formulierungen. Ein Cache mit exaktem Abgleich verfehlt fast alle davon, sodass jede Umformulierung einen vollen Modellaufruf kostet und auf die vollständige Antwort wartet.
So löst HotKV es
Ein semantischer Cache speichert jede Antwort neben dem Embedding ihrer Frage und sucht neue Fragen über die Ähnlichkeit. Liegt ein neuer Prompt nah genug an einem, den Sie bereits beantwortet haben, kommt die gespeicherte Antwort zurück, und das Modell wird nie aufgerufen. Der Schwellenwert legt fest, wie nah nah genug ist.
Schritt für Schritt
Was passiert, Befehl für Befehl
- 01
Namespace anlegen
Legen Sie die Embedding-Größe fest und die Ähnlichkeit, die als Treffer zählt.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Ein Miss, also einmal das Modell aufrufen
Wenn eine Frage zum ersten Mal gestellt wird, gibt es nichts Ähnliches im Cache, also beantwortet das Modell sie.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Die Antwort merken
Speichern Sie die Frage, die Antwort und das Embedding der Frage für einen Tag.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Eine Umformulierung trifft
"forgot my login pass" landet nah an der gespeicherten Frage. Die Antwort und ihre Ähnlichkeit kommen zurück, und das Modell wird übersprungen.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Strenger für einen Lookup
Ein Lookup kann einen engeren Abgleich verlangen als der Standard des Namespace, für Antworten, bei denen ein Beinahe-Treffer nicht genügt.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Die Einsparungen messen
Statistiken pro Namespace zeigen, wie oft der Cache statt des Modells geantwortet hat.
SCACHE.STATS support_bot
Wo es passt
Szenarien aus der Praxis
Interne Wissens-Bots
Mitarbeitende fragen in eigenen Worten nach Urlaub, Spesen und VPN-Zugang. Eine Antwort bedient alle, bis sie abläuft.
Entwicklertools
"How do I paginate?" und "how to page through results" bekommen dieselbe dokumentierte Antwort ohne zweiten Modellaufruf.
Integriert
Was Sie bekommen
Abgleich nach Bedeutung
Ähnliche Fragen teilen sich eine gecachte Antwort, egal wie sie formuliert sind.
SCACHE.GETSCACHE.SETSie bestimmen die Strenge
Legen Sie den Schwellenwert pro Namespace fest und überschreiben Sie ihn bei einem einzelnen Lookup.
SCACHE.THRESHOLDMessbare Einsparungen
Statistiken pro Namespace zeigen Treffer, Misses und Einträge.
SCACHE.STATSKosinus, L2 oder Skalarprodukt
Wählen Sie beim Anlegen des Namespace die Metrik, die zu Ihrem Embedding-Modell passt.
SCACHE.CREATEHäufige Fragen
Was kostet ein Cache-Treffer?
Einen Embedding-Aufruf und einen Cache-Lookup. Der Modellaufruf und seine Generierungszeit entfallen.
Wie vermeide ich falsche Antworten durch einen zu lockeren Abgleich?
Erhöhen Sie den Schwellenwert. Ein höherer Schwellenwert verlangt eine engere Übereinstimmung, sodass weniger Fragen treffen und jeder Treffer sicherer ist.
Welche Tarife enthalten ihn?
Der semantische Cache ist Teil der Tarife Performance und Scale.
Verwandte Anwendungsfälle
Probieren Sie es mit Ihrer eigenen Workload
HotKV spricht das Redis-Protokoll, sodass Sie einen bestehenden Client darauf richten und genau diese Befehle ausführen können.