Geplante Berichte
Für jeden Betrachter eines Dashboards werden dieselben Zusammenfassungen erzeugt. Ein Modellaufruf pro Bericht und Tag statt einer pro Ansicht.
KI und LLMLLM-AnwendungenPerformance- und Scale-Tarife
Exaktes Prompt-Caching
Zahlen Sie nie doppelt für denselben Prompt. Ein LLM-Cache mit exaktem Abgleich, der die eingesparten Tokens und Dollar zählt.
- Abgleich, null Fehltreffer
- Exakt
- Lookup-Latenz in STATS
- p50
- Einsparungen pro Namespace erfasst
- $
Schritt 1 von 4
Namespace anlegen
Geben Sie ihm eine TTL, damit sich Antworten erneuern, und an, was ein Treffer im Schnitt spart.
Beispielsitzungplaying
# Namespace anlegen
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Ein animierter Durchlauf mit echten HotKV-Befehlen und Beispielantworten. Klicken Sie auf einen Schritt, um direkt dorthin zu springen. Befehle und Antworten bleiben auf Englisch, genau so, wie Sie sie in HotKV eingeben und sehen.
Das Problem
Batch-Jobs, Wiederholungsversuche, geplante Berichte und beliebte Fragen schicken denselben Prompt immer wieder an das Modell. Jeder wird voll abgerechnet, und niemand kann sagen, wie viel ein Cache gespart hätte, weil nichts es misst.
So löst HotKV es
Der Prompt-Cache speichert die Antwort für jeden exakten Prompt, zusammen mit dem Modell und den Token-Zahlen des Aufrufs, der sie erzeugt hat. Jeder spätere Treffer wird gezählt, sodass HotKV die Anfragen, Tokens und Dollar ausweisen kann, die Sie nicht ausgegeben haben.
Schritt für Schritt
Was passiert, Befehl für Befehl
- 01
Namespace anlegen
Geben Sie ihm eine TTL, damit sich Antworten erneuern, und an, was ein Treffer im Schnitt spart.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Miss, dann mit Verbrauch speichern
Der erste Aufruf geht an das Modell. Die Antwort wird mit dem Modell und den Token-Zahlen gespeichert, die sie erzeugt haben.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Jede Wiederholung ist kostenlos
Der nächtliche Job und jede Dashboard-Ansicht fragen dasselbe. Alle sind Treffer.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Sehen, was Sie gespart haben
Die Statistiken enthalten die Trefferquote, die Lookup-Latenz und den Verbrauch, den Sie nicht bezahlt haben.
PCACHE.STATS reports
Wo es passt
Szenarien aus der Praxis
Übersetzung und Lokalisierung
UI-Texte und Produktbeschreibungen werden einmal pro Sprache übersetzt und danach bei jeder Anfrage aus dem Cache ausgeliefert.
Klassifizierungs-Pipelines
Tickets, Bewertungen und E-Mails mit identischem Text erhalten dasselbe Label ohne weiteren Modellaufruf.
Integriert
Was Sie bekommen
Exakter Abgleich
Ein Treffer nur für den identischen Prompt, sodass eine gecachte Antwort nie für eine andere Frage ausgeliefert wird.
PCACHE.GETPCACHE.SETVerbrauchsbewusst
Speichern Sie zu jeder Antwort das Modell und die Token-Zahlen, damit Einsparungen aus dem echten Verbrauch berechnet werden.
MODELINPUTOUTPUTMetadaten und Trefferzahlen
PCACHE.GETEX liefert die Antwort mit ihren Metadaten und der Angabe, wie oft sie ausgeliefert wurde.
PCACHE.GETEXTrefferquote und Latenz
PCACHE.STATS meldet Treffer, Misses, Evictions, Speicher, Lookup-Latenz und Einsparungen.
PCACHE.STATSHäufige Fragen
Wann sollte ich den Prompt-Cache statt des semantischen Caches verwenden?
Verwenden Sie den Prompt-Cache, wenn sich Prompts exakt wiederholen, etwa bei Batch-Jobs und festen Vorlagen. Verwenden Sie den semantischen Cache, wenn Menschen dieselbe Frage unterschiedlich formulieren. Viele Anwendungen prüfen beide.
Ist das dasselbe wie das Prompt-Caching des Anbieters?
Nein. Das Prompt-Caching des Anbieters rabattiert wiederholte Präfixe auf dessen Seite. Ein HotKV-Treffer erreicht den Anbieter überhaupt nicht, sodass sich beides addiert.
Welche Tarife enthalten ihn?
Der Prompt-Cache ist Teil der Tarife Performance und Scale.
Verwandte Anwendungsfälle
Probieren Sie es mit Ihrer eigenen Workload
HotKV spricht das Redis-Protokoll, sodass Sie einen bestehenden Client darauf richten und genau diese Befehle ausführen können.