Senken Sie Ihre LLM-Token-Ausgaben und beantworten Sie wiederholte KI-Anfragen in unter einer Millisekunde aus dem Cache, während Sie einen multithreaded, Redis-kompatiblen Store betreiben.
HotKV sitzt als eine Redis-kompatible Engine vor Ihren LLM-Aufrufen. Es erkennt Prompts, die es bereits beantwortet hat, exakt oder näherungsweise, und gibt Ihrer Anwendung die zwischengespeicherte Antwort statt eines neuen API-Aufrufs.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Schon einmal wortgleich gefragt: kein Modellaufruf cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerBeispielergebnis (Beispieldaten)
Szenario: ask("How do I reset my password?") zweimal
Beide Aufrufe liefern: "Use the password-reset link on the sign-in page."
Erster Aufruf: Cache-Miss → call_llm → Antwort gespeichert
Zweiter Aufruf: Antwort aus dem Cache → kein ModellaufrufWir haben dieselben 3.000 Kundensupport-Fragen zweimal an vier aktuelle Claude-Modelle gesendet: einmal direkt an das Modell, einmal mit HotKV davor.
Bei 1 Million Anfragen pro Tag, hochgerechnet aus den gemessenen Kosten pro Anfrage und unter der Annahme desselben Traffic-Musters. Die vier Claude-Modelle liefen mit kurzen Antworten, Fable 5.1 und Opus 5.5 mit ihrem niedrigsten Reasoning-Aufwand, sodass längere oder Reasoning-lastige Antworten jeden vermiedenen Aufruf wertvoller machen würden.
Wir haben Claude Fable 5.1, Opus 5.5, Sonnet 5.5 und Haiku 5.5 jeweils mit denselben 3.000 Anfragen getestet, mit und ohne HotKV. Das Prompt-Caching des jeweiligen Anbieters war in jedem Lauf eingeschaltet, und Token und Kosten werden der Nutzungsangabe (usage) jeder Antwort entnommen, Thinking-Token eingeschlossen.
| Modell | Eingesparte Token | Kosten ohne | Kosten mit | Geringer um | Modellaufrufe | Mediane Antwortzeit |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 $ | 9,18 $ | 70 % | von 3.000 auf 896 | von 2,7 s auf 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 $ | 4,50 $ | 69 % | von 3.000 auf 898 | von 2,9 s auf 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 $ | 1,66 $ | 70 % | von 3.000 auf 897 | von 1,8 s auf 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 $ | 0,08 $ | 70 % | von 3.000 auf 897 | von 1,4 s auf 125 ms |
Für jede aus dem Cache bediente umformulierte Frage hat ein anderes Modell die zwischengespeicherte Antwort mit der frischen Antwort verglichen, die dasselbe Modell auf genau diese Frage gegeben hat, in zufälliger Reihenfolge. Kein Modell hat seine eigene Ausgabe bewertet. Hier urteilt ein Sprachmodell, keine menschliche Prüfung, und dessen Strenge unterscheidet sich zwischen den Modellen. Vergleichen Sie daher zwischengespeicherte und frische Antworten nur innerhalb eines Modells.
| Modell | Bewertete umformulierte Fragen | Gecachte Antwort passt | Frische Antwort passt |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Jede Zeile ist ein separater Lauf von Claude Sonnet 5.5 mit denselben 3.000 Anfragen (Kosten ohne HotKV: 5,51 $).
| Schwellenwert | Kosten | Geringer um | Gecachte Antwort passt | Frische Antwort passt |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 $ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 $ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 $ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 $ | 60 % | 92,0 % | 90,0 % |
3.000 Kundensupport-Fragen, mit festem Seed aus dem Test-Split von Banking77 gezogen (die Beliebtheit der Intents folgt einer Zipf-Verteilung, s=1,0; innerhalb jedes Intents werden Fragen gleichverteilt gezogen, mit Wiederholungen). Jede Frage wurde mit denselben Support-Richtlinien als Systemprompt an das Modell gesendet. Baseline: Jede Anfrage ruft das Modell auf, wobei das Prompt-Caching des jeweiligen Anbieters eingeschaltet ist. HotKV: Lookup auf exakte Übereinstimmung (GET auf einen SHA-256-Schlüssel der normalisierten Frage), dann ein semantischer Lookup (SCACHE.GET mit einem Embedding der Frage); das Modell wird nur bei einem Cache-Miss aufgerufen. Die Token-Zahlen stammen aus dem usage-Block jeder API-Antwort; die Kosten basieren auf Listenpreisen und schließen die Embedding-Aufrufe ein. Der Ähnlichkeits-Schwellenwert wurde auf dem separaten Banking77-Train-Split als der niedrigste Wert gewählt, der bei semantischen Treffern mindestens 98 % Precision für denselben Intent liefert.
Embedding-Modell: OpenAI text-embedding-3-small. Schwellenwert für die semantische Übereinstimmung: 0,81. Datensatz: Banking77 (Test-Split) von PolyAI, lizenziert unter CC BY 4.0. 3.000 Anfragen über 77 Intents.
Gemessen am 11. Oktober 2026. Die Einsparungen hängen davon ab, wie oft sich Ihr Traffic wiederholt. Ein Workload ohne wiederholte oder ähnliche Fragen spart nichts.
Wir haben dieselben OpenAI-Embeddings in HotKV und Redis 8 geladen und dieselben 1.000 Abfragen mit 1 bis 100 gleichzeitigen Client-Verbindungen gegen beide ausgeführt, auf einer einzigen Maschine. Beide hielten Vektoren in voller Genauigkeit, mit denselben Index-Einstellungen.
Beide Engines speicherten Vektoren in voller Genauigkeit (float32). Nach dem Laden von 999.000 Vektoren belegte der HotKV-Prozess 6,77 GB und Redis 7,01 GB.
Nicht gemessen: der standardmäßige 8-Bit-quantisierte Modus von Redis, die Redis Query Engine, andere Datensätze und andere Hardware. Der HotKV-Build ist ein Entwicklungs-Build, der noch nicht veröffentlicht wurde. Redis wurde auf vier vCPUs festgelegt geladen und auf einem neu geladenen Index durchsucht (siehe Artikel).
| ef | HotKV-Recall | Redis-Recall | HotKV Abfragen/s | Redis Abfragen/s | Verhältnis |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
HotKV-Build c8dafd37 und Redis 8.10.2, Kosinus-Ähnlichkeit, HNSW mit M=16 und ef_construction=200 bei beiden, float32 bei beiden (Redis NOQUANT). Recall ist Recall@10 gegenüber exakten Brute-Force-Ergebnissen. Median aus 3 Läufen auf Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Die Server teilten sich 128 vCPUs, die Lastgeneratoren liefen auf 32 weiteren, mit demselben Client-Code für beide.
Datensatz: dbpedia-entities-openai-1M-Embeddings (OpenAI text-embedding-ada-002, 1.536 Dimensionen) von Kumar Shivendu and Nirant Kasliwal, lizenziert unter MIT, plus 1.000 zurückgehaltene Abfragen. Vollständige Methode, Skripte und Rohdaten. Gemessen am 14. Oktober 2026.
HotKV ist kommerzielle Software. Lassen Sie es von uns für Sie betreiben, oder betreiben Sie es selbst auf einer Infrastruktur, die Sie kontrollieren.
Eine vollständig verwaltete HotKV-Instanz, von uns gehostet und betrieben auf Google Cloud in 42 Regionen. Wir öffnen schrittweise. Fordern Sie frühen Zugang an.
Betreiben Sie HotKV auf Ihren eigenen Servern oder in Ihrem eigenen Cloud-Konto, mit einer Lizenzdatei und voller Kontrolle über Datenspeicherort und Netzwerkzugriff.
Zwölf offizielle Client-Bibliotheken. HotKV spricht außerdem RESP2 und RESP3, sodass sich Ihre bestehenden Redis-Clients und -Tools verbinden, ohne dass mehr als der Hostname geändert werden muss.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}von GitHub (hotkv-perl-client)libhotkv (CMake, GitHub-Release)hotkv-cpp (CMake, GitHub-Release)Die Python- und Node.js-SDKs liefern Einzeiler-Integrationen für die Frameworks, mit denen Teams ohnehin bauen. Separate Open-Source-Tools decken LangGraph, MCP und OpenAI-kompatible APIs ab.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Enthält außerdem HotKVCache für Caching bei exakter Übereinstimmung sowie HotKVVectorStore und HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Enthält außerdem HotKVKVStore und HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Der in LiteLLM integrierte Redis-Cache funktioniert bereits unverändert mit HotKV. Greifen Sie zu dieser Integration, wenn Sie zusätzlich semantisches Caching möchten.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Im npm-Paket @hotkv/client enthalten.
import { HotKVCache } from "@hotkv/client/langchain";Im npm-Paket @hotkv/client enthalten.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Ein Checkpointer für den Graph-Zustand und ein Langzeitspeicher mit semantischer Suche. Benötigt keine HotKV-Lizenz.
Dokumentation lesenpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Ermöglicht Claude, Cursor und anderen Assistenten die Nutzung von Keys, Agentenspeicher, Prompts und Dokumentsuche. Ein schreibgeschützter Modus und Namespaces halten Agenten in ihren Grenzen.
Dokumentation lesengo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Ein direkt einsetzbarer Proxy, der OpenAI-kompatible und Anthropic-API-Aufrufe zwischenspeichert, Streaming eingeschlossen. Eine URL ändern, kein Code.
Dokumentation lesenErfahren Sie, was HotKV schnell macht, wo es sich einsetzen lässt und wie Sie loslegen.
Von Anfang an multithreaded. Ein Durchsatz, der mit Ihrer Kernanzahl skaliert, nicht dagegen.
Mehr erfahrenSemantischer Cache, RAG, Agentenspeicher und LLM-Kostenkontrolle, direkt in die Engine integriert.
Mehr erfahrenCaching, Sessions, Warteschlangen, Ranglisten. Dieselben Workloads wie bei Redis, mit höherem Durchsatz.
Mehr erfahrenKey-Tagging, TTLs im Nanosekundenbereich, Vektorsuche und integrierte Metriken, Teil der Kern-Engine.
Mehr erfahrenEine multithreaded Engine, in der jeder Kern Befehle parallel liest, parst und ausführt.
Mehr erfahrenStarter-, Performance- und Scale-Tarife in HotKV Cloud, mit inbegriffenem Traffic und ohne jährliche Bindung.
Mehr erfahren