Entwickelt für den KI-Stack
Die meisten Teams rüsten ihre LLM-Anwendung nachträglich mit einer Vektordatenbank, einem Cache, einer Suchmaschine und einem Berg an Glue-Code aus. HotKV baut diese Grundbausteine in eine einzige In-Memory-Engine ein, sodass Retrieval, Speicher und Kostenkontrolle direkt neben Ihren Daten laufen.
Wählen Sie eine Frage. Sehen Sie, wo sie beantwortet wird und wie viel des Stacks sie nie berühren muss.
- 00Frageläuft durch
- LLMBUDGETLLM-Budgetläuft durch
- PCACHEPrompt-Cachebeantwortet
- SCACHESemantischer Cache
- RAGRAG-Pipeline
- 05LLM
Aus dem Prompt-Cache beantwortet. Das Modell wird nie aufgerufen.
Die Zeiten sind die gemessenen Mediane aus dem Token-Einsparungs-Benchmark unten. Die Zeit des semantischen Caches wurde nicht gemessen, daher wird keine angezeigt.
Neun KI-Engines, ein Server
Jede ist eine Familie von Befehlen direkt bei Ihren Daten. Öffnen Sie eine davon, um sie in einem echten Anwendungsfall zu sehen.
Warum KI auf HotKV betreiben
Derselbe multithreaded Kern, der bei jedem gemessenen Befehl vor Redis und Valkey lag, führt auch Ihr Retrieval, Ihren Speicher und Ihre Guardrails aus.
Eine Engine statt fünf Dienste
Vektorsuche, semantischer Cache, RAG, Agentenspeicher und ein Feature-Store laufen alle im selben Prozess. Keine separate Vektor-DB, kein separater Cache und kein separater Such-Cluster, die bereitgestellt, abgesichert und synchron gehalten werden müssen.
Cache-Treffer im Submillisekundenbereich
Jedes KI-Primitiv läuft auf demselben multithreaded Kern, der in unseren Benchmarks bei allen 12 Befehlen vor Redis und Valkey lag. In unserem LLM-Test kamen exakte Cache-Treffer nach etwa 0,05 ms zurück, gegenüber 1,4 bis 2,9 s für einen Modellaufruf.
Kostenkontrolle in der Datenschicht
Semantisches Caching und Prompt-Caching senken die Zahl der LLM-Aufrufe, die Embedding-Deduplizierung senkt die Zahl der Embedding-Aufrufe, und Budgets pro Key begrenzen die Ausgaben, bevor sie entstehen. Die Einsparungen sind gemessen, nicht geschätzt.
Mandantenfähig von Grund auf
Namespaces halten die Vektoren, den Speicher und die Budgets jedes Mandanten getrennt, und der Scale-Plan ergänzt ein Mandantenregister und ein Audit-Log für gemeinsam genutzte KI-Infrastruktur über Teams und Kunden hinweg.
Zahlen Sie für weniger Token
Wir haben dieselben 3.000 Kundensupport-Fragen zweimal an vier aktuelle Claude-Modelle gesendet: einmal direkt an das Modell, einmal mit HotKV davor.
Pro Modell verarbeitete Token
Was das im großen Maßstab bedeutet
- Anthropic claude-fable-5-1: 303.100 $ pro Monat ohne HotKV, 91.800 $ mit HotKV, etwa 211.300 $ pro Monat gespart.
- Anthropic claude-opus-5-5: 146.000 $ pro Monat ohne HotKV, 45.000 $ mit HotKV, etwa 101.000 $ pro Monat gespart.
- Anthropic claude-sonnet-5-5: 55.100 $ pro Monat ohne HotKV, 16.600 $ mit HotKV, etwa 38.500 $ pro Monat gespart.
- Anthropic claude-haiku-5-5: 2.700 $ pro Monat ohne HotKV, 800 $ mit HotKV, etwa 1.900 $ pro Monat gespart.
Bei 1 Million Anfragen pro Tag, hochgerechnet aus den gemessenen Kosten pro Anfrage und unter der Annahme desselben Traffic-Musters. Die vier Claude-Modelle liefen mit kurzen Antworten, Fable 5.1 und Opus 5.5 mit ihrem niedrigsten Reasoning-Aufwand, sodass längere oder Reasoning-lastige Antworten jeden vermiedenen Aufruf wertvoller machen würden.
Alle ZahlenToken, Kosten, Antwortqualität und der Zielkonflikt beim Ähnlichkeits-SchwellenwertAnzeigenAusblenden
Wir haben Claude Fable 5.1, Opus 5.5, Sonnet 5.5 und Haiku 5.5 jeweils mit denselben 3.000 Anfragen getestet, mit und ohne HotKV. Das Prompt-Caching des jeweiligen Anbieters war in jedem Lauf eingeschaltet, und Token und Kosten werden der Nutzungsangabe (usage) jeder Antwort entnommen, Thinking-Token eingeschlossen.
| Modell | Eingesparte Token | Kosten ohne | Kosten mit | Geringer um | Modellaufrufe | Mediane Antwortzeit |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 $ | 9,18 $ | 70 % | von 3.000 auf 896 | von 2,7 s auf 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 $ | 4,50 $ | 69 % | von 3.000 auf 898 | von 2,9 s auf 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 $ | 1,66 $ | 70 % | von 3.000 auf 897 | von 1,8 s auf 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 $ | 0,08 $ | 70 % | von 3.000 auf 897 | von 1,4 s auf 125 ms |
Wie gut sind die zwischengespeicherten Antworten?
Für jede aus dem Cache bediente umformulierte Frage hat ein anderes Modell die zwischengespeicherte Antwort mit der frischen Antwort verglichen, die dasselbe Modell auf genau diese Frage gegeben hat, in zufälliger Reihenfolge. Kein Modell hat seine eigene Ausgabe bewertet. Hier urteilt ein Sprachmodell, keine menschliche Prüfung, und dessen Strenge unterscheidet sich zwischen den Modellen. Vergleichen Sie daher zwischengespeicherte und frische Antworten nur innerhalb eines Modells.
| Modell | Bewertete umformulierte Fragen | Gecachte Antwort passt | Frische Antwort passt |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Der Ähnlichkeits-Schwellenwert wägt Einsparungen gegen Antwortqualität ab
Jede Zeile ist ein separater Lauf von Claude Sonnet 5.5 mit denselben 3.000 Anfragen (Kosten ohne HotKV: 5,51 $).
| Schwellenwert | Kosten | Geringer um | Gecachte Antwort passt | Frische Antwort passt |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 $ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 $ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 $ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 $ | 60 % | 92,0 % | 90,0 % |
Was diese Zahlen zeigen und was nicht
- Beim Schwellenwert von 0,81, der für die obigen Ergebnisse verwendet wurde, passt eine zwischengespeicherte Antwort um 6 bis 11 Prozentpunkte seltener zur exakt gestellten Frage als eine frische Antwort. Umformulierte Fragen machen etwa 31 % der Anfragen aus, über alle Antworten hinweg sind das also grob 2 bis 3 Punkte. In den Schwellenwert-Läufen waren zwischengespeicherte Antworten ab 0,88 nicht schlechter als frische und sparten dabei weiterhin 61 % bis 64 % der Kosten.
- Die obige Angabe zum „gleichen Intent“ bedeutet nicht „gleiche richtige Antwort“. In einem Test mit 119 absichtlich sehr ähnlichen Fragenpaaren, bei denen ein einzelnes Detail wie Einzahlen versus Abheben die richtige Antwort ändert, würde bei einem Schwellenwert von 0,81 für 62 % der veränderten Fragen die zwischengespeicherte Antwort ausgeliefert, bei 0,90 für 25 % und bei 0,95 für 10 %. Diese Paare sind bewusst schwierig gebaut und zeigen den schlimmsten Fall, nicht, wie oft er im realen Traffic auftritt. Wenn falsche Antworten in Ihrem Anwendungsfall teuer sind, erhöhen Sie den Schwellenwert.
- Ein öffentlicher Datensatz kurzer Banking-Fragen, ein Embedding-Modell und ein automatisierter Bewerter. Der Effekt des Schwellenwerts wurde an einem Modell gemessen. Die anderen drei wurden nur bei 0,81 ausgeführt. Ihre Wiederholungsrate und Ihre Fragen werden andere Zahlen ergeben.
3.000 Kundensupport-Fragen, mit festem Seed aus dem Test-Split von Banking77 gezogen (die Beliebtheit der Intents folgt einer Zipf-Verteilung, s=1,0; innerhalb jedes Intents werden Fragen gleichverteilt gezogen, mit Wiederholungen). Jede Frage wurde mit denselben Support-Richtlinien als Systemprompt an das Modell gesendet. Baseline: Jede Anfrage ruft das Modell auf, wobei das Prompt-Caching des jeweiligen Anbieters eingeschaltet ist. HotKV: Lookup auf exakte Übereinstimmung (GET auf einen SHA-256-Schlüssel der normalisierten Frage), dann ein semantischer Lookup (SCACHE.GET mit einem Embedding der Frage); das Modell wird nur bei einem Cache-Miss aufgerufen. Die Token-Zahlen stammen aus dem usage-Block jeder API-Antwort; die Kosten basieren auf Listenpreisen und schließen die Embedding-Aufrufe ein. Der Ähnlichkeits-Schwellenwert wurde auf dem separaten Banking77-Train-Split als der niedrigste Wert gewählt, der bei semantischen Treffern mindestens 98 % Precision für denselben Intent liefert.
Embedding-Modell: OpenAI text-embedding-3-small. Schwellenwert für die semantische Übereinstimmung: 0,81. Datensatz: Banking77 (Test-Split) von PolyAI, lizenziert unter CC BY 4.0. 3.000 Anfragen über 77 Intents.
Gemessen am 11. Oktober 2026. Die Einsparungen hängen davon ab, wie oft sich Ihr Traffic wiederholt. Ein Workload ohne wiederholte oder ähnliche Fragen spart nichts.
KI-Funktionen ausliefern, nicht Infrastruktur
Der KI-Befehlssatz ist in jeder Performance- und Scale-Instanz auf HotKV Cloud enthalten. Fordern Sie frühen Zugang an und beginnen Sie mit dem Aufbau von Retrieval, Speicher und Kostenkontrollen.