Gebouwd voor de AI-stack
De meeste teams plakken een vectordatabase, een cache, een zoekmachine en een berg lijmcode aan hun LLM-app. HotKV bouwt die bouwstenen in één in-memory engine, zodat retrieval, geheugen en kostenbeheersing naast je data draaien.
Kies een vraag. Zie waar ze wordt beantwoord en hoeveel van de stack ze nooit hoeft aan te raken.
- 00Vraaggaat door
- LLMBUDGETLLM-budgetgaat door
- PCACHEPromptcachebeantwoord
- SCACHESemantische cache
- RAGRAG-pipeline
- 05LLM
Beantwoord vanuit de promptcache. Het model wordt nooit aangeroepen.
De tijden zijn de gemeten medianen uit de tokenbesparingsbenchmark hieronder. De tijd van de semantische cache is niet gemeten, dus er wordt er geen getoond.
Negen AI-engines, één server
Elk daarvan is een familie van commando's naast je data. Open er één om het in een echte use case te zien.
Waarom AI op HotKV draaien
Dezelfde multithreaded kern die Redis en Valkey op elk benchmarked commando versloeg, draait ook je retrieval, geheugen en vangrails.
Eén engine, geen vijf services
Vectorzoeken, semantische cache, RAG, agentgeheugen en een feature store leven allemaal in hetzelfde proces. Geen aparte vectordatabase, cache en zoekcluster om uit te rollen, te beveiligen en synchroon te houden.
Cachehits onder de milliseconde
Elke AI-bouwsteen draait op dezelfde multithreaded kern die Redis en Valkey versloeg op alle 12 commando's in onze benchmarks. In onze LLM-test kwamen exacte cachehits terug in ongeveer 0,05 ms, tegen 1,4 tot 2,9 s voor een modelaanroep.
Kostenbeheersing in de datalaag
Semantische cache en promptcache verminderen LLM-aanroepen, embedding-deduplicatie vermindert embedding-aanroepen en budgetten per sleutel begrenzen de uitgaven voordat ze plaatsvinden. De besparingen zijn gemeten, niet geschat.
Multi-tenant door ontwerp
Namespaces houden de vectoren, het geheugen en de budgetten van elke tenant gescheiden, en het Scale-plan voegt een tenantregister en een auditlog toe voor gedeelde AI-infrastructuur voor teams en klanten.
Betaal voor minder tokens
We stuurden dezelfde 3.000 klantenservicevragen twee keer naar vier actuele Claude-modellen: één keer rechtstreeks naar het model, één keer met HotKV ervoor.
Verwerkte tokens per model
Wat dit op schaal betekent
- Anthropic claude-fable-5-1: $303.100 per maand zonder HotKV, $91.800 ermee, ongeveer $211.300 bespaard per maand.
- Anthropic claude-opus-5-5: $146.000 per maand zonder HotKV, $45.000 ermee, ongeveer $101.000 bespaard per maand.
- Anthropic claude-sonnet-5-5: $55.100 per maand zonder HotKV, $16.600 ermee, ongeveer $38.500 bespaard per maand.
- Anthropic claude-haiku-5-5: $2.700 per maand zonder HotKV, $800 ermee, ongeveer $1.900 bespaard per maand.
Bij 1 miljoen verzoeken per dag, geëxtrapoleerd uit de gemeten kosten per verzoek en uitgaande van hetzelfde verkeerspatroon. De vier Claude-modellen draaiden met korte antwoorden en Fable 5.1 en Opus 5.5 op hun laagste redeneerinspanning, dus langere of redeneerintensieve antwoorden maken elke vermeden aanroep meer waard.
Alle cijfersTokens, kosten, antwoordkwaliteit en de afweging bij de gelijkenisdrempelTonenVerbergen
We lieten Claude Fable 5.1, Opus 5.5, Sonnet 5.5 en Haiku 5.5 elk dezelfde 3.000 verzoeken draaien, met en zonder HotKV. De eigen prompt-caching van de provider stond in elke run aan, en tokens en kosten komen uit het gebruik (usage) van elk antwoord, inclusief denktokens.
| Model | Bespaarde tokens | Kosten zonder | Kosten met | Lager met | Modelaanroepen | Mediane respons |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 tot 896 | 2,7 s tot 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 tot 898 | 2,9 s tot 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 tot 897 | 1,8 s tot 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 tot 897 | 1,4 s tot 125 ms |
Hoe goed zijn de gecachete antwoorden?
Voor elke herformuleerde vraag die uit de cache werd bediend, vergeleek een ander model het gecachete antwoord met het verse antwoord dat hetzelfde model op precies die vraag gaf, in willekeurige volgorde. Geen enkel model beoordeelde zijn eigen uitvoer. Dit is een taalmodel dat beoordeelt, geen menselijke beoordeling, en de strengheid verschilt per model, dus vergelijk gecachet met vers alleen binnen één model.
| Model | Beoordeelde herformuleerde vragen | Gecachet antwoord past | Vers antwoord past |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
De gelijkenisdrempel weegt besparing af tegen antwoordkwaliteit
Elke rij is een aparte run van Claude Sonnet 5.5 op dezelfde 3.000 verzoeken (kosten zonder HotKV: $5,51).
| Drempel | Kosten | Lager met | Gecachet antwoord past | Vers antwoord past |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Wat deze cijfers wel en niet laten zien
- Bij de drempel van 0,81 die voor de bovenstaande resultaten is gebruikt, past een gecachet antwoord 6 tot 11 procentpunten minder vaak bij de exacte vraag dan een vers antwoord. Herformuleerde vragen zijn ongeveer 31% van de verzoeken, dus over alle antwoorden is dat grofweg 2 tot 3 punten. In de drempelruns waren gecachete antwoorden vanaf 0,88 niet slechter dan verse, terwijl ze nog steeds 61% tot 64% van de kosten bespaarden.
- Het cijfer "dezelfde intentie" hierboven betekent niet "hetzelfde juiste antwoord". In een test met 119 bewust dicht bij elkaar liggende vraagparen, waarbij één detail zoals storten versus opnemen het juiste antwoord verandert, zou 62% van de gewijzigde vragen bij 0,81 het gecachete antwoord krijgen, 25% bij 0,90 en 10% bij 0,95. Deze paren zijn gemaakt om lastig te zijn en tonen het slechtste geval, niet hoe vaak het in echt verkeer voorkomt. Als foute antwoorden voor jouw use case duur zijn, verhoog dan de drempel.
- Eén openbare dataset van korte bankvragen, één embeddingmodel en een geautomatiseerde beoordelaar. Het drempeleffect is op één model gemeten. De andere drie draaiden alleen bij 0,81. Jouw herhalingspercentage en vragen geven andere cijfers.
3.000 klantenservicevragen getrokken uit de testsplit van Banking77 met een vaste seed (de populariteit van intenties volgt een Zipf-verdeling, s=1,0; vragen worden uniform gesampled binnen elke intentie, met herhalingen). Elke vraag werd naar het model gestuurd met hetzelfde supportbeleid als systeemprompt. Basislijn: elk verzoek roept het model aan, met de eigen prompt-caching van de provider ingeschakeld. HotKV: opzoeking met exacte match (GET op een SHA-256-sleutel van de genormaliseerde vraag), daarna een semantische opzoeking (SCACHE.GET met een embedding van de vraag), en het model wordt alleen aangeroepen bij een miss. Tokenaantallen komen uit het usage-blok van elk API-antwoord; de kosten gebruiken lijstprijzen en omvatten de embedding-aanroepen. De gelijkenisdrempel is gekozen op de aparte trainsplit van Banking77 als de laagste waarde die minstens 98% precisie qua dezelfde intentie geeft op semantische hits.
Embeddingmodel: OpenAI text-embedding-3-small. Drempel voor semantische match: 0,81. Dataset: Banking77 (testsplit) van PolyAI, gelicentieerd onder CC BY 4.0. 3.000 verzoeken over 77 intenties.
Gemeten op 11 oktober 2026. De besparingen hangen af van hoe vaak je verkeer zichzelf herhaalt. Een workload zonder herhaalde of vergelijkbare vragen bespaart niets.
Lever AI-functies, geen infrastructuur
De AI-commandoset wordt meegeleverd met elke Performance- en Scale-instantie op HotKV Cloud. Vraag early access aan om te beginnen met retrieval, geheugen en kostenbeheersing.