Verlaag je LLM-tokenuitgaven en beantwoord herhaalde AI-verzoeken uit de cache in minder dan een milliseconde terwijl je een multithreaded, Redis-compatibele store draait.
HotKV staat als één Redis-compatibele engine voor je LLM-aanroepen. Het herkent prompts die het al heeft beantwoord, exact of bij benadering, en geeft je applicatie het gecachete antwoord in plaats van een nieuwe API-aanroep.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Al eerder woord voor woord gevraagd: geen modelaanroep cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerIllustratief resultaat (voorbeelddata)
Scenario: ask("How do I reset my password?") twee keer
Beide aanroepen geven terug: "Use the password-reset link on the sign-in page."
Eerste aanroep: cache miss → call_llm → antwoord opgeslagen
Tweede aanroep: gecachet antwoord → geen modelaanroepWe stuurden dezelfde 3.000 klantenservicevragen twee keer naar vier actuele Claude-modellen: één keer rechtstreeks naar het model, één keer met HotKV ervoor.
Bij 1 miljoen verzoeken per dag, geëxtrapoleerd uit de gemeten kosten per verzoek en uitgaande van hetzelfde verkeerspatroon. De vier Claude-modellen draaiden met korte antwoorden en Fable 5.1 en Opus 5.5 op hun laagste redeneerinspanning, dus langere of redeneerintensieve antwoorden maken elke vermeden aanroep meer waard.
We lieten Claude Fable 5.1, Opus 5.5, Sonnet 5.5 en Haiku 5.5 elk dezelfde 3.000 verzoeken draaien, met en zonder HotKV. De eigen prompt-caching van de provider stond in elke run aan, en tokens en kosten komen uit het gebruik (usage) van elk antwoord, inclusief denktokens.
| Model | Bespaarde tokens | Kosten zonder | Kosten met | Lager met | Modelaanroepen | Mediane respons |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 tot 896 | 2,7 s tot 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 tot 898 | 2,9 s tot 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 tot 897 | 1,8 s tot 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 tot 897 | 1,4 s tot 125 ms |
Voor elke herformuleerde vraag die uit de cache werd bediend, vergeleek een ander model het gecachete antwoord met het verse antwoord dat hetzelfde model op precies die vraag gaf, in willekeurige volgorde. Geen enkel model beoordeelde zijn eigen uitvoer. Dit is een taalmodel dat beoordeelt, geen menselijke beoordeling, en de strengheid verschilt per model, dus vergelijk gecachet met vers alleen binnen één model.
| Model | Beoordeelde herformuleerde vragen | Gecachet antwoord past | Vers antwoord past |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Elke rij is een aparte run van Claude Sonnet 5.5 op dezelfde 3.000 verzoeken (kosten zonder HotKV: $5,51).
| Drempel | Kosten | Lager met | Gecachet antwoord past | Vers antwoord past |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3.000 klantenservicevragen getrokken uit de testsplit van Banking77 met een vaste seed (de populariteit van intenties volgt een Zipf-verdeling, s=1,0; vragen worden uniform gesampled binnen elke intentie, met herhalingen). Elke vraag werd naar het model gestuurd met hetzelfde supportbeleid als systeemprompt. Basislijn: elk verzoek roept het model aan, met de eigen prompt-caching van de provider ingeschakeld. HotKV: opzoeking met exacte match (GET op een SHA-256-sleutel van de genormaliseerde vraag), daarna een semantische opzoeking (SCACHE.GET met een embedding van de vraag), en het model wordt alleen aangeroepen bij een miss. Tokenaantallen komen uit het usage-blok van elk API-antwoord; de kosten gebruiken lijstprijzen en omvatten de embedding-aanroepen. De gelijkenisdrempel is gekozen op de aparte trainsplit van Banking77 als de laagste waarde die minstens 98% precisie qua dezelfde intentie geeft op semantische hits.
Embeddingmodel: OpenAI text-embedding-3-small. Drempel voor semantische match: 0,81. Dataset: Banking77 (testsplit) van PolyAI, gelicentieerd onder CC BY 4.0. 3.000 verzoeken over 77 intenties.
Gemeten op 11 oktober 2026. De besparingen hangen af van hoe vaak je verkeer zichzelf herhaalt. Een workload zonder herhaalde of vergelijkbare vragen bespaart niets.
We laadden dezelfde OpenAI-embeddings in HotKV en Redis 8 en voerden dezelfde 1.000 queries tegen elk uit, met 1 tot 100 gelijktijdige clientverbindingen, op één machine. Beide hielden vectoren met volledige precisie vast, met dezelfde indexinstellingen.
Beide engines sloegen float32-vectoren met volledige precisie op. Na het laden van 999.000 vectoren hield het HotKV-proces 6,77 GB vast en Redis 7,01 GB.
Niet gemeten: de standaard 8-bit gekwantiseerde modus van Redis, de Redis Query Engine, andere datasets en andere hardware. De HotKV-build is een ontwikkelbuild die niet is uitgebracht. Redis werd geladen vastgepind op vier vCPU's en doorzocht op een opnieuw geladen index (zie het artikel).
| ef | Recall HotKV | Recall Redis | Queries/s HotKV | Queries/s Redis | Verhouding |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
HotKV-build c8dafd37 en Redis 8.10.2, cosinus-gelijkenis, HNSW met M=16 en ef_construction=200 op beide, float32 op beide (Redis NOQUANT). Recall is recall@10 ten opzichte van exacte brute-force-resultaten. Mediaan van 3 runs op Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. De servers deelden 128 vCPU's en de loadgenerators draaiden op 32 andere, met dezelfde clientcode voor beide.
Dataset: dbpedia-entities-openai-1M-embeddings (OpenAI text-embedding-ada-002, 1.536 dimensies) van Kumar Shivendu and Nirant Kasliwal, gelicentieerd onder MIT, plus 1.000 achtergehouden queries. Volledige methode, scripts en ruwe resultaten. Gemeten op 14 oktober 2026.
HotKV is commerciële software. Laat ons het voor je draaien, of draai het zelf op infrastructuur die je beheert.
Een volledig beheerde HotKV-instantie, door ons gehost en beheerd op Google Cloud in 42 regio's. Opent in golven. Vraag early access aan.
Draai HotKV op je eigen servers of in je eigen cloudaccount, onder een licentiebestand, met volledige controle over dataresidentie en netwerktoegang.
Twaalf officiële clientbibliotheken. HotKV spreekt ook RESP2 en RESP3, dus je bestaande Redis-clients en -tools maken verbinding zonder andere wijzigingen dan de hostnaam.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}vanaf GitHub (hotkv-perl-client)libhotkv (CMake, GitHub-release)hotkv-cpp (CMake, GitHub-release)De Python- en Node.js-SDK's leveren integraties van één regel voor de frameworks waarmee teams al bouwen. Aparte open-sourcetools dekken LangGraph, MCP en OpenAI-compatibele API's.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Bevat ook HotKVCache voor caching met exacte match, plus HotKVVectorStore en HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Bevat ook HotKVKVStore en HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
De ingebouwde Redis-cache van LiteLLM werkt al ongewijzigd met HotKV. Kies voor deze integratie als je ook semantische cache wilt.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Wordt meegeleverd in het npm-pakket @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Wordt meegeleverd in het npm-pakket @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Een checkpointer voor grafstatus en een langetermijngeheugenopslag met semantisch zoeken. Vereist geen HotKV-licentie.
Lees de documentatiepip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Laat Claude, Cursor en andere assistenten sleutels, agentgeheugen, prompts en documentzoekfunctie gebruiken. Een alleen-lezenmodus en namespaces houden agents binnen de lijnen.
Lees de documentatiego install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Een drop-in proxy die OpenAI-compatibele en Anthropic API-aanroepen cachet, streaming inbegrepen. Wijzig één URL, geen code.
Lees de documentatieDuik in wat HotKV snel maakt, waar het past en hoe je begint.
Vanaf dag één multithreaded. Doorvoer die meegroeit met je aantal cores, niet ertegenin.
Meer informatieSemantische cache, RAG, agentgeheugen en LLM-kostenbeheersing, ingebouwd in de engine.
Meer informatieCaching, sessies, wachtrijen, ranglijsten. Dezelfde workloads als Redis, met hogere doorvoer.
Meer informatieKey tagging, TTL's in nanoseconden, vectorzoeken en ingebouwde metrics, onderdeel van de kernengine.
Meer informatieEen multithreaded engine waarin elke core commando's parallel leest, parseert en uitvoert.
Meer informatieDe plannen Starter, Performance en Scale op HotKV Cloud, met meegeleverd verkeer en zonder jaarlijkse binding.
Meer informatie