Sänk din LLM-tokenkostnad och besvara upprepade AI-förfrågningar från cachen på under en millisekund med ett flertrådat, Redis-kompatibelt lager.
HotKV sitter framför dina LLM-anrop som en enda Redis-kompatibel motor. Den känner igen prompter som den redan har besvarat, exakt eller ungefärligt, och ger din applikation det cachade svaret i stället för ett nytt API-anrop.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Frågad förut, ord för ord: inget modellanrop cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerIllustrativt resultat (exempeldata)
Scenario: ask("How do I reset my password?") två gånger
Båda anropen returnerar: "Use the password-reset link on the sign-in page."
Första anropet: cache-miss → call_llm → svar sparat
Andra anropet: cachat svar → inget modellanropVi skickade samma 3 000 kundsupportfrågor till fyra aktuella Claude-modeller två gånger: en gång direkt till modellen och en gång med HotKV framför.
Vid 1 miljon förfrågningar om dagen, extrapolerat från den uppmätta kostnaden per förfrågan och under antagande om samma trafikmönster. De fyra Claude-modellerna kördes med korta svar och Fable 5.1 och Opus 5.5 med lägsta resonemangsinsats, så längre eller resonemangstunga svar skulle göra varje undvikt anrop mer värt.
Vi körde Claude Fable 5.1, Opus 5.5, Sonnet 5.5 och Haiku 5.5 på samma 3 000 förfrågningar var, med och utan HotKV. Leverantörens egen promptcachning var påslagen i varje körning, och tokens och kostnader hämtas från varje svars usage, tänketokens inräknade.
| Modell | Sparade tokens | Kostnad utan | Kostnad med | Lägre med | Modellanrop | Mediansvar |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3 000 till 896 | 2,7 s till 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3 000 till 898 | 2,9 s till 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3 000 till 897 | 1,8 s till 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3 000 till 897 | 1,4 s till 125 ms |
För varje omformulerad fråga som serverades från cachen jämförde en annan modell det cachade svaret med det nya svar som samma modell gav på exakt den frågan, i slumpmässig ordning. Ingen modell bedömde sin egen utdata. Det är en språkmodell som bedömer, inte mänsklig granskning, och dess stränghet skiljer sig mellan modeller, så jämför cachat och nytt bara inom en och samma modell.
| Modell | Bedömda omformulerade frågor | Cachat svar passar | Nytt svar passar |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Varje rad är en separat körning av Claude Sonnet 5.5 på samma 3 000 förfrågningar (kostnad utan HotKV: $5,51).
| Tröskel | Kostnad | Lägre med | Cachat svar passar | Nytt svar passar |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3 000 kundsupportfrågor hämtade ur testdelen av Banking77 med ett fast slumpfrö (avsikternas popularitet följer en Zipf-fördelning, s=1,0; frågor dras likformigt inom varje avsikt, med upprepningar). Varje fråga skickades till modellen med samma supportpolicy som systemprompt. Baslinje: varje förfrågan anropar modellen, med leverantörens egen promptcachning aktiverad. HotKV: uppslag med exakt matchning (GET på en SHA-256-nyckel av den normaliserade frågan), därefter ett semantiskt uppslag (SCACHE.GET med en embedding av frågan), och modellen anropas bara vid miss. Tokenantal hämtas från usage-blocket i varje API-svar; kostnaderna använder listpriser och inkluderar embedding-anropen. Likhetströskeln valdes på den separata träningsdelen av Banking77 som det lägsta värde som ger minst 98% precision för samma avsikt på semantiska träffar.
Embedding-modell: OpenAI text-embedding-3-small. Tröskel för semantisk matchning: 0,81. Datamängd: Banking77 (testdelen) av PolyAI, licensierad som CC BY 4.0. 3 000 förfrågningar över 77 avsikter.
Mätt 11 oktober 2026. Besparingarna beror på hur ofta din trafik upprepar sig. En arbetslast utan upprepade eller liknande frågor sparar ingenting.
Vi läste in samma OpenAI-embeddings i HotKV och Redis 8 och körde samma 1 000 frågor mot var och en, med 1 till 100 samtidiga klientanslutningar, på en maskin. Båda höll vektorer i full precision, med samma indexinställningar.
Båda motorerna lagrade float32-vektorer i full precision. Efter inläsning av 999 000 vektorer höll HotKV-processen 6,77 GB och Redis 7,01 GB.
Inte mätt: Redis standardläge med 8-bitars kvantisering, Redis Query Engine, andra datamängder och annan hårdvara. HotKV-bygget är ett utvecklingsbygge som inte har släppts. Redis lästes in fastnålat till fyra vCPU:er och söktes på ett omladdat index (se artikeln).
| ef | HotKV recall | Redis recall | HotKV frågor/s | Redis frågor/s | Kvot |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8 061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6 825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5 241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3 454 | 3,6x |
| 500 | 0,997 | 0,994 | 7 688 | 2 483 | 3,1x |
HotKV-bygge c8dafd37 och Redis 8.10.2, likhet med cosinus, HNSW med M=16 och ef_construction=200 på båda, float32 på båda (Redis NOQUANT). Recall är recall@10 mot exakta brute force-resultat. Median av 3 körningar på Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Servrarna delade på 128 vCPU:er och lastgeneratorerna kördes på 32 andra, med samma klientkod för båda.
Datamängd: dbpedia-entities-openai-1M-embeddings (OpenAI text-embedding-ada-002, 1 536 dimensioner) av Kumar Shivendu and Nirant Kasliwal, licensierad som MIT, plus 1 000 undantagna frågor. Fullständig metod, skript och råa resultat. Mätt 14 oktober 2026.
HotKV är kommersiell programvara. Låt oss driva det åt dig, eller kör det själv på infrastruktur du kontrollerar.
En helt hanterad HotKV-instans, driven och underhållen av oss på Google Cloud i 42 regioner. Öppnar i omgångar. Begär tidig åtkomst.
Kör HotKV på dina egna servrar eller ditt eget molnkonto, med en licensfil och full kontroll över dataplacering och nätverksåtkomst.
Tolv officiella klientbibliotek. HotKV talar också RESP2 och RESP3, så dina befintliga Redis-klienter och verktyg ansluter utan andra ändringar än värdnamnet.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}från GitHub (hotkv-perl-client)libhotkv (CMake, GitHub-release)hotkv-cpp (CMake, GitHub-release)SDK:erna för Python och Node.js levereras med integrationer på en rad för de ramverk som teamen redan bygger med. Separata open source-verktyg täcker LangGraph, MCP och OpenAI-kompatibla API:er.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Innehåller också HotKVCache för cache med exakt matchning, plus HotKVVectorStore och HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Innehåller också HotKVKVStore och HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
LiteLLM:s inbyggda Redis-cache fungerar redan med HotKV oförändrad. Använd den här integrationen när du också vill ha semantisk cache.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Ingår i npm-paketet @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Ingår i npm-paketet @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
En checkpointer för grafens tillstånd och ett långtidsminne med semantisk sökning. Kräver ingen HotKV-licens.
Läs dokumentationenpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Låter Claude, Cursor och andra assistenter använda nycklar, agentminne, prompter och dokumentsökning. Skrivskyddat läge och namnrymder håller agenterna inom ramarna.
Läs dokumentationengo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
En proxy att byta in som cachar anrop till OpenAI-kompatibla API:er och Anthropic API, strömning inräknad. Byt en URL, ingen kod.
Läs dokumentationenLäs om vad som gör HotKV snabbt, var det passar och hur du kommer igång.
Flertrådat från första dagen. Genomströmning som växer med ditt antal kärnor, inte emot det.
Läs merSemantisk cache, RAG, agentminne och LLM-kostnadskontroller inbyggda i motorn.
Läs merCache, sessioner, köer, topplistor. Samma arbetslaster som Redis, med högre genomströmning.
Läs merNyckeltaggning, TTL i nanosekunder, vektorsökning och inbyggda mått, en del av kärnmotorn.
Läs merEn flertrådad motor där varje kärna läser, tolkar och kör kommandon parallellt.
Läs merPlanerna Starter, Performance och Scale på HotKV Cloud, med inkluderad trafik och utan årsbindning.
Läs mer