Byggd för AI-stacken
De flesta team skruvar fast en vektordatabas, en cache, en sökmotor och en hög med limkod på sin LLM-app. HotKV bygger in de byggstenarna i en enda minnesmotor, så att hämtning, minne och kostnadskontroll körs bredvid din data.
Välj en fråga. Se var den besvaras och hur stor del av stacken den slipper röra.
- 00Frågapasserar
- LLMBUDGETLLM-budgetpasserar
- PCACHEPromptcachebesvarad
- SCACHESemantisk cache
- RAGRAG-pipeline
- 05LLM
Besvaras från promptcachen. Modellen anropas aldrig.
Tiderna är de uppmätta medianerna från benchmarken för tokenbesparingar nedan. Tiden för den semantiska cachen mättes inte, så ingen visas.
Nio AI-motorer, en server
Var och en är en familj av kommandon bredvid din data. Öppna någon av dem för att se den i ett verkligt användningsfall.
Därför ska du köra AI på HotKV
Samma flertrådade kärna som låg före Redis och Valkey på varje kommando vi benchmarkade driver också din hämtning, ditt minne och dina skyddsräcken.
En motor, inte fem tjänster
Vektorsökning, semantisk cache, RAG, agentminne och en feature store ryms i samma process. Inget separat kluster för vektordatabas, cache och sökning att driftsätta, säkra och hålla synkat.
Cacheträffar under en millisekund
Varje AI-byggsten körs på samma flertrådade kärna som låg före Redis och Valkey på alla 12 kommandon i våra benchmarks. I vårt LLM-test kom exakta cacheträffar tillbaka på cirka 0,05 ms, mot 1,4 till 2,9 s för ett modellanrop.
Kostnadskontroll i datalagret
Semantisk cache och promptcache minskar antalet LLM-anrop, embedding-deduplicering minskar antalet embedding-anrop, och budgetar per nyckel sätter tak för utgifterna innan de uppstår. Besparingarna är uppmätta, inte uppskattade.
Multi-tenant från grunden
Namnrymder håller varje tenants vektorer, minne och budgetar åtskilda, och Scale-planen lägger till ett tenantregister och en granskningslogg för delad AI-infrastruktur över team och kunder.
Betala för färre tokens
Vi skickade samma 3 000 kundsupportfrågor till fyra aktuella Claude-modeller två gånger: en gång direkt till modellen och en gång med HotKV framför.
Bearbetade tokens per modell
Vad det betyder i stor skala
- Anthropic claude-fable-5-1: $303 100 i månaden utan HotKV, $91 800 med det, cirka $211 300 sparat varje månad.
- Anthropic claude-opus-5-5: $146 000 i månaden utan HotKV, $45 000 med det, cirka $101 000 sparat varje månad.
- Anthropic claude-sonnet-5-5: $55 100 i månaden utan HotKV, $16 600 med det, cirka $38 500 sparat varje månad.
- Anthropic claude-haiku-5-5: $2 700 i månaden utan HotKV, $800 med det, cirka $1 900 sparat varje månad.
Vid 1 miljon förfrågningar om dagen, extrapolerat från den uppmätta kostnaden per förfrågan och under antagande om samma trafikmönster. De fyra Claude-modellerna kördes med korta svar och Fable 5.1 och Opus 5.5 med lägsta resonemangsinsats, så längre eller resonemangstunga svar skulle göra varje undvikt anrop mer värt.
Alla siffrorTokens, kostnad, svarskvalitet och avvägningen kring likhetströskelnVisaDölj
Vi körde Claude Fable 5.1, Opus 5.5, Sonnet 5.5 och Haiku 5.5 på samma 3 000 förfrågningar var, med och utan HotKV. Leverantörens egen promptcachning var påslagen i varje körning, och tokens och kostnader hämtas från varje svars usage, tänketokens inräknade.
| Modell | Sparade tokens | Kostnad utan | Kostnad med | Lägre med | Modellanrop | Mediansvar |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3 000 till 896 | 2,7 s till 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3 000 till 898 | 2,9 s till 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3 000 till 897 | 1,8 s till 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3 000 till 897 | 1,4 s till 125 ms |
Hur bra är de cachade svaren?
För varje omformulerad fråga som serverades från cachen jämförde en annan modell det cachade svaret med det nya svar som samma modell gav på exakt den frågan, i slumpmässig ordning. Ingen modell bedömde sin egen utdata. Det är en språkmodell som bedömer, inte mänsklig granskning, och dess stränghet skiljer sig mellan modeller, så jämför cachat och nytt bara inom en och samma modell.
| Modell | Bedömda omformulerade frågor | Cachat svar passar | Nytt svar passar |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Likhetströskeln väger besparingar mot svarskvalitet
Varje rad är en separat körning av Claude Sonnet 5.5 på samma 3 000 förfrågningar (kostnad utan HotKV: $5,51).
| Tröskel | Kostnad | Lägre med | Cachat svar passar | Nytt svar passar |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Vad siffrorna visar och inte visar
- Vid tröskeln 0,81, som används för resultaten ovan, passar ett cachat svar den exakta frågan 6 till 11 procentenheter mer sällan än ett nytt. Omformulerade frågor utgör cirka 31% av förfrågningarna, så över alla svar blir det ungefär 2 till 3 enheter. I tröskelkörningarna var cachade svar från 0,88 och uppåt inte sämre än nya, samtidigt som de sparade 61% till 64% av kostnaden.
- Siffran för ”samma avsikt” ovan betyder inte ”samma korrekta svar”. I ett test med 119 avsiktligt närliggande frågepar, där en detalj som insättning mot uttag ändrar det korrekta svaret, skulle 62% av de ändrade frågorna få det cachade svaret vid 0,81, 25% vid 0,90 och 10% vid 0,95. Paren är konstruerade för att vara svåra och visar värsta fallet, inte hur ofta det sker i verklig trafik. Om felaktiga svar är kostsamma i ditt användningsfall bör du höja tröskeln.
- En offentlig datamängd med korta bankfrågor, en embedding-modell och en automatiserad bedömare. Tröskeleffekten mättes på en modell. De andra tre kördes bara vid 0,81. Din repetitionsgrad och dina frågor ger andra siffror.
3 000 kundsupportfrågor hämtade ur testdelen av Banking77 med ett fast slumpfrö (avsikternas popularitet följer en Zipf-fördelning, s=1,0; frågor dras likformigt inom varje avsikt, med upprepningar). Varje fråga skickades till modellen med samma supportpolicy som systemprompt. Baslinje: varje förfrågan anropar modellen, med leverantörens egen promptcachning aktiverad. HotKV: uppslag med exakt matchning (GET på en SHA-256-nyckel av den normaliserade frågan), därefter ett semantiskt uppslag (SCACHE.GET med en embedding av frågan), och modellen anropas bara vid miss. Tokenantal hämtas från usage-blocket i varje API-svar; kostnaderna använder listpriser och inkluderar embedding-anropen. Likhetströskeln valdes på den separata träningsdelen av Banking77 som det lägsta värde som ger minst 98% precision för samma avsikt på semantiska träffar.
Embedding-modell: OpenAI text-embedding-3-small. Tröskel för semantisk matchning: 0,81. Datamängd: Banking77 (testdelen) av PolyAI, licensierad som CC BY 4.0. 3 000 förfrågningar över 77 avsikter.
Mätt 11 oktober 2026. Besparingarna beror på hur ofta din trafik upprepar sig. En arbetslast utan upprepade eller liknande frågor sparar ingenting.
Leverera AI-funktioner, inte infrastruktur
AI-kommandona ingår i varje Performance- och Scale-instans på HotKV Cloud. Begär tidig åtkomst för att börja bygga hämtning, minne och kostnadskontroller.