Construit pentru stack-ul IA
Majoritatea echipelor adaugă aplicației LLM o bază de date vectorială, un cache, un motor de căutare și o grămadă de cod de legătură. HotKV integrează aceste primitive într-un singur motor în memorie, astfel încât regăsirea, memoria și controlul costurilor rulează lângă datele dvs.
Alegeți o întrebare. Vedeți unde primește răspuns și cât din stack nu mai trebuie să atingă.
- 00Întrebaretrece
- LLMBUDGETBuget LLMtrece
- PCACHECache de prompturirăspuns dat
- SCACHECache semantic
- RAGPipeline RAG
- 05LLM
Răspuns din cache-ul de prompturi. Modelul nu este apelat deloc.
Timpii sunt medianele măsurate în benchmark-ul de economisire a tokenilor de mai jos. Timpul cache-ului semantic nu a fost măsurat, așa că nu este afișat niciunul.
Nouă motoare IA, un singur server
Fiecare este o familie de comenzi lângă datele dvs. Deschideți oricare dintre ele ca să o vedeți într-un caz de utilizare real.
De ce să rulați IA pe HotKV
Același nucleu multi-thread, care a condus în fața Redis și Valkey la fiecare comandă testată de noi, rulează și regăsirea, memoria și mecanismele de protecție.
Un singur motor, nu cinci servicii
Căutarea vectorială, cache-ul semantic, RAG, memoria pentru agenți și un feature store trăiesc în același proces. Nu mai aveți de instalat, securizat și sincronizat o bază vectorială, un cache și un cluster de căutare separate.
Succese în cache sub o milisecundă
Fiecare primitivă IA rulează pe același nucleu multi-thread care a condus în fața Redis și Valkey la toate cele 12 comenzi din benchmark-urile noastre. În testul nostru LLM, răspunsurile exacte din cache au venit în aproximativ 0,05 ms, față de 1,4 până la 2,9 s pentru un apel către model.
Controlul costurilor în stratul de date
Cache-ul semantic și cel de prompturi reduc apelurile LLM, deduplicarea reduce apelurile de embedding, iar bugetele pe cheie plafonează cheltuielile înainte să apară. Economiile sunt măsurate, nu estimate.
Multi-tenant prin design
Spațiile de nume țin separate vectorii, memoria și bugetele fiecărui tenant, iar planul Scale adaugă un registru de tenanți și un jurnal de audit pentru infrastructură IA partajată între echipe și clienți.
Plătiți pentru mai puțini tokeni
Am trimis aceleași 3.000 de întrebări de suport pentru clienți către patru modele Claude actuale, de două ori: o dată direct la model, o dată cu HotKV în față.
Tokeni procesați pe model
Ce înseamnă asta la scară mare
- Anthropic claude-fable-5-1: $303.100 pe lună fără HotKV, $91.800 cu el, aproximativ $211.300 economisiți în fiecare lună.
- Anthropic claude-opus-5-5: $146.000 pe lună fără HotKV, $45.000 cu el, aproximativ $101.000 economisiți în fiecare lună.
- Anthropic claude-sonnet-5-5: $55.100 pe lună fără HotKV, $16.600 cu el, aproximativ $38.500 economisiți în fiecare lună.
- Anthropic claude-haiku-5-5: $2.700 pe lună fără HotKV, $800 cu el, aproximativ $1.900 economisiți în fiecare lună.
La 1 milion de cereri pe zi, extrapolat din costul măsurat pe cerere și presupunând același tipar de trafic. Cele patru modele Claude au rulat cu răspunsuri scurte, iar Fable 5.1 și Opus 5.5 la cel mai redus efort de raționament, deci răspunsurile mai lungi sau cu raționament intens ar face ca fiecare apel evitat să valoreze mai mult.
Cifrele completeTokeni, cost, calitatea răspunsurilor și compromisul pragului de similaritateAfișațiAscundeți
Am rulat Claude Fable 5.1, Opus 5.5, Sonnet 5.5 și Haiku 5.5 pe aceleași 3.000 de cereri fiecare, cu și fără HotKV. Cache-ul de prompturi al furnizorului a fost activ în fiecare rulare, iar tokenii și costurile sunt luate din utilizarea raportată în fiecare răspuns, inclusiv tokenii de gândire.
| Model | Tokeni economisiți | Cost fără | Cost cu | Mai mic cu | Apeluri către model | Răspuns median |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 până la 896 | 2,7 s până la 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 până la 898 | 2,9 s până la 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 până la 897 | 1,8 s până la 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 până la 897 | 1,4 s până la 125 ms |
Cât de bune sunt răspunsurile din cache?
Pentru fiecare întrebare reformulată servită din cache, un alt model a comparat răspunsul din cache cu răspunsul nou dat de același model exact acelei întrebări, în ordine aleatorie. Niciun model nu și-a evaluat propria ieșire. Este un model de limbaj care judecă, nu o verificare umană, iar severitatea lui diferă între modele, așa că comparați răspunsul din cache cu cel nou doar în cadrul aceluiași model.
| Model | Întrebări reformulate evaluate | Răspunsul din cache se potrivește | Răspunsul nou se potrivește |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Pragul de similaritate echilibrează economiile cu calitatea răspunsurilor
Fiecare rând este o rulare separată a modelului Claude Sonnet 5.5 pe aceleași 3.000 de cereri (cost fără HotKV: $5,51).
| Prag | Cost | Mai mic cu | Răspunsul din cache se potrivește | Răspunsul nou se potrivește |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Ce arată și ce nu arată aceste cifre
- La pragul 0,81 folosit pentru rezultatele de mai sus, un răspuns din cache se potrivește întrebării exacte cu 6 până la 11 puncte procentuale mai rar decât unul nou. Întrebările reformulate reprezintă circa 31% din cereri, deci în toate răspunsurile asta înseamnă aproximativ 2 până la 3 puncte. În rulările cu praguri, răspunsurile din cache de la 0,88 în sus nu au fost mai slabe decât cele noi, economisind totuși 61% până la 64% din cost.
- Cifra „aceeași intenție” de mai sus nu înseamnă „același răspuns corect”. Într-un test cu 119 de perechi de întrebări deliberat apropiate, în care un detaliu precum depunere versus retragere schimbă răspunsul corect, 62% dintre întrebările modificate ar primi răspunsul din cache la 0,81, 25% la 0,90 și 10% la 0,95. Aceste perechi sunt construite să fie dificile și arată cazul cel mai defavorabil, nu cât de des se întâmplă în traficul real. Dacă răspunsurile greșite sunt costisitoare în cazul dvs. de utilizare, ridicați pragul.
- Un set de date public cu întrebări bancare scurte, un model de embedding și un evaluator automat. Efectul pragului a fost măsurat pe un singur model. Celelalte trei au rulat doar la 0,81. Rata dvs. de repetare și întrebările dvs. vor da cifre diferite.
3.000 de întrebări de suport pentru clienți extrase din setul de test Banking77, cu un seed fix (popularitatea intențiilor urmează o distribuție Zipf, s=1.0; întrebările sunt eșantionate uniform în cadrul fiecărei intenții, cu repetări). Fiecare întrebare a fost trimisă modelului cu aceeași politică de suport ca prompt de sistem. Referința: fiecare cerere apelează modelul, cu cache-ul de prompturi al furnizorului activat. HotKV: căutare cu potrivire exactă (GET pe o cheie SHA-256 a întrebării normalizate), apoi o căutare semantică (SCACHE.GET cu embeddingul întrebării), iar modelul este apelat doar la ratare. Numărul de tokeni este luat din blocul de utilizare al fiecărui răspuns API; costurile folosesc prețurile de listă și includ apelurile de embedding. Pragul de similaritate a fost ales pe setul separat Banking77 de antrenare, ca fiind cea mai mică valoare care dă cel puțin 98% precizie a aceleiași intenții la rezultatele semantice.
Model de embedding: OpenAI text-embedding-3-small. Prag de potrivire semantică: 0,81. Set de date: Banking77 (setul de test) de PolyAI, licențiat CC BY 4.0. 3.000 de cereri în 77 intenții.
Măsurat 11 octombrie 2026. Economiile depind de cât de des se repetă traficul dvs. O sarcină fără întrebări repetate sau similare nu economisește nimic.
Livrați funcții IA, nu infrastructură
Setul de comenzi IA vine cu fiecare instanță Performance și Scale din HotKV Cloud. Solicitați acces anticipat ca să începeți să construiți regăsire, memorie și controale de cost.