Pensato per lo stack IA
La maggior parte dei team aggiunge alla propria app LLM un database vettoriale, una cache, un motore di ricerca e un mucchio di codice di collegamento. HotKV integra queste primitive in un unico motore in memoria, così retrieval, memoria e controllo dei costi girano accanto ai tuoi dati.
Scegli una domanda. Guarda dove riceve risposta e quanta parte dello stack non deve mai toccare.
- 00Domandapassa
- LLMBUDGETBudget LLMpassa
- PCACHECache dei promptrisposta
- SCACHECache semantica
- RAGPipeline RAG
- 05LLM
Risposta dalla cache dei prompt. Il modello non viene mai chiamato.
I tempi sono le mediane misurate nel benchmark sul risparmio di token più sotto. Il tempo della cache semantica non è stato misurato, quindi non ne viene mostrato nessuno.
Nove motori di IA, un solo server
Ognuno è una famiglia di comandi accanto ai tuoi dati. Aprine uno qualsiasi per vederlo in un caso d'uso reale.
Perché eseguire l'IA su HotKV
Lo stesso core multithread che è stato in testa rispetto a Redis e Valkey su ogni comando sottoposto a benchmark esegue anche retrieval, memoria e guardrail.
Un solo motore, non cinque servizi
Ricerca vettoriale, cache semantica, RAG, memoria degli agenti e feature store vivono tutti nello stesso processo. Nessun database vettoriale, cache e cluster di ricerca separati da distribuire, proteggere e mantenere sincronizzati.
Cache hit sotto il millisecondo
Ogni primitiva di IA gira sullo stesso core multithread che è stato in testa rispetto a Redis e Valkey su tutti e 12 i comandi nei nostri benchmark. Nel nostro test LLM, le cache hit esatte sono tornate in circa 0,05 ms, contro da 1,4 a 2,9 s di una chiamata al modello.
Controllo dei costi nel livello dati
La cache semantica e quella dei prompt riducono le chiamate agli LLM, la deduplica degli embedding riduce le chiamate di embedding e i budget per chiave limitano la spesa prima che avvenga. I risparmi sono misurati, non stimati.
Multi-tenant per progettazione
I namespace tengono separati vettori, memoria e budget di ogni tenant, e il piano Scale aggiunge un registro dei tenant e un audit log per un'infrastruttura di IA condivisa tra team e clienti.
Paga meno token
Abbiamo inviato le stesse 3000 domande di assistenza clienti a quattro modelli Claude attuali, due volte: una direttamente al modello, una con HotKV davanti.
Token elaborati per modello
Cosa significa su larga scala
- Anthropic claude-fable-5-1: 303.100 $ al mese senza HotKV, 91.800 $ con HotKV, circa 211.300 $ risparmiati ogni mese.
- Anthropic claude-opus-5-5: 146.000 $ al mese senza HotKV, 45.000 $ con HotKV, circa 101.000 $ risparmiati ogni mese.
- Anthropic claude-sonnet-5-5: 55.100 $ al mese senza HotKV, 16.600 $ con HotKV, circa 38.500 $ risparmiati ogni mese.
- Anthropic claude-haiku-5-5: 2700 $ al mese senza HotKV, 800 $ con HotKV, circa 1900 $ risparmiati ogni mese.
A 1 milione di richieste al giorno, estrapolato dal costo misurato per richiesta e ipotizzando lo stesso andamento del traffico. I quattro modelli Claude sono stati eseguiti con risposte brevi e, per Fable 5.1 e Opus 5.5, con il livello più basso di sforzo di ragionamento, quindi risposte più lunghe o basate su molto ragionamento renderebbero più prezioso ogni chiamata evitata.
Tutti i numeriToken, costo, qualità delle risposte e compromesso sulla soglia di similaritàMostraNascondi
Abbiamo eseguito Claude Fable 5.1, Opus 5.5, Sonnet 5.5 e Haiku 5.5 sulle stesse 3000 richieste ciascuno, con e senza HotKV. Il prompt caching del provider era attivo in ogni esecuzione, e token e costi sono ricavati dall'utilizzo riportato in ciascuna risposta, inclusi i token di thinking.
| Modello | Token risparmiati | Costo senza | Costo con | Ridotto di | Chiamate al modello | Risposta mediana |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | 30,31 $ | 9,18 $ | 70% | da 3000 a 896 | da 2,7 s a 127 ms |
| Claude Opus 5.5 | 70% | 14,60 $ | 4,50 $ | 69% | da 3000 a 898 | da 2,9 s a 126 ms |
| Claude Sonnet 5.5 | 70% | 5,51 $ | 1,66 $ | 70% | da 3000 a 897 | da 1,8 s a 128 ms |
| Claude Haiku 5.5 | 70% | 0,27 $ | 0,08 $ | 70% | da 3000 a 897 | da 1,4 s a 125 ms |
Quanto sono buone le risposte in cache?
Per ogni domanda riformulata servita dalla cache, un modello diverso ha confrontato la risposta in cache con la risposta nuova che lo stesso modello aveva dato a quella domanda esatta, in ordine casuale. Nessun modello ha valutato il proprio output. A giudicare è un modello linguistico, non una revisione umana, e il suo rigore varia da modello a modello, quindi confronta risposte in cache e risposte nuove solo all'interno dello stesso modello.
| Modello | Domande riformulate valutate | Risposta in cache adeguata | Risposta nuova adeguata |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
La soglia di similarità bilancia risparmio e qualità delle risposte
Ogni riga è un'esecuzione separata di Claude Sonnet 5.5 sulle stesse 3000 richieste (costo senza HotKV: 5,51 $).
| Soglia | Costo | Ridotto di | Risposta in cache adeguata | Risposta nuova adeguata |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70% | 77,9% | 86,1% |
| 0,85 | 1,88 $ | 66% | 80,3% | 85,6% |
| 0,88 | 1,99 $ | 64% | 89,5% | 83,8% |
| 0,90 | 2,13 $ | 61% | 87,9% | 86,5% |
| 0,95 | 2,22 $ | 60% | 92,0% | 90,0% |
Cosa mostrano e cosa non mostrano questi numeri
- Alla soglia 0,81 usata per i risultati sopra, una risposta in cache è adeguata alla domanda esatta con una frequenza inferiore, tra 6 e 11 punti percentuali, rispetto a una risposta nuova. Quota delle domande riformulate sul totale delle richieste: circa 31%, quindi su tutte le risposte lo scarto va da circa 2 a 3 punti. Nelle esecuzioni sulle soglie, le risposte in cache da 0,88 in su non erano peggiori di quelle nuove, pur facendo risparmiare tra 61% e 64% sui costi.
- La cifra «stesso intent» qui sopra non significa «stessa risposta corretta». In un test su 119 coppie di domande volutamente molto vicine, in cui un solo dettaglio, come deposito contro prelievo, cambia la risposta corretta, la risposta in cache verrebbe servita per questa quota di domande modificate: 62% a 0,81, 25% a 0,90 e 10% a 0,95. Queste coppie sono costruite per essere difficili e mostrano il caso peggiore, non la frequenza con cui accade nel traffico reale. Se le risposte sbagliate sono costose per il tuo caso d'uso, alza la soglia.
- Un solo dataset pubblico di brevi domande bancarie, un solo modello di embedding e un giudice automatico. L'effetto della soglia è stato misurato su un solo modello. Gli altri tre sono stati eseguiti solo a 0,81. Il tuo tasso di ripetizione e le tue domande daranno numeri diversi.
3.000 domande di assistenza clienti estratte dallo split di test di Banking77 con un seed fisso (la popolarità degli intent segue una distribuzione di Zipf, s=1,0; le domande sono campionate in modo uniforme all'interno di ciascun intent, con ripetizioni). Ogni domanda è stata inviata al modello con la stessa policy di supporto come prompt di sistema. Baseline: ogni richiesta chiama il modello, con il prompt caching del provider attivo. HotKV: ricerca a corrispondenza esatta (GET su una chiave SHA-256 della domanda normalizzata), poi ricerca semantica (SCACHE.GET con un embedding della domanda), e il modello viene chiamato solo in caso di miss. I conteggi dei token sono ricavati dal blocco usage di ogni risposta API; i costi usano i prezzi di listino e includono le chiamate di embedding. La soglia di similarità è stata scelta sullo split di train separato di Banking77 come il valore più basso che dà almeno il 98% di precisione sullo stesso intent nelle corrispondenze semantiche.
Modello di embedding: OpenAI text-embedding-3-small. Soglia di corrispondenza semantica: 0,81. Dataset: Banking77 (split di test) di PolyAI, con licenza CC BY 4.0. 3000 richieste su 77 intent.
Misurato il 11 ottobre 2026. I risparmi dipendono da quanto spesso si ripete il tuo traffico. Un workload senza domande ripetute o simili non fa risparmiare nulla.
Rilascia funzionalità di IA, non infrastruttura
Il set di comandi IA è incluso in ogni istanza Performance e Scale su HotKV Cloud. Richiedi l'accesso anticipato per iniziare a costruire retrieval, memoria e controlli dei costi.