Riduci la spesa in token degli LLM e rispondi alle richieste di IA ripetute dalla cache in meno di un millisecondo mentre usi uno store multithread compatibile con Redis.
HotKV si pone davanti alle tue chiamate LLM come un unico motore compatibile con Redis. Riconosce i prompt a cui ha già risposto, in modo esatto o approssimato, e restituisce alla tua applicazione la risposta in cache invece di una nuova chiamata API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Già chiesto, parola per parola: nessuna chiamata al modello cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerRisultato illustrativo (dati di esempio)
Scenario: ask("How do I reset my password?") due volte
Entrambe le chiamate restituiscono: "Use the password-reset link on the sign-in page."
Prima chiamata: cache miss → call_llm → risposta salvata
Seconda chiamata: risposta dalla cache → nessuna chiamata al modelloAbbiamo inviato le stesse 3000 domande di assistenza clienti a quattro modelli Claude attuali, due volte: una direttamente al modello, una con HotKV davanti.
A 1 milione di richieste al giorno, estrapolato dal costo misurato per richiesta e ipotizzando lo stesso andamento del traffico. I quattro modelli Claude sono stati eseguiti con risposte brevi e, per Fable 5.1 e Opus 5.5, con il livello più basso di sforzo di ragionamento, quindi risposte più lunghe o basate su molto ragionamento renderebbero più prezioso ogni chiamata evitata.
Abbiamo eseguito Claude Fable 5.1, Opus 5.5, Sonnet 5.5 e Haiku 5.5 sulle stesse 3000 richieste ciascuno, con e senza HotKV. Il prompt caching del provider era attivo in ogni esecuzione, e token e costi sono ricavati dall'utilizzo riportato in ciascuna risposta, inclusi i token di thinking.
| Modello | Token risparmiati | Costo senza | Costo con | Ridotto di | Chiamate al modello | Risposta mediana |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | 30,31 $ | 9,18 $ | 70% | da 3000 a 896 | da 2,7 s a 127 ms |
| Claude Opus 5.5 | 70% | 14,60 $ | 4,50 $ | 69% | da 3000 a 898 | da 2,9 s a 126 ms |
| Claude Sonnet 5.5 | 70% | 5,51 $ | 1,66 $ | 70% | da 3000 a 897 | da 1,8 s a 128 ms |
| Claude Haiku 5.5 | 70% | 0,27 $ | 0,08 $ | 70% | da 3000 a 897 | da 1,4 s a 125 ms |
Per ogni domanda riformulata servita dalla cache, un modello diverso ha confrontato la risposta in cache con la risposta nuova che lo stesso modello aveva dato a quella domanda esatta, in ordine casuale. Nessun modello ha valutato il proprio output. A giudicare è un modello linguistico, non una revisione umana, e il suo rigore varia da modello a modello, quindi confronta risposte in cache e risposte nuove solo all'interno dello stesso modello.
| Modello | Domande riformulate valutate | Risposta in cache adeguata | Risposta nuova adeguata |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Ogni riga è un'esecuzione separata di Claude Sonnet 5.5 sulle stesse 3000 richieste (costo senza HotKV: 5,51 $).
| Soglia | Costo | Ridotto di | Risposta in cache adeguata | Risposta nuova adeguata |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70% | 77,9% | 86,1% |
| 0,85 | 1,88 $ | 66% | 80,3% | 85,6% |
| 0,88 | 1,99 $ | 64% | 89,5% | 83,8% |
| 0,90 | 2,13 $ | 61% | 87,9% | 86,5% |
| 0,95 | 2,22 $ | 60% | 92,0% | 90,0% |
3.000 domande di assistenza clienti estratte dallo split di test di Banking77 con un seed fisso (la popolarità degli intent segue una distribuzione di Zipf, s=1,0; le domande sono campionate in modo uniforme all'interno di ciascun intent, con ripetizioni). Ogni domanda è stata inviata al modello con la stessa policy di supporto come prompt di sistema. Baseline: ogni richiesta chiama il modello, con il prompt caching del provider attivo. HotKV: ricerca a corrispondenza esatta (GET su una chiave SHA-256 della domanda normalizzata), poi ricerca semantica (SCACHE.GET con un embedding della domanda), e il modello viene chiamato solo in caso di miss. I conteggi dei token sono ricavati dal blocco usage di ogni risposta API; i costi usano i prezzi di listino e includono le chiamate di embedding. La soglia di similarità è stata scelta sullo split di train separato di Banking77 come il valore più basso che dà almeno il 98% di precisione sullo stesso intent nelle corrispondenze semantiche.
Modello di embedding: OpenAI text-embedding-3-small. Soglia di corrispondenza semantica: 0,81. Dataset: Banking77 (split di test) di PolyAI, con licenza CC BY 4.0. 3000 richieste su 77 intent.
Misurato il 11 ottobre 2026. I risparmi dipendono da quanto spesso si ripete il tuo traffico. Un workload senza domande ripetute o simili non fa risparmiare nulla.
Abbiamo caricato gli stessi embedding OpenAI in HotKV e in Redis 8 ed eseguito le stesse 1000 query su ciascuno, con da 1 a 100 connessioni client simultanee, su una sola macchina. Entrambi mantenevano vettori a piena precisione, con le stesse impostazioni di indice.
Entrambi i motori hanno memorizzato vettori float32 a piena precisione. Dopo il caricamento di 999.000 vettori, il processo HotKV occupava 6,77 GB e Redis 7,01 GB.
Non misurati: la modalità quantizzata a 8 bit predefinita di Redis, il Redis Query Engine, altri dataset e altro hardware. La build di HotKV è una build di sviluppo non ancora rilasciata. Redis è stato caricato vincolato a quattro vCPU e interrogato su un indice ricaricato (vedi l'articolo).
| ef | Recall HotKV | Recall Redis | Query/s HotKV | Query/s Redis | Rapporto |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3454 | 3,6x |
| 500 | 0,997 | 0,994 | 7688 | 2483 | 3,1x |
Build HotKV c8dafd37 e Redis 8.10.2, similarità coseno, HNSW con M=16 ed ef_construction=200 su entrambi, float32 su entrambi (Redis NOQUANT). Il recall è recall@10 rispetto ai risultati esatti della ricerca brute-force. Mediana di 3 esecuzioni su Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. I server condividevano 128 vCPU e i generatori di carico giravano su altre 32, usando lo stesso codice client per entrambi.
Dataset: embedding di dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1536 dimensioni) di Kumar Shivendu and Nirant Kasliwal, con licenza MIT, più 1000 query riservate. Metodo completo, script e risultati grezzi. Misurato il 14 ottobre 2026.
HotKV è un software commerciale. Lascia che lo gestiamo noi per te, oppure eseguilo in autonomia su un'infrastruttura che controlli.
Un'istanza HotKV completamente gestita, ospitata e operata da noi su Google Cloud in 42 regioni. Apertura a ondate. Richiedi l'accesso anticipato.
Esegui HotKV sui tuoi server o sul tuo account cloud, con un file di licenza, mantenendo il pieno controllo su residenza dei dati e accesso di rete.
Dodici librerie client ufficiali. HotKV parla anche RESP2 e RESP3, quindi i tuoi client e strumenti Redis esistenti si connettono senza modifiche oltre all'hostname.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}da GitHub (hotkv-perl-client)libhotkv (CMake, release su GitHub)hotkv-cpp (CMake, release su GitHub)Gli SDK Python e Node.js includono integrazioni in una riga per i framework con cui i team già lavorano. Strumenti open source separati coprono LangGraph, MCP e le API compatibili con OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Include anche HotKVCache per il caching a corrispondenza esatta, più HotKVVectorStore e HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Include anche HotKVKVStore e HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
La cache Redis integrata di LiteLLM funziona già con HotKV senza modifiche. Scegli questa integrazione quando vuoi anche il caching semantico.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Incluso nel pacchetto npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Incluso nel pacchetto npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Un checkpointer per lo stato del grafo e un archivio di memoria a lungo termine con ricerca semantica. Non richiede alcuna licenza HotKV.
Leggi la documentazionepip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Permette a Claude, Cursor e ad altri assistenti di usare chiavi, memoria degli agenti, prompt e ricerca nei documenti. La modalità di sola lettura e i namespace mantengono gli agenti nei limiti.
Leggi la documentazionego install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Un proxy drop-in che mette in cache le chiamate alle API compatibili con OpenAI e ad Anthropic, streaming incluso. Cambi un solo URL, nessun codice.
Leggi la documentazioneScopri cosa rende veloce HotKV, dove si inserisce e come iniziare.
Multithread fin dall'inizio. Un throughput che cresce con il numero di core, non contro di esso.
Scopri di piùCache semantica, RAG, memoria degli agenti e controlli dei costi LLM integrati nel motore.
Scopri di piùCaching, sessioni, code, classifiche. Gli stessi workload di Redis, con un throughput più alto.
Scopri di piùTagging delle chiavi, TTL al nanosecondo, ricerca vettoriale e metriche integrate, parte del motore principale.
Scopri di piùUn motore multithread in cui ogni core legge, analizza ed esegue i comandi in parallelo.
Scopri di piùPiani Starter, Performance e Scale su HotKV Cloud, con traffico incluso e senza vincoli annuali.
Scopri di più