Reduceți consumul de tokeni LLM și răspundeți la cererile IA repetate din cache în mai puțin de o milisecundă, cu un store multi-thread compatibil Redis.
HotKV stă în fața apelurilor dvs. LLM ca un singur motor compatibil Redis. Recunoaște prompturile la care a răspuns deja, exact sau aproximativ, și oferă aplicației răspunsul din cache în loc de un nou apel API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Întrebat înainte, cuvânt cu cuvânt: fără apel către model cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerRezultat ilustrativ (date de exemplu)
Scenariu: ask("How do I reset my password?") de două ori
Ambele apeluri returnează: "Use the password-reset link on the sign-in page."
Primul apel: ratare în cache → call_llm → răspuns stocat
Al doilea apel: răspuns din cache → fără apel către modelAm trimis aceleași 3.000 de întrebări de suport pentru clienți către patru modele Claude actuale, de două ori: o dată direct la model, o dată cu HotKV în față.
La 1 milion de cereri pe zi, extrapolat din costul măsurat pe cerere și presupunând același tipar de trafic. Cele patru modele Claude au rulat cu răspunsuri scurte, iar Fable 5.1 și Opus 5.5 la cel mai redus efort de raționament, deci răspunsurile mai lungi sau cu raționament intens ar face ca fiecare apel evitat să valoreze mai mult.
Am rulat Claude Fable 5.1, Opus 5.5, Sonnet 5.5 și Haiku 5.5 pe aceleași 3.000 de cereri fiecare, cu și fără HotKV. Cache-ul de prompturi al furnizorului a fost activ în fiecare rulare, iar tokenii și costurile sunt luate din utilizarea raportată în fiecare răspuns, inclusiv tokenii de gândire.
| Model | Tokeni economisiți | Cost fără | Cost cu | Mai mic cu | Apeluri către model | Răspuns median |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 până la 896 | 2,7 s până la 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 până la 898 | 2,9 s până la 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 până la 897 | 1,8 s până la 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 până la 897 | 1,4 s până la 125 ms |
Pentru fiecare întrebare reformulată servită din cache, un alt model a comparat răspunsul din cache cu răspunsul nou dat de același model exact acelei întrebări, în ordine aleatorie. Niciun model nu și-a evaluat propria ieșire. Este un model de limbaj care judecă, nu o verificare umană, iar severitatea lui diferă între modele, așa că comparați răspunsul din cache cu cel nou doar în cadrul aceluiași model.
| Model | Întrebări reformulate evaluate | Răspunsul din cache se potrivește | Răspunsul nou se potrivește |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Fiecare rând este o rulare separată a modelului Claude Sonnet 5.5 pe aceleași 3.000 de cereri (cost fără HotKV: $5,51).
| Prag | Cost | Mai mic cu | Răspunsul din cache se potrivește | Răspunsul nou se potrivește |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3.000 de întrebări de suport pentru clienți extrase din setul de test Banking77, cu un seed fix (popularitatea intențiilor urmează o distribuție Zipf, s=1.0; întrebările sunt eșantionate uniform în cadrul fiecărei intenții, cu repetări). Fiecare întrebare a fost trimisă modelului cu aceeași politică de suport ca prompt de sistem. Referința: fiecare cerere apelează modelul, cu cache-ul de prompturi al furnizorului activat. HotKV: căutare cu potrivire exactă (GET pe o cheie SHA-256 a întrebării normalizate), apoi o căutare semantică (SCACHE.GET cu embeddingul întrebării), iar modelul este apelat doar la ratare. Numărul de tokeni este luat din blocul de utilizare al fiecărui răspuns API; costurile folosesc prețurile de listă și includ apelurile de embedding. Pragul de similaritate a fost ales pe setul separat Banking77 de antrenare, ca fiind cea mai mică valoare care dă cel puțin 98% precizie a aceleiași intenții la rezultatele semantice.
Model de embedding: OpenAI text-embedding-3-small. Prag de potrivire semantică: 0,81. Set de date: Banking77 (setul de test) de PolyAI, licențiat CC BY 4.0. 3.000 de cereri în 77 intenții.
Măsurat 11 octombrie 2026. Economiile depind de cât de des se repetă traficul dvs. O sarcină fără întrebări repetate sau similare nu economisește nimic.
Am încărcat aceleași embeddinguri OpenAI în HotKV și în Redis 8 și am rulat aceleași 1.000 de interogări pe fiecare, cu 1 până la 100 conexiuni client simultane, pe o singură mașină. Ambele au păstrat vectori cu precizie completă, cu aceleași setări de index.
Ambele motoare au stocat vectori float32 cu precizie completă. După încărcarea a 999.000 vectori, procesul HotKV deținea 6,77 GB, iar Redis 7,01 GB.
Nemăsurat: modul implicit cu cuantizare pe 8 biți al Redis, Redis Query Engine, alte seturi de date și alt hardware. Build-ul HotKV este un build de dezvoltare care nu a fost lansat. Redis a fost încărcat fixat pe patru vCPU și căutat pe un index reîncărcat (vedeți articolul).
| ef | Recall HotKV | Recall Redis | Interogări/s HotKV | Interogări/s Redis | Raport |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
Build HotKV c8dafd37 și Redis 8.10.2, similaritate cosinus, HNSW cu M=16 și ef_construction=200 pe ambele, float32 pe ambele (Redis NOQUANT). Recall-ul este recall@10 față de rezultatele exacte obținute prin forță brută. Mediana a 3 rulări pe Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Serverele au împărțit 128 vCPU, iar generatoarele de încărcare au rulat pe alte 32, folosind același cod client pentru ambele.
Set de date: embeddinguri dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1.536 dimensiuni) de Kumar Shivendu and Nirant Kasliwal, licențiate MIT, plus 1.000 de interogări rezervate. Metoda completă, scripturi și rezultate brute. Măsurat 14 octombrie 2026.
HotKV este software comercial. Îl putem rula noi pentru dvs. sau îl puteți rula singuri, pe infrastructura pe care o controlați.
O instanță HotKV complet gestionată, găzduită și operată de noi în Google Cloud, în 42 de regiuni. Se deschide în valuri. Solicitați acces anticipat.
Rulați HotKV pe propriile servere sau în propriul cont cloud, cu un fișier de licență, având control deplin asupra rezidenței datelor și a accesului în rețea.
Douăsprezece biblioteci client oficiale. HotKV vorbește și RESP2 și RESP3, deci clienții și uneltele Redis pe care le aveți deja se conectează fără alte modificări în afară de hostname.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}din GitHub (hotkv-perl-client)libhotkv (CMake, release GitHub)hotkv-cpp (CMake, release GitHub)SDK-urile Python și Node.js oferă integrări dintr-o singură linie pentru framework-urile cu care lucrează deja echipele. Unelte open source separate acoperă LangGraph, MCP și API-urile compatibile OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Include și HotKVCache pentru caching cu potrivire exactă, plus HotKVVectorStore și HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Include și HotKVKVStore și HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Cache-ul Redis încorporat al LiteLLM funcționează deja cu HotKV fără modificări. Alegeți această integrare când vreți și caching semantic.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Vine în pachetul npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Vine în pachetul npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Un checkpointer pentru starea grafului și un store de memorie pe termen lung cu căutare semantică. Nu necesită licență HotKV.
Citiți documentațiapip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Permite lui Claude, Cursor și altor asistenți să folosească chei, memorie pentru agenți, prompturi și căutare în documente. Modul numai-citire și spațiile de nume țin agenții în limite.
Citiți documentațiago install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Un proxy drop-in care păstrează în cache apelurile API compatibile OpenAI și Anthropic, inclusiv streaming. Schimbați un URL, fără cod.
Citiți documentațiaAflați ce face HotKV rapid, unde se potrivește și cum puteți începe.
Multi-thread din prima zi. Un debit care crește odată cu numărul de nuclee, nu împotriva lui.
Aflați mai multeCache semantic, RAG, memorie pentru agenți și controlul costurilor LLM, integrate în motor.
Aflați mai multeCaching, sesiuni, cozi, clasamente. Aceleași sarcini ca în Redis, la un debit mai mare.
Aflați mai multeEtichetarea cheilor, TTL în nanosecunde, căutare vectorială și metrici încorporate, parte din motorul de bază.
Aflați mai multeUn motor multi-thread în care fiecare nucleu citește, parsează și execută comenzi în paralel.
Aflați mai multePlanurile Starter, Performance și Scale în HotKV Cloud, cu trafic inclus și fără angajament anual.
Aflați mai multe