Csökkentse az LLM-tokenköltést, és válaszoljon az ismétlődő AI-kérésekre a gyorsítótárból, ezredmásodperc alatt, miközben többszálú, Redis-kompatibilis tárolót futtat.
A HotKV Redis-kompatibilis motorként az LLM-hívásai előtt áll. Felismeri azokat a promptokat, amelyekre már válaszolt, pontosan vagy hozzávetőlegesen, és új API-hívás helyett a gyorsítótárazott választ adja az alkalmazásnak.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Már kérdezték, szó szerint ugyanígy: nincs modellhívás cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerSzemléltető eredmény (példaadat)
Forgatókönyv: ask("How do I reset my password?") kétszer
Mindkét hívás ezt adja vissza: "Use the password-reset link on the sign-in page."
Első hívás: gyorsítótár-tévesztés → call_llm → válasz eltárolva
Második hívás: gyorsítótárazott válasz → nincs modellhívásUgyanazt a 3000 ügyfélszolgálati kérdést kétszer küldtük el négy aktuális Claude modellnek: egyszer közvetlenül a modellnek, egyszer a HotKV-val az előtt.
Napi 1 millió kérésnél, a mért kérésenkénti költségből extrapolálva, azonos forgalmi mintát feltételezve. A négy Claude modell rövid válaszokkal futott, a Fable 5.1 és az Opus 5.5 pedig a legalacsonyabb gondolkodási erőfeszítéssel, így a hosszabb vagy gondolkodásigényes válaszoknál minden elkerült hívás többet érne.
A Claude Fable 5.1, Opus 5.5, Sonnet 5.5 és Haiku 5.5 modellt futtattuk ugyanazon a 3000 kérésen, HotKV-val és nélküle. A szolgáltató saját prompt-gyorsítótárazása minden futtatásnál be volt kapcsolva, a tokeneket és a költségeket pedig az egyes válaszok használati adataiból vettük, a gondolkodási tokeneket is beleértve.
| Modell | Megtakarított tokenek | Költség nélküle | Költség vele | Alacsonyabb ennyivel | Modellhívások | Medián válaszidő |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3000 – 896 | 2,7 s – 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3000 – 898 | 2,9 s – 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3000 – 897 | 1,8 s – 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3000 – 897 | 1,4 s – 125 ms |
Minden gyorsítótárból kiszolgált átfogalmazott kérdésnél egy másik modell összehasonlította a gyorsítótárazott választ azzal az új válasszal, amelyet ugyanaz a modell adott pontosan arra a kérdésre, véletlen sorrendben. Egyetlen modell sem értékelte a saját kimenetét. Ez egy nyelvi modell értékelése, nem emberi felülvizsgálat, és a szigorúsága modellenként eltér, ezért a gyorsítótárazottat és az újat csak egy modellen belül hasonlítsa össze.
| Modell | Értékelt átfogalmazott kérdések | A gyorsítótárazott válasz megfelel | Az új válasz megfelel |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Minden sor a(z) Claude Sonnet 5.5 külön futtatása ugyanazon a 3000 kérésen (költség HotKV nélkül: $5,51).
| Küszöb | Költség | Alacsonyabb ennyivel | A gyorsítótárazott válasz megfelel | Az új válasz megfelel |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3000 ügyfélszolgálati kérdés a Banking77 teszthalmazából, rögzített véletlenszám-maggal (a szándékok népszerűsége Zipf-eloszlást követ, s=1,0; a kérdéseket az egyes szándékokon belül egyenletesen mintavételeztük, ismétlésekkel). Minden kérdést ugyanazzal a támogatási szabályzattal küldtünk a modellnek, mint rendszerprompt. Alapeset: minden kérés a modellt hívja, a szolgáltató saját prompt-gyorsítótárazásával bekapcsolva. HotKV: pontos egyezésű keresés (GET a normalizált kérdés SHA-256 kulcsán), majd szemantikus keresés (SCACHE.GET a kérdés embeddingjével), és a modellt csak találat hiányában hívjuk. A tokenszámokat az egyes API-válaszok használati blokkjából vettük, a költségek listaárakat használnak, és tartalmazzák az embedding-hívásokat. A hasonlósági küszöböt a különálló Banking77 tanítóhalmazon választottuk ki, mint a legalacsonyabb értéket, amely a szemantikus találatoknál legalább 98%-os azonos szándékú pontosságot ad.
Embedding modell: OpenAI text-embedding-3-small. Szemantikus egyezési küszöb: 0,81. Adathalmaz: Banking77 (teszthalmaz), készítette: PolyAI, licenc: CC BY 4.0. 3000 kérés 77 szándékon keresztül.
Mérés időpontja: 2026. október 11.. A megtakarítás attól függ, milyen gyakran ismétlődik a forgalma. Az olyan munkaterhelés, amelyben nincsenek ismétlődő vagy hasonló kérdések, semmit nem takarít meg.
Ugyanazokat az OpenAI-embeddingeket töltöttük be a HotKV-ba és a Redis 8-ba, és ugyanazt a 1000 lekérdezést futtattuk mindkettőn, 1–100 párhuzamos kliens kapcsolattal, egyetlen gépen. Mindkettő teljes pontosságú vektorokat tárolt, azonos indexbeállításokkal.
Mindkét motor teljes pontosságú float32 vektorokat tárolt. 999 000 vektor betöltése után a HotKV-folyamat 6,77 GB-ot, a Redis 7,01 GB-ot foglalt.
Nem mértük: a Redis alapértelmezett 8 bites kvantált módját, a Redis Query Engine-t, más adathalmazokat és más hardvert. A HotKV-build egy ki nem adott fejlesztői build. A Redist négy vCPU-ra rögzítve töltöttük be, és újratöltött indexen kerestünk (lásd a cikket).
| ef | HotKV recall | Redis recall | HotKV lekérdezés/mp | Redis lekérdezés/mp | Arány |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3454 | 3,6x |
| 500 | 0,997 | 0,994 | 7688 | 2483 | 3,1x |
HotKV build c8dafd37 és Redis 8.10.2, koszinusz hasonlóság, HNSW M=16 és ef_construction=200 beállítással mindkettőn, float32 mindkettőn (Redis NOQUANT). A recall a recall@10 a pontos nyers erejű eredményekhez képest. 3 futtatás mediánja, Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs gépen. A szerverek 128 vCPU-n osztoztak, a terhelésgenerátorok pedig 32 másikon futottak, mindkettőhöz ugyanazzal a klienskóddal.
Adathalmaz: dbpedia-entities-openai-1M embeddingek (OpenAI text-embedding-ada-002, 1536 dimenzió), készítette: Kumar Shivendu and Nirant Kasliwal, licenc: MIT, plusz 1000 félretett lekérdezés. Teljes módszer, szkriptek és nyers eredmények. Mérés időpontja: 2026. október 14..
A HotKV kereskedelmi szoftver. Futtassuk mi Önnek, vagy futtassa maga a saját ellenőrzése alatt álló infrastruktúrán.
Teljesen felügyelt HotKV-példány, amelyet mi üzemeltetünk a Google Cloudon, 42 régióban. Hullámokban nyílik meg. Kérjen korai hozzáférést.
Futtassa a HotKV-t a saját szerverein vagy a saját felhőfiókjában, licencfájllal, teljes kontrollal az adatok tárolási helye és a hálózati hozzáférés felett.
Tizenkét hivatalos klienskönyvtár. A HotKV emellett RESP2-t és RESP3-at is beszél, így a meglévő Redis-kliensei és eszközei a hosztnéven kívül semmilyen változtatás nélkül csatlakoznak.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}GitHubról (hotkv-perl-client)libhotkv (CMake, GitHub-kiadás)hotkv-cpp (CMake, GitHub-kiadás)A Python és a Node.js SDK egysoros integrációkat tartalmaz azokhoz a keretrendszerekhez, amelyekkel a csapatok már dolgoznak. Külön nyílt forráskódú eszközök fedik le a LangGraphot, az MCP-t és az OpenAI-kompatibilis API-kat.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Tartalmazza továbbá a HotKVCache-t pontos egyezésű gyorsítótárazáshoz, valamint a HotKVVectorStore-t és a HotKVChatMessageHistory-t.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Tartalmazza továbbá a HotKVKVStore-t és a HotKVChatStore-t.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
A LiteLLM beépített Redis-gyorsítótára már változtatás nélkül működik a HotKV-val. Akkor érdemes ehhez az integrációhoz nyúlni, ha szemantikus gyorsítótárazásra is szüksége van.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Az @hotkv/client npm-csomag része.
import { HotKVCache } from "@hotkv/client/langchain";Az @hotkv/client npm-csomag része.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Ellenőrzőpont-kezelő a gráf állapotához és hosszú távú memóriatár szemantikus kereséssel. Nem igényel HotKV-licencet.
Dokumentációpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Lehetővé teszi, hogy a Claude, a Cursor és más asszisztensek kulcsokat, ügynökmemóriát, promptokat és dokumentumkeresést használjanak. A csak olvasható mód és a névterek korlátok között tartják az ügynököket.
Dokumentációgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Beilleszthető proxy, amely gyorsítótárazza az OpenAI-kompatibilis és az Anthropic API-hívásokat, a streaminget is beleértve. Egyetlen URL-t kell cserélni, kód nélkül.
DokumentációIsmerje meg, mitől gyors a HotKV, hol használható, és hogyan kezdhet bele.
Kezdettől fogva többszálú. Olyan áteresztőképesség, amely a magok számával együtt nő, nem ellene dolgozik.
Tudjon meg többetSzemantikus gyorsítótár, RAG, ügynökmemória és LLM-költségkontroll a motorba építve.
Tudjon meg többetGyorsítótárazás, munkamenetek, sorok, ranglisták. Ugyanazok a munkaterhelések, mint a Redisen, nagyobb áteresztőképességgel.
Tudjon meg többetKulcscímkézés, nanoszekundumos TTL-ek, vektorkeresés és beépített metrikák, az alapmotor részeként.
Tudjon meg többetTöbbszálú motor, amelyben minden mag párhuzamosan olvassa, értelmezi és hajtja végre a parancsokat.
Tudjon meg többetStarter, Performance és Scale csomagok a HotKV Cloudon, beépített forgalommal és éves lekötés nélkül.
Tudjon meg többet