Snižte útratu za tokeny LLM a opakované požadavky na AI obsluhujte z cache za méně než milisekundu, a to na multithreadovém úložišti kompatibilním s Redisem.
HotKV stojí před vašimi voláními LLM jako jedno jádro kompatibilní s Redisem. Pozná prompty, na které už odpovědělo, ať přesně, nebo přibližně, a vaší aplikaci vrátí odpověď z cache místo nového volání API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Už se ptalo, slovo od slova: bez volání modelu cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerIlustrativní výsledek (ukázková data)
Scénář: ask("Jak si resetuji heslo?") dvakrát
Obě volání vrátí: "Použijte odkaz pro obnovení hesla na přihlašovací stránce."
První volání: minutí cache → call_llm → uložená odpověď
Druhé volání: odpověď z cache → bez volání modeluStejných 3 000 dotazů zákaznické podpory jsme dvakrát poslali čtyřem aktuálním modelům Claude: jednou přímo modelu, jednou s HotKV před ním.
Při 1 milionu požadavků denně, extrapolováno ze změřených nákladů na jeden požadavek a za předpokladu stejného vzorce provozu. Čtyři modely Claude běžely s krátkými odpověďmi a Fable 5.1 a Opus 5.5 s nejnižší úrovní uvažování, takže u delších odpovědí nebo odpovědí náročných na uvažování by každé ušetřené volání mělo vyšší hodnotu.
Spustili jsme Claude Fable 5.1, Opus 5.5, Sonnet 5.5 a Haiku 5.5 na stejných 3 000 požadavcích každý, s HotKV i bez něj. Cachování promptů na straně poskytovatele bylo zapnuté v každém běhu a tokeny i náklady se berou z údajů o spotřebě v každé odpovědi, včetně tokenů na uvažování.
| Model | Ušetřené tokeny | Náklady bez | Náklady s | Nižší o | Volání modelu | Mediánová odpověď |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 $ | 9,18 $ | 70 % | 3 000 až 896 | 2,7 s až 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 $ | 4,50 $ | 69 % | 3 000 až 898 | 2,9 s až 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 $ | 1,66 $ | 70 % | 3 000 až 897 | 1,8 s až 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 $ | 0,08 $ | 70 % | 3 000 až 897 | 1,4 s až 125 ms |
U každé přeformulované otázky obsloužené z cache porovnal jiný model odpověď z cache s čerstvou odpovědí, kterou stejný model dal přesně na tuto otázku, v náhodném pořadí. Žádný model neposuzoval svůj vlastní výstup. Posuzuje jazykový model, ne člověk, a jeho přísnost se mezi modely liší, proto porovnávejte odpověď z cache s čerstvou jen v rámci jednoho modelu.
| Model | Posouzené přeformulované otázky | Odpověď z cache sedí | Čerstvá odpověď sedí |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Každý řádek je samostatný běh modelu Claude Sonnet 5.5 na stejných 3 000 požadavcích (náklady bez HotKV: 5,51 $).
| Práh | Náklady | Nižší o | Odpověď z cache sedí | Čerstvá odpověď sedí |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 $ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 $ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 $ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 $ | 60 % | 92,0 % | 90,0 % |
3 000 otázek zákaznické podpory vybraných z testovací části Banking77 s pevným seedem (popularita záměrů sleduje Zipfovo rozdělení, s=1,0; otázky se v rámci každého záměru vybírají rovnoměrně, s opakováním). Každá otázka byla modelu poslána se stejnou politikou podpory jako systémový prompt. Základ: každý požadavek volá model, s cachováním promptů poskytovatele zapnutým. HotKV: vyhledání s přesnou shodou (GET na klíč SHA-256 normalizované otázky), poté sémantické vyhledání (SCACHE.GET s embeddingem otázky) a model se volá jen při minutí. Počty tokenů se berou z bloku usage v každé odpovědi API, náklady vycházejí z ceníkových cen a zahrnují volání embeddingů. Práh podobnosti byl zvolen na samostatné trénovací části Banking77 jako nejnižší hodnota, která dává alespoň 98% přesnost shody záměru u sémantických zásahů.
Model pro embeddingy: OpenAI text-embedding-3-small. Práh sémantické shody: 0,81. Datová sada: Banking77 (testovací část) od PolyAI, licence CC BY 4.0. 3 000 požadavků napříč 77 záměry.
Změřeno 11. října 2026. Úspory závisejí na tom, jak často se váš provoz opakuje. Zátěž bez opakovaných nebo podobných otázek neušetří nic.
Stejné embeddingy OpenAI jsme nahráli do HotKV i Redisu 8 a na každém spustili stejných 1 000 dotazů, s 1 až 100 souběžnými připojeními klientů, na jednom stroji. Oba držely vektory v plné přesnosti, se stejným nastavením indexu.
Oba servery ukládaly vektory float32 v plné přesnosti. Po načtení 999 000 vektorů držel proces HotKV 6,77 GB a Redis 7,01 GB.
Neměřeno: výchozí 8bitový kvantizovaný režim Redisu, Redis Query Engine, jiné datové sady a jiný hardware. Build HotKV je vývojový build, který nebyl vydán. Redis byl načítán připnutý ke čtyřem vCPU a prohledáván na znovu načteném indexu (viz článek).
| ef | Recall HotKV | Recall Redisu | Dotazy/s HotKV | Dotazy/s Redisu | Poměr |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8 061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6 825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5 241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3 454 | 3,6x |
| 500 | 0,997 | 0,994 | 7 688 | 2 483 | 3,1x |
Build HotKV c8dafd37 a Redis 8.10.2, podobnost kosinová, HNSW s M=16 a ef_construction=200 na obou, float32 na obou (Redis NOQUANT). Recall je recall@10 vůči přesným výsledkům hrubou silou. Medián z 3 běhů na Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Servery sdílely 128 vCPU a generátory zátěže běžely na 32 dalších, se stejným klientským kódem pro oba.
Datová sada: embeddingy dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1 536 dimenzí) od Kumar Shivendu and Nirant Kasliwal, licence MIT, plus 1 000 oddělených dotazů. Úplná metodika, skripty a nezpracované výsledky. Změřeno 14. října 2026.
HotKV je komerční software. Nechte ho provozovat nás, nebo ho provozujte sami na infrastruktuře, kterou ovládáte.
Plně spravovaná instance HotKV, kterou hostujeme a provozujeme my na Google Cloud ve 42 regionech. Otevíráme ve vlnách. Požádejte o předběžný přístup.
Provozujte HotKV na vlastních serverech nebo ve vlastním cloudovém účtu, na základě licenčního souboru, s plnou kontrolou nad umístěním dat a síťovým přístupem.
Dvanáct oficiálních klientských knihoven. HotKV navíc mluví RESP2 a RESP3, takže se vaši stávající klienti a nástroje pro Redis připojí bez jakýchkoli změn kromě hostname.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}z GitHubu (hotkv-perl-client)libhotkv (CMake, vydání na GitHubu)hotkv-cpp (CMake, vydání na GitHubu)SDK pro Python a Node.js obsahují jednořádkové integrace pro frameworky, ve kterých týmy už stavějí. LangGraph, MCP a API kompatibilní s OpenAI pokrývají samostatné open-source nástroje.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Obsahuje také HotKVCache pro cachování s přesnou shodou a dále HotKVVectorStore a HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Obsahuje také HotKVKVStore a HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Vestavěná cache LiteLLM pro Redis s HotKV už funguje beze změn. Tuto integraci použijte, když chcete také sémantické cachování.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Součástí balíčku @hotkv/client na npm.
import { HotKVCache } from "@hotkv/client/langchain";Součástí balíčku @hotkv/client na npm.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Checkpointer pro stav grafu a dlouhodobé paměťové úložiště se sémantickým vyhledáváním. Nepotřebuje licenci HotKV.
Číst dokumentacipip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Umožňuje Claudovi, Cursoru a dalším asistentům používat klíče, paměť agentů, prompty a vyhledávání v dokumentech. Režim jen pro čtení a jmenné prostory drží agenty v mezích.
Číst dokumentacigo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Proxy, kterou stačí zapojit a která cachuje volání API kompatibilních s OpenAI i Anthropic, včetně streamování. Změníte jedno URL, žádný kód.
Číst dokumentaciPodívejte se, čím je HotKV rychlé, kam zapadá a jak začít.
Multithreadové od základu. Propustnost, která roste s počtem jader, a ne proti nim.
Zjistit víceSémantická cache, RAG, paměť agentů a nástroje pro kontrolu nákladů na LLM přímo v jádru.
Zjistit víceCachování, relace, fronty, žebříčky. Stejné zátěže jako u Redisu, s vyšší propustností.
Zjistit víceZnačkování klíčů, TTL v nanosekundách, vektorové vyhledávání a vestavěné metriky, součást jádra.
Zjistit víceMultithreadové jádro, kde každé jádro paralelně čte, parsuje a provádí příkazy.
Zjistit vícePlány Starter, Performance a Scale na HotKV Cloud, s balíčkem provozu a bez roční vazby.
Zjistit více