मुक़ाबले को पीछे छोड़ें

LLM टोकन का खर्च घटाएँ और दोहराए गए AI अनुरोधों का जवाब एक मिलीसेकंड से कम में कैश से दें, वह भी मल्टी-थ्रेडेड, Redis-संगत स्टोर चलाते हुए।

शुरू करेंऔर जानें
कम टोकन Claude ने प्रोसेस किए
70%कम टोकन Claude ने प्रोसेस किए
अनुरोधों के जवाब वार्म-अप के बाद कैश से मिले
81%अनुरोधों के जवाब वार्म-अप के बाद कैश से मिले
हर सटीक-मैच कैश हिट पर (मॉडल ने 1.4 s लिया)
0.05 msहर सटीक-मैच कैश हिट पर (मॉडल ने 1.4 s लिया)
असली Anthropic API कॉल से मापा गया
LLM वर्कलोड के लिए बना

एक ही सवाल का जवाब दो बार खरीदना बंद करें

HotKV आपके LLM कॉल के सामने एक Redis-संगत इंजन के रूप में बैठता है। जिन प्रॉम्प्ट का जवाब वह पहले दे चुका है, उन्हें वह सटीक या लगभग मिलान से पहचान लेता है, और आपके एप्लिकेशन को नया API कॉल करने की जगह कैश किया हुआ जवाब देता है।

दोहराए गए प्रॉम्प्ट का जवाब कैश से देंPython
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str:    # पहले शब्दशः पूछा जा चुका है, इसलिए कोई मॉडल कॉल नहीं    cached = client.pcache_get("support", prompt)    if cached is not None:        return cached.decode()     answer = call_llm(prompt)    client.pcache_set("support", prompt, answer, ttl=3600)    return answer

उदाहरण परिणाम (नमूना डेटा)

परिदृश्य: ask("How do I reset my password?") दो बार
दोनों कॉल लौटाते हैं: "Use the password-reset link on the sign-in page."
पहला कॉल: कैश मिस → call_llm → जवाब सेव हुआ
दूसरा कॉल: कैश किया हुआ जवाब → कोई मॉडल कॉल नहीं
असली Anthropic API कॉल से मापा गया

कम टोकन का भुगतान करें

हमने ग्राहक सपोर्ट के वही 3,000 सवाल चार मौजूदा Claude मॉडल को दो बार भेजे। एक बार सीधे मॉडल को, और एक बार HotKV को सामने रखकर।

70%
कम टोकन (इनपुट और आउटपुट मिलाकर) मॉडल ने प्रोसेस किए, जबकि प्रोवाइडर की अपनी प्रॉम्प्ट कैशिंग पहले से चालू थी

प्रति मॉडल प्रोसेस किए गए टोकन

Anthropic claude-fable-5-1
70% कम टोकन70% कम लागत
HotKV के बिना7.25M टोकन · $30.31
HotKV के साथ2.16M टोकन · $9.18
Anthropic claude-opus-5-5
70% कम टोकन69% कम लागत
HotKV के बिना7.34M टोकन · $14.60
HotKV के साथ2.20M टोकन · $4.50
Anthropic claude-sonnet-5-5
70% कम टोकन70% कम लागत
HotKV के बिना7.16M टोकन · $5.51
HotKV के साथ2.14M टोकन · $1.66
Anthropic claude-haiku-5-5
70% कम टोकन70% कम लागत
HotKV के बिना7.08M टोकन · $0.27
HotKV के साथ2.11M टोकन · $0.08
81%
अनुरोधों के जवाब वार्म होने के बाद कैश से दिए गए (आखिरी 1,000, कुल 3,000 में से)
11.0x तेज़
Claude Haiku 5.5 पर मीडियन रिस्पॉन्स समय, 1.4 s से घटकर 125 ms
0.05 ms
दोहराए गए सवाल के जवाब का समय (मॉडल ने लिया 1.4 s)

बड़े पैमाने पर इसका मतलब

  • Anthropic claude-fable-5-1: HotKV के बिना $3,03,100 प्रति माह, HotKV के साथ $91,800, हर महीने लगभग $2,11,300 की बचत।
  • Anthropic claude-opus-5-5: HotKV के बिना $1,46,000 प्रति माह, HotKV के साथ $45,000, हर महीने लगभग $1,01,000 की बचत।
  • Anthropic claude-sonnet-5-5: HotKV के बिना $55,100 प्रति माह, HotKV के साथ $16,600, हर महीने लगभग $38,500 की बचत।
  • Anthropic claude-haiku-5-5: HotKV के बिना $2,700 प्रति माह, HotKV के साथ $800, हर महीने लगभग $1,900 की बचत।

प्रतिदिन 1 मिलियन अनुरोध पर, मापी गई प्रति-अनुरोध लागत से अनुमानित और यह मानते हुए कि ट्रैफ़िक का पैटर्न वही रहे। चारों Claude मॉडल छोटे उत्तरों के साथ चले, और Fable 5.1 और Opus 5.5 अपने सबसे कम रीज़निंग एफ़र्ट पर थे, इसलिए लंबे या रीज़निंग-भारी उत्तरों में टाली गई हर कॉल की कीमत और अधिक होगी।

पूरे आंकड़ेटोकन, लागत, उत्तर की गुणवत्ता और समानता थ्रेशहोल्ड का समझौतादिखाएं

हमने Claude Fable 5.1, Opus 5.5, Sonnet 5.5 और Haiku 5.5 में से हर एक को उन्हीं 3,000 अनुरोधों पर HotKV के साथ और उसके बिना चलाया। हर रन में प्रोवाइडर की अपनी प्रॉम्प्ट कैशिंग चालू थी, और टोकन तथा लागत हर रिस्पॉन्स के usage से ली गई हैं, थिंकिंग टोकन समेत।

HotKV के साथ और बिना, हर Claude मॉडल के लिए टोकन, लागत और रिस्पॉन्स समय
मॉडलबचे टोकनबिना की लागतसाथ की लागतकितनी कममॉडल कॉलमीडियन रिस्पॉन्स
Claude Fable 5.170%$30.31$9.1870%3,000 से 8962.7 s से 127 ms
Claude Opus 5.570%$14.60$4.5069%3,000 से 8982.9 s से 126 ms
Claude Sonnet 5.570%$5.51$1.6670%3,000 से 8971.8 s से 128 ms
Claude Haiku 5.570%$0.27$0.0870%3,000 से 8971.4 s से 125 ms

कैश किए गए उत्तर कितने अच्छे हैं?

कैश से दिए गए हर दोबारा शब्दों में लिखे सवाल के लिए, एक दूसरे मॉडल ने कैश किए उत्तर की तुलना उस नए उत्तर से की जो वही मॉडल उसी सटीक सवाल पर देता, यादृच्छिक क्रम में। किसी भी मॉडल ने अपने ही आउटपुट को नहीं जांचा। यह एक लैंग्वेज मॉडल का मूल्यांकन है, इंसानी समीक्षा नहीं, और मॉडलों के बीच उसकी सख्ती अलग-अलग होती है, इसलिए कैश किए और नए उत्तरों की तुलना केवल एक ही मॉडल के भीतर करें।

हर मॉडल के लिए, कैश किए और नए उत्तरों का वह हिस्सा जिसे जज ने सटीक सवाल के लिए सही पाया
मॉडलदोबारा शब्दों में लिखे सवाल जांचे गएकैश किया उत्तर सही बैठता हैनया उत्तर सही बैठता है
Claude Fable 5.192683.3%90.2%
Claude Opus 5.593593.3%99.0%
Claude Sonnet 5.593677.9%86.1%
Claude Haiku 5.593667.9%78.6%

समानता थ्रेशहोल्ड बचत और उत्तर की गुणवत्ता के बीच संतुलन तय करता है

हर पंक्ति उन्हीं 3,000 अनुरोधों पर Claude Sonnet 5.5 का अलग रन है (HotKV के बिना लागत: $5.51)।

पांच समानता थ्रेशहोल्ड पर लागत में बचत और उत्तर की गुणवत्ता
थ्रेशहोल्डलागतकितनी कमकैश किया उत्तर सही बैठता हैनया उत्तर सही बैठता है
0.81$1.6670%77.9%86.1%
0.85$1.8866%80.3%85.6%
0.88$1.9964%89.5%83.8%
0.90$2.1361%87.9%86.5%
0.95$2.2260%92.0%90.0%

ये आंकड़े क्या दिखाते हैं और क्या नहीं

  • ऊपर के नतीजों में इस्तेमाल हुए 0.81 थ्रेशहोल्ड पर कैश किया उत्तर सटीक सवाल पर नए उत्तर की तुलना में 6 से 11 प्रतिशत अंक कम बार सही बैठता है। दोबारा शब्दों में लिखे सवाल लगभग 31% अनुरोध हैं, इसलिए सभी रिस्पॉन्स में यह मोटे तौर पर 2 से 3 अंक बैठता है। थ्रेशहोल्ड रन में 0.88 और उससे ऊपर कैश किए उत्तर नए उत्तरों से खराब नहीं थे, जबकि लागत का 61% से 64% तब भी बचा।
  • ऊपर का "वही मंशा" आंकड़ा "वही सही उत्तर" नहीं दर्शाता। जानबूझकर पास-पास रखे गए 119 सवाल जोड़ों के परीक्षण में, जहां जमा बनाम निकासी जैसा कोई एक ब्योरा सही उत्तर बदल देता है, बदले हुए सवालों में से 62% को 0.81 पर, 25% को 0.90 पर और 10% को 0.95 पर कैश किया उत्तर दिया जाता। ये जोड़े जानबूझकर कठिन बनाए गए हैं और सबसे बुरी स्थिति दिखाते हैं, असली ट्रैफ़िक में यह कितनी बार होता है यह नहीं। अगर आपके उपयोग में गलत उत्तर महंगे पड़ते हैं, तो थ्रेशहोल्ड बढ़ाएं।
  • छोटे बैंकिंग सवालों का एक सार्वजनिक डेटासेट, एक एम्बेडिंग मॉडल और एक स्वचालित जज। थ्रेशहोल्ड का प्रभाव एक मॉडल पर मापा गया। बाकी तीन केवल 0.81 पर चलाए गए। आपकी दोहराव दर और आपके सवालों से अलग आंकड़े आएंगे।

Banking77 टेस्ट स्प्लिट से तय सीड के साथ चुने गए 3,000 ग्राहक-सपोर्ट सवाल (इंटेंट की लोकप्रियता Zipf वितरण का पालन करती है, s=1.0। हर इंटेंट के भीतर सवाल समान रूप से, दोहराव के साथ चुने गए)। हर सवाल उसी सपोर्ट पॉलिसी के साथ सिस्टम प्रॉम्प्ट के रूप में मॉडल को भेजा गया। बेसलाइन में हर अनुरोध मॉडल को कॉल करता है, प्रोवाइडर की अपनी प्रॉम्प्ट कैशिंग चालू रखकर। HotKV के साथ पहले एग्ज़ैक्ट-मैच लुकअप (नॉर्मलाइज़ किए सवाल की SHA-256 की पर GET), फिर सिमेंटिक लुकअप (सवाल के एम्बेडिंग के साथ SCACHE.GET) होता है, और मॉडल को सिर्फ़ मिस पर कॉल किया जाता है। टोकन गिनती हर API रिस्पॉन्स के usage ब्लॉक से ली गई है। लागत लिस्ट प्राइस पर है और एम्बेडिंग कॉल भी शामिल हैं। समानता थ्रेशहोल्ड अलग Banking77 ट्रेन स्प्लिट पर चुना गया, वह सबसे कम मान जो सिमेंटिक हिट पर कम से कम 98% वही-इंटेंट प्रिसीज़न देता है।

एम्बेडिंग मॉडल: OpenAI text-embedding-3-small। सिमेंटिक मैच थ्रेशहोल्ड: 0.81। डेटासेट: PolyAI का Banking77 (टेस्ट स्प्लिट), लाइसेंस CC BY 4.0। 77 इंटेंट में 3,000 अनुरोध।

11 अक्टूबर 2026 को मापा गया। बचत इस पर निर्भर करती है कि आपका ट्रैफ़िक खुद को कितनी बार दोहराता है। जिस वर्कलोड में कोई सवाल दोहराया या मिलता-जुलता नहीं होता, उसमें कुछ नहीं बचता।

अपने तरीके से चलाएँ

HotKV कमर्शियल सॉफ़्टवेयर है। इसे हमसे चलवाएँ, या अपने नियंत्रण वाले इन्फ्रास्ट्रक्चर पर खुद चलाएँ।

होस्टिंग हम करते हैं

HotKV Cloud

पूरी तरह मैनेज्ड HotKV इंस्टेंस, जिसे हम Google Cloud के 42 रीजन में होस्ट और संचालित करते हैं। चरणों में खुल रहा है। अर्ली एक्सेस का अनुरोध करें।

  • प्रोविज़निंग, पैचिंग और मॉनिटरिंग आपके लिए संभाली जाती है
  • हर इंस्टेंस समर्पित संसाधनों वाली एक अलग मशीन है
  • चुनने के लिए 42 Google Cloud रीजन
  • Stripe के ज़रिए USD में मासिक या वार्षिक बिलिंग, चेकआउट पर हर रीजन के हिसाब से लाइव कीमत
अर्ली एक्सेस पाएँ
होस्टिंग आप करते हैं

HotKV On-Premise

HotKV को अपने सर्वर या अपने क्लाउड अकाउंट पर लाइसेंस फ़ाइल के तहत चलाएँ, डेटा रेज़िडेंसी और नेटवर्क एक्सेस पर पूरे नियंत्रण के साथ।

  • x86_64 और ARM64 के लिए Linux पैकेज
  • अलग ऑन-प्रेमाइज़ लाइसेंस एग्रीमेंट के तहत लाइसेंस प्राप्त
  • अपने VPC, एयर-गैप्ड नेटवर्क या डेटा सेंटर के अंदर डिप्लॉय करें
सेल्स से संपर्क करें

आधिकारिक SDK

बारह आधिकारिक क्लाइंट लाइब्रेरी। HotKV RESP2 और RESP3 भी बोलता है, इसलिए आपके मौजूदा Redis क्लाइंट और टूल होस्टनेम बदलने के अलावा बिना किसी बदलाव के कनेक्ट हो जाते हैं।

Python
pip install hotkv-client
Node.js
npm install @hotkv/client
Go
go get github.com/hotkv-ltd/hotkv-go-client
Rust
cargo add hotkv-client
Java
com.hotkv:hotkv-client
C#
dotnet add package HotKV.Client
Ruby
gem install hotkv
PHP
composer require hotkv/client
Elixir
{:hotkv, "~> 1.0"}
Perl
GitHub से (hotkv-perl-client)
C
libhotkv (CMake, GitHub release)
C++
hotkv-cpp (CMake, GitHub release)

आपके AI फ़्रेमवर्क के साथ काम करता है

Python और Node.js SDK उन फ़्रेमवर्क के लिए एक-लाइन इंटीग्रेशन देते हैं जिनसे टीमें पहले से बनाती हैं। अलग ओपन-सोर्स टूल LangGraph, MCP और OpenAI-संगत API को कवर करते हैं।

LangChainPython
pip install "hotkv-client[langchain]"
from hotkv.integrations.langchain import HotKVSemanticCache
set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))

इसमें एग्ज़ैक्ट-मैच कैशिंग के लिए HotKVCache, साथ में HotKVVectorStore और HotKVChatMessageHistory भी शामिल हैं।

LlamaIndexPython
pip install "hotkv-client[llamaindex]"
from hotkv.integrations.llama_index import HotKVVectorStore

इसमें HotKVKVStore और HotKVChatStore भी शामिल हैं।

LiteLLMPython
pip install "hotkv-client[litellm]"
from hotkv.integrations.litellm import HotKVSemanticCache

LiteLLM का बिल्ट-इन Redis कैश HotKV के साथ बिना बदलाव पहले से काम करता है। यह इंटीग्रेशन तब अपनाएं जब आपको सिमेंटिक कैशिंग भी चाहिए।

Vercel AI SDKNode.js
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });

@hotkv/client npm पैकेज के साथ आता है।

LangChain.jsNode.js
import { HotKVCache } from "@hotkv/client/langchain";

@hotkv/client npm पैकेज के साथ आता है।

LangGraphPython
pip install langgraph-checkpoint-hotkv
from langgraph.checkpoint.hotkv import HotKVSaver
from langgraph.store.hotkv import HotKVStore

ग्राफ़ स्टेट के लिए एक चेकपॉइंटर और सिमेंटिक सर्च वाला दीर्घकालिक मेमोरी स्टोर। इसके लिए HotKV लाइसेंस की ज़रूरत नहीं।

डॉक्स पढ़ें
MCP सर्वरPython
pip install hotkv-mcp
claude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379

Claude, Cursor और दूसरे असिस्टेंट को कीज़, एजेंट मेमोरी, प्रॉम्प्ट और डॉक्यूमेंट सर्च इस्तेमाल करने देता है। रीड-ओनली मोड और नेमस्पेस एजेंट को सीमा में रखते हैं।

डॉक्स पढ़ें
कैशिंग गेटवेGo
go install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latest
client = OpenAI(base_url="http://localhost:8080/v1")

एक ड्रॉप-इन प्रॉक्सी जो OpenAI-संगत और Anthropic API कॉल को कैश करती है, स्ट्रीमिंग समेत। बस एक URL बदलें, कोई कोड नहीं।

डॉक्स पढ़ें
HotKV™ को जानें

वह सब जो आपको जानना चाहिए

जानें कि HotKV को तेज़ क्या बनाता है, वह कहाँ फ़िट बैठता है, और शुरुआत कैसे करें।

परफ़ॉर्मेंस

पहले दिन से मल्टी-थ्रेडेड। थ्रूपुट जो आपके कोर की संख्या के साथ बढ़ता है, उसके विरुद्ध नहीं।

और जानें

AI आधारित

सिमैंटिक कैश, RAG, एजेंट मेमोरी और LLM लागत नियंत्रण, सब इंजन में बिल्ट-इन।

और जानें

यूज़ केस

कैशिंग, सेशन, क्यू, लीडरबोर्ड। वही वर्कलोड जो Redis में होते हैं, पर ज़्यादा थ्रूपुट पर।

और जानें

फ़ीचर

key टैगिंग, नैनोसेकंड TTL, वेक्टर सर्च और बिल्ट-इन मेट्रिक्स, कोर इंजन का हिस्सा।

और जानें

आर्किटेक्चर

मल्टी-थ्रेडेड इंजन, जहाँ हर कोर कमांड को पैरेलल में पढ़ता, पार्स करता और चलाता है।

और जानें

कीमतें

HotKV Cloud पर Starter, Performance और Scale प्लान, बंडल ट्रैफ़िक के साथ और सालाना बंधन के बिना।

और जानें