AI स्टैक के लिए बनाया गया
ज़्यादातर टीमें अपने LLM ऐप में एक वेक्टर डेटाबेस, एक कैश, एक सर्च इंजन और ढेर सारा जोड़-तोड़ वाला कोड जोड़ती हैं। HotKV इन सभी प्रिमिटिव को एक इन-मेमोरी इंजन में ही बना देता है, इसलिए रिट्रीवल, मेमोरी और लागत नियंत्रण आपके डेटा के ठीक पास चलते हैं।
एक सवाल चुनें। देखें कि उसका जवाब कहाँ मिलता है, और स्टैक का कितना हिस्सा उसे छूना ही नहीं पड़ता।
- 00सवालआगे बढ़ा
- LLMBUDGETLLM बजटआगे बढ़ा
- PCACHEप्रॉम्प्ट कैशजवाब मिला
- SCACHEसिमैंटिक कैश
- RAGRAG पाइपलाइन
- 05LLM
जवाब प्रॉम्प्ट कैश से मिला। मॉडल को कभी कॉल नहीं किया गया।
समय नीचे दिए टोकन बचत बेंचमार्क के मापे गए मीडियन हैं। सिमैंटिक कैश का समय मापा नहीं गया था, इसलिए कोई समय नहीं दिखाया गया।
नौ AI इंजन, एक सर्वर
हर एक आपके डेटा के पास कमांड का एक परिवार है। किसी भी एक को खोलकर उसे असली यूज़ केस में देखें।
AI को HotKV पर क्यों चलाएँ
यही मल्टी-थ्रेडेड कोर, जो हमारे बेंचमार्क किए हर कमांड पर Redis और Valkey से आगे रहा, आपका रिट्रीवल, मेमोरी और गार्डरेल भी चलाता है।
पाँच सर्विस नहीं, एक इंजन
वेक्टर सर्च, सिमैंटिक कैश, RAG, एजेंट मेमोरी और फ़ीचर स्टोर, सब एक ही प्रोसेस में रहते हैं। अलग वेक्टर DB, कैश और सर्च क्लस्टर को डिप्लॉय करने, सुरक्षित रखने और सिंक में रखने की ज़रूरत नहीं।
एक मिलीसेकंड से कम में कैश हिट
हर AI प्रिमिटिव उसी मल्टी-थ्रेडेड कोर पर चलता है जो हमारे बेंचमार्क के सभी 12 कमांड में Redis और Valkey से आगे रहा। हमारे LLM टेस्ट में सटीक कैश हिट लगभग 0.05 ms में लौटे, जबकि मॉडल कॉल में 1.4 से 2.9 s लगे।
डेटा लेयर में लागत नियंत्रण
सिमैंटिक और प्रॉम्प्ट कैशिंग LLM कॉल घटाती है, एम्बेडिंग डीडुप एम्बेडिंग कॉल घटाता है, और हर key के बजट खर्च होने से पहले ही उसकी सीमा तय कर देते हैं। बचत मापी गई है, अनुमानित नहीं।
शुरू से मल्टी-टेनेंट
नेमस्पेस हर टेनेंट के वेक्टर, मेमोरी और बजट को अलग रखते हैं। Scale प्लान टीमों और ग्राहकों के बीच साझा AI इन्फ्रास्ट्रक्चर के लिए टेनेंट रजिस्ट्री और ऑडिट लॉग भी जोड़ता है।
कम टोकन का भुगतान करें
हमने ग्राहक सपोर्ट के वही 3,000 सवाल चार मौजूदा Claude मॉडल को दो बार भेजे। एक बार सीधे मॉडल को, और एक बार HotKV को सामने रखकर।
प्रति मॉडल प्रोसेस किए गए टोकन
बड़े पैमाने पर इसका मतलब
- Anthropic claude-fable-5-1: HotKV के बिना $3,03,100 प्रति माह, HotKV के साथ $91,800, हर महीने लगभग $2,11,300 की बचत।
- Anthropic claude-opus-5-5: HotKV के बिना $1,46,000 प्रति माह, HotKV के साथ $45,000, हर महीने लगभग $1,01,000 की बचत।
- Anthropic claude-sonnet-5-5: HotKV के बिना $55,100 प्रति माह, HotKV के साथ $16,600, हर महीने लगभग $38,500 की बचत।
- Anthropic claude-haiku-5-5: HotKV के बिना $2,700 प्रति माह, HotKV के साथ $800, हर महीने लगभग $1,900 की बचत।
प्रतिदिन 1 मिलियन अनुरोध पर, मापी गई प्रति-अनुरोध लागत से अनुमानित और यह मानते हुए कि ट्रैफ़िक का पैटर्न वही रहे। चारों Claude मॉडल छोटे उत्तरों के साथ चले, और Fable 5.1 और Opus 5.5 अपने सबसे कम रीज़निंग एफ़र्ट पर थे, इसलिए लंबे या रीज़निंग-भारी उत्तरों में टाली गई हर कॉल की कीमत और अधिक होगी।
पूरे आंकड़ेटोकन, लागत, उत्तर की गुणवत्ता और समानता थ्रेशहोल्ड का समझौतादिखाएंछिपाएं
हमने Claude Fable 5.1, Opus 5.5, Sonnet 5.5 और Haiku 5.5 में से हर एक को उन्हीं 3,000 अनुरोधों पर HotKV के साथ और उसके बिना चलाया। हर रन में प्रोवाइडर की अपनी प्रॉम्प्ट कैशिंग चालू थी, और टोकन तथा लागत हर रिस्पॉन्स के usage से ली गई हैं, थिंकिंग टोकन समेत।
| मॉडल | बचे टोकन | बिना की लागत | साथ की लागत | कितनी कम | मॉडल कॉल | मीडियन रिस्पॉन्स |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 से 896 | 2.7 s से 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 से 898 | 2.9 s से 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 से 897 | 1.8 s से 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 से 897 | 1.4 s से 125 ms |
कैश किए गए उत्तर कितने अच्छे हैं?
कैश से दिए गए हर दोबारा शब्दों में लिखे सवाल के लिए, एक दूसरे मॉडल ने कैश किए उत्तर की तुलना उस नए उत्तर से की जो वही मॉडल उसी सटीक सवाल पर देता, यादृच्छिक क्रम में। किसी भी मॉडल ने अपने ही आउटपुट को नहीं जांचा। यह एक लैंग्वेज मॉडल का मूल्यांकन है, इंसानी समीक्षा नहीं, और मॉडलों के बीच उसकी सख्ती अलग-अलग होती है, इसलिए कैश किए और नए उत्तरों की तुलना केवल एक ही मॉडल के भीतर करें।
| मॉडल | दोबारा शब्दों में लिखे सवाल जांचे गए | कैश किया उत्तर सही बैठता है | नया उत्तर सही बैठता है |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
समानता थ्रेशहोल्ड बचत और उत्तर की गुणवत्ता के बीच संतुलन तय करता है
हर पंक्ति उन्हीं 3,000 अनुरोधों पर Claude Sonnet 5.5 का अलग रन है (HotKV के बिना लागत: $5.51)।
| थ्रेशहोल्ड | लागत | कितनी कम | कैश किया उत्तर सही बैठता है | नया उत्तर सही बैठता है |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
ये आंकड़े क्या दिखाते हैं और क्या नहीं
- ऊपर के नतीजों में इस्तेमाल हुए 0.81 थ्रेशहोल्ड पर कैश किया उत्तर सटीक सवाल पर नए उत्तर की तुलना में 6 से 11 प्रतिशत अंक कम बार सही बैठता है। दोबारा शब्दों में लिखे सवाल लगभग 31% अनुरोध हैं, इसलिए सभी रिस्पॉन्स में यह मोटे तौर पर 2 से 3 अंक बैठता है। थ्रेशहोल्ड रन में 0.88 और उससे ऊपर कैश किए उत्तर नए उत्तरों से खराब नहीं थे, जबकि लागत का 61% से 64% तब भी बचा।
- ऊपर का "वही मंशा" आंकड़ा "वही सही उत्तर" नहीं दर्शाता। जानबूझकर पास-पास रखे गए 119 सवाल जोड़ों के परीक्षण में, जहां जमा बनाम निकासी जैसा कोई एक ब्योरा सही उत्तर बदल देता है, बदले हुए सवालों में से 62% को 0.81 पर, 25% को 0.90 पर और 10% को 0.95 पर कैश किया उत्तर दिया जाता। ये जोड़े जानबूझकर कठिन बनाए गए हैं और सबसे बुरी स्थिति दिखाते हैं, असली ट्रैफ़िक में यह कितनी बार होता है यह नहीं। अगर आपके उपयोग में गलत उत्तर महंगे पड़ते हैं, तो थ्रेशहोल्ड बढ़ाएं।
- छोटे बैंकिंग सवालों का एक सार्वजनिक डेटासेट, एक एम्बेडिंग मॉडल और एक स्वचालित जज। थ्रेशहोल्ड का प्रभाव एक मॉडल पर मापा गया। बाकी तीन केवल 0.81 पर चलाए गए। आपकी दोहराव दर और आपके सवालों से अलग आंकड़े आएंगे।
Banking77 टेस्ट स्प्लिट से तय सीड के साथ चुने गए 3,000 ग्राहक-सपोर्ट सवाल (इंटेंट की लोकप्रियता Zipf वितरण का पालन करती है, s=1.0। हर इंटेंट के भीतर सवाल समान रूप से, दोहराव के साथ चुने गए)। हर सवाल उसी सपोर्ट पॉलिसी के साथ सिस्टम प्रॉम्प्ट के रूप में मॉडल को भेजा गया। बेसलाइन में हर अनुरोध मॉडल को कॉल करता है, प्रोवाइडर की अपनी प्रॉम्प्ट कैशिंग चालू रखकर। HotKV के साथ पहले एग्ज़ैक्ट-मैच लुकअप (नॉर्मलाइज़ किए सवाल की SHA-256 की पर GET), फिर सिमेंटिक लुकअप (सवाल के एम्बेडिंग के साथ SCACHE.GET) होता है, और मॉडल को सिर्फ़ मिस पर कॉल किया जाता है। टोकन गिनती हर API रिस्पॉन्स के usage ब्लॉक से ली गई है। लागत लिस्ट प्राइस पर है और एम्बेडिंग कॉल भी शामिल हैं। समानता थ्रेशहोल्ड अलग Banking77 ट्रेन स्प्लिट पर चुना गया, वह सबसे कम मान जो सिमेंटिक हिट पर कम से कम 98% वही-इंटेंट प्रिसीज़न देता है।
एम्बेडिंग मॉडल: OpenAI text-embedding-3-small। सिमेंटिक मैच थ्रेशहोल्ड: 0.81। डेटासेट: PolyAI का Banking77 (टेस्ट स्प्लिट), लाइसेंस CC BY 4.0। 77 इंटेंट में 3,000 अनुरोध।
11 अक्टूबर 2026 को मापा गया। बचत इस पर निर्भर करती है कि आपका ट्रैफ़िक खुद को कितनी बार दोहराता है। जिस वर्कलोड में कोई सवाल दोहराया या मिलता-जुलता नहीं होता, उसमें कुछ नहीं बचता।
AI फ़ीचर शिप करें, इन्फ्रास्ट्रक्चर नहीं
AI कमांड सेट HotKV Cloud पर हर Performance और Scale इंस्टेंस के साथ आता है। रिट्रीवल, मेमोरी और लागत नियंत्रण बनाना शुरू करने के लिए अर्ली एक्सेस का अनुरोध करें।