SaaS हेल्प डेस्क
हज़ारों ग्राहक पासवर्ड, इनवॉइस और प्लान की सीमाओं के बारे में पूछते हैं। कई सवाल दोहराए गए या अलग शब्दों में होते हैं और उनके जवाब cache से मिल जाते हैं। सिर्फ़ सचमुच नए सवाल ही मॉडल तक पहुँचते हैं।
AI और LLMLLM एप्लिकेशनPerformance और Scale प्लान
AI कस्टमर सपोर्ट असिस्टेंट
ऐसा सपोर्ट बॉट जो दोहराए गए सवालों का तुरंत जवाब देता है, अलग शब्दों में पूछे गए सवालों को अर्थ से पहचानता है, नए जवाब आपके हेल्प सेंटर पर आधारित रखता है और कभी बजट से ज़्यादा खर्च नहीं करता।
- एक सर्वर में AI इंजन
- 5
- हर नए सवाल पर मॉडल कॉल
- 1
- चलाने के लिए अतिरिक्त डेटाबेस
- 0
कदम 1 में से 6
Tenant का बजट जाँचें
हर tenant का बजट LLMBUDGET.SET से एक बार तय किया गया था। किसी भी मॉडल काम से पहले उसमें से atomically चार्ज करें। सीमा पार कर चुके tenant को यहीं मना कर दिया जाता है, पैसा खर्च होने से पहले।
उदाहरण सेशनplaying
# Tenant का बजट जाँचें
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
असली HotKV कमांड और उदाहरण रिस्पॉन्स के साथ एक एनिमेटेड वॉकथ्रू। किसी भी कदम पर क्लिक करके वहां पहुंचें। कमांड और रिस्पॉन्स अंग्रेज़ी में ही रहते हैं, ठीक वैसे जैसे आप HotKV में टाइप करते और देखते हैं।
समस्या
असली सपोर्ट असिस्टेंट सिर्फ़ एक prompt से कहीं ज़्यादा होता है। उसे एक cache चाहिए ताकि एक ही सवाल का दो बार भुगतान न करना पड़े, हेल्प सेंटर पर retrieval चाहिए, बातचीत की मेमोरी चाहिए, और एक बजट चाहिए ताकि कोई एक ग्राहक बिल न बढ़ा दे। आमतौर पर इसका मतलब चार या पाँच सर्विस होता है, और प्रोडक्ट से ज़्यादा समय उन्हें जोड़ने में चला जाता है।
HotKV इसे कैसे संभालता है
HotKV इन सभी हिस्सों को एक ही सर्वर में कमांड के रूप में चलाता है। असिस्टेंट tenant का बजट जाँचता है, हूबहू दोहराए गए सवालों का जवाब prompt cache से और अलग शब्दों वाले सवालों का जवाब semantic cache से देता है, किसी भी नई चीज़ के लिए हेल्प सेंटर के अंश निकालता है, बातचीत को सहेजता है, और हर नया जवाब अगले ग्राहक के लिए cache कर देता है जो वही पूछे।
कदम दर कदम
क्या होता है, कमांड दर कमांड
- 01
Tenant का बजट जाँचें
हर tenant का बजट LLMBUDGET.SET से एक बार तय किया गया था। किसी भी मॉडल काम से पहले उसमें से atomically चार्ज करें। सीमा पार कर चुके tenant को यहीं मना कर दिया जाता है, पैसा खर्च होने से पहले।
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
हूबहू दोहराया सवाल, तुरंत जवाब
शब्द दर शब्द वही सवाल दोबारा पूछा जाए तो वह prompt cache hit है। न embedding, न मॉडल कॉल।
PCACHE.GET support "How do I reset my password?" - 03
अलग शब्दों में सवाल, अर्थ से मिलान
“मैं अपना लॉगिन पासवर्ड भूल गया” अलग तरह से लिखा गया है। इसका embedding semantic cache के एक सवाल के काफ़ी करीब है, जिसे SCACHE.CREATE से एक बार बनाया गया था, इसलिए सहेजा हुआ जवाब वापस आ जाता है।
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
कुछ नया है, इसलिए context निकालें
ऐसा सवाल जो अभी तक किसी ने नहीं पूछा। इनजेस्ट किए गए हेल्प सेंटर पर hybrid search वे अंश लौटाता है जो मॉडल को चाहिए।
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
एक मॉडल कॉल, और याद रखा गया
मॉडल उन अंशों को context मानकर जवाब देता है। यह turn बातचीत में जुड़ जाता है, जिसे चैट शुरू होते समय AMEM.CONV.CREATE से खोला गया था, ताकि अगले संदेश के पास पूरा इतिहास हो।
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
अगले ग्राहक के लिए cache करें
नया जवाब semantic cache में चला जाता है, इसलिए इस सवाल का हर बाद का अलग शब्दों वाला रूप एक hit बनता है।
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
कहां फ़िट बैठता है
असली परिदृश्य
E-commerce रिटर्न बॉट
रिटर्न और डिलीवरी की नीतियाँ RAG pipeline के रूप में एक बार इनजेस्ट की जाती हैं। जवाब मौजूदा नीति के पाठ पर आधारित होते हैं और प्लेटफ़ॉर्म की हर दुकान का अपना बजट होता है।
इंटरनल IT असिस्टेंट
कर्मचारी हर हफ़्ते वही VPN और लैपटॉप के सवाल पूछते हैं। असिस्टेंट हर बातचीत को सहेजता है, पिछले turn याद रखता है और बेकाबू लूप को महीने का भत्ता जलाने से पहले रोक देता है।
अंतर्निहित
आपको क्या मिलता है
Caching की दो परतें
शब्द दर शब्द दोहराव के लिए exact prompt cache और अलग शब्दों वाले सवालों के लिए semantic cache, हर एक के अपने hit आँकड़ों के साथ।
PCACHE.GETSCACHE.GETआधारित जवाब
हेल्प सेंटर के लेख टुकड़ों में बाँटे जाते हैं और hybrid vector और keyword search वाली RAG pipeline में इंडेक्स होते हैं।
RAG.INGESTRAG.SEARCHबातचीत की मेमोरी
हर चैट अगले prompt के लिए turn की एक rolling window रखती है।
AMEM.CONV.APPENDAMEM.CONV.WINDOWहर ग्राहक का बजट
हर tenant के लिए token और डॉलर की सीमाएँ, जो मॉडल को कॉल करने से पहले atomically चार्ज होती हैं।
LLMBUDGET.CONSUMEआम सवाल
क्या मुझे अलग से vector database भी चाहिए?
नहीं। semantic cache, RAG pipeline और agent memory सब HotKV के अंदर चलते हैं, आपके बाकी एप्लिकेशन डेटा के बगल में।
मैं कौन से embedding और चैट मॉडल इस्तेमाल कर सकता हूँ?
कोई भी। HotKV वही vectors सहेजता और खोजता है जो आप उसे देते हैं, और खुद कभी कोई मॉडल कॉल नहीं करता, इसलिए providers पर आपका पूरा नियंत्रण रहता है।
इन कमांड में कौन से प्लान शामिल हैं?
prompt cache, semantic cache, RAG pipelines, agent memory और LLM बजट Performance और Scale प्लान का हिस्सा हैं।
संबंधित उपयोग के मामले
इसे अपने वर्कलोड पर आज़माएं
HotKV Redis प्रोटोकॉल बोलता है, इसलिए आप किसी मौजूदा क्लाइंट को इसकी ओर इंगित करके यही कमांड चला सकते हैं।