तय समय की रिपोर्टिंग
डैशबोर्ड के हर दर्शक के लिए वही सारांश बनाए जाते हैं। हर व्यू पर एक की जगह हर रिपोर्ट पर रोज़ एक मॉडल कॉल।
AI और LLMLLM एप्लिकेशनPerformance और Scale प्लान
Exact Prompt Caching
एक ही prompt के लिए दो बार भुगतान कभी नहीं। एक exact-match LLM cache जो गिनता है कि उसने आपके कितने tokens और डॉलर बचाए।
- मिलान, शून्य गलत hits
- Exact
- STATS में lookup latency
- p50
- हर namespace की बचत का हिसाब
- $
कदम 1 में से 4
Namespace बनाएं
इसे एक TTL दें ताकि जवाब ताज़ा होते रहें, और यह भी कि एक hit औसतन कितना बचाता है।
उदाहरण सेशनplaying
# Namespace बनाएं
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
असली HotKV कमांड और उदाहरण रिस्पॉन्स के साथ एक एनिमेटेड वॉकथ्रू। किसी भी कदम पर क्लिक करके वहां पहुंचें। कमांड और रिस्पॉन्स अंग्रेज़ी में ही रहते हैं, ठीक वैसे जैसे आप HotKV में टाइप करते और देखते हैं।
समस्या
Batch जॉब, retries, तय समय पर बनने वाली रिपोर्ट और लोकप्रिय सवाल वही prompt मॉडल को बार-बार भेजते हैं। हर एक का पूरा बिल बनता है, और कोई नहीं बता सकता कि cache से कितनी बचत होती, क्योंकि कुछ भी उसे मापता नहीं।
HotKV इसे कैसे संभालता है
prompt cache हर exact prompt का जवाब सहेजता है, साथ में उस कॉल का मॉडल और token गिनती जिसने वह जवाब बनाया। हर बाद का hit गिना जाता है, इसलिए HotKV बता सकता है कि आपने कितने अनुरोध, tokens और डॉलर खर्च नहीं किए।
कदम दर कदम
क्या होता है, कमांड दर कमांड
- 01
Namespace बनाएं
इसे एक TTL दें ताकि जवाब ताज़ा होते रहें, और यह भी कि एक hit औसतन कितना बचाता है।
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Miss, फिर usage के साथ सहेजें
पहली कॉल मॉडल के पास जाती है। जवाब उस मॉडल और token गिनती के साथ सहेजा जाता है जिसने उसे बनाया।
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
हर दोहराव मुफ़्त है
रात का जॉब और डैशबोर्ड का हर व्यू वही चीज़ माँगता है। वे सब hits हैं।
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
देखें कि आपने क्या बचाया
आँकड़ों में hit rate, lookup latency और वह usage शामिल है जिसका आपने भुगतान नहीं किया।
PCACHE.STATS reports
कहां फ़िट बैठता है
असली परिदृश्य
अनुवाद और localisation
UI की स्ट्रिंग और प्रोडक्ट विवरण हर भाषा में एक बार अनुवादित होते हैं और उसके बाद हर अनुरोध पर cache से परोसे जाते हैं।
Classification pipelines
हूबहू एक जैसे पाठ वाले टिकट, रिव्यू और ईमेल को बिना दूसरी मॉडल कॉल के वही लेबल मिलता है।
अंतर्निहित
आपको क्या मिलता है
Exact मिलान
hit सिर्फ़ हूबहू एक जैसे prompt पर होता है, इसलिए cache किया हुआ जवाब किसी दूसरे सवाल के लिए कभी नहीं परोसा जाता।
PCACHE.GETPCACHE.SETUsage की जानकारी के साथ
हर जवाब के साथ मॉडल और token गिनती सहेजें ताकि बचत असली usage से निकाली जाए।
MODELINPUTOUTPUTMetadata और hit गिनती
PCACHE.GETEX जवाब को उसके metadata और इस बात के साथ लौटाता है कि वह कितनी बार परोसा जा चुका है।
PCACHE.GETEXHit rate और latency
PCACHE.STATS hits, misses, evictions, मेमोरी, lookup latency और बचत बताता है।
PCACHE.STATSआम सवाल
मुझे semantic cache की जगह prompt cache कब इस्तेमाल करना चाहिए?
prompt cache तब इस्तेमाल करें जब prompts हूबहू दोहराए जाते हों, जैसे batch जॉब और तय templates। semantic cache तब इस्तेमाल करें जब लोग एक ही सवाल अलग शब्दों में पूछते हों। कई एप्लिकेशन दोनों जाँचते हैं।
क्या यह provider की prompt caching जैसा ही है?
नहीं। provider की prompt caching उनकी तरफ़ दोहराए गए prefixes पर छूट देती है। HotKV का एक hit provider तक कभी पहुँचता ही नहीं, इसलिए दोनों की बचत जुड़ जाती है।
इसमें कौन से प्लान शामिल हैं?
prompt cache Performance और Scale प्लान का हिस्सा है।
संबंधित उपयोग के मामले
इसे अपने वर्कलोड पर आज़माएं
HotKV Redis प्रोटोकॉल बोलता है, इसलिए आप किसी मौजूदा क्लाइंट को इसकी ओर इंगित करके यही कमांड चला सकते हैं।