Structured extraction
इनवॉइस और फ़ॉर्म validated JSON में बदले जाते हैं। उसी दस्तावेज़ को दोबारा प्रोसेस करने पर बिना किसी और मॉडल कॉल के validated नतीजा मिलता है।
AI और LLMLLM ऑपरेशनPerformance और Scale प्लान
Guardrail और Moderation Caching
जो जवाब आपके validators पास कर चुके हैं उन्हें दोहराइए, और बार-बार गड़बड़ करने वालों को moderation या मॉडल को दोबारा कॉल किए बिना मना कीजिए।
- cache, अच्छे और बुरे के लिए
- 2
- hit पर दोबारा validation
- 0
- मनाही के लिए TTL
- छोटे
कदम 1 में से 5
जनरेट करें और validate करें
Namespaces GUARD.CREATE और NCACHE.CREATE से एक बार बनाए गए थे। मॉडल JSON बनाता है, और कुछ भी रखे जाने से पहले आपका validator उसे schema से मिलाकर जाँचता है।
उदाहरण सेशनplaying
# जनरेट करें और validate करें
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
असली HotKV कमांड और उदाहरण रिस्पॉन्स के साथ एक एनिमेटेड वॉकथ्रू। किसी भी कदम पर क्लिक करके वहां पहुंचें। कमांड और रिस्पॉन्स अंग्रेज़ी में ही रहते हैं, ठीक वैसे जैसे आप HotKV में टाइप करते और देखते हैं।
समस्या
Structured आउटपुट और सुरक्षा जाँच धीमी होती हैं और पैसे लगते हैं। एक मॉडल कॉल होता है, एक JSON schema validation होता है, और शायद जवाब को परखने के लिए दूसरा मॉडल भी। दोहराए गए requests यह सब फिर चुकाते हैं। और वही अपमानजनक prompt, जिसे कोई स्क्रिप्ट हज़ार बार भेजती है, हज़ार बार moderation तक जाता है।
HotKV इसे कैसे संभालता है
Guard cache सिर्फ़ वही जवाब रखता है जो आपकी schema validation या guardrail जाँच पहले ही पास कर चुके हैं, इसलिए hit को जैसा है वैसा दोहराना सुरक्षित माना जाता है। Negative cache "moderation ने मना किया" जैसी मनाही को छोटे TTL के साथ याद रखता है, इसलिए बार-बार आने वाले बुरे requests moderation सर्विस या मॉडल तक पहुँचने से पहले ही लौटा दिए जाते हैं।
कदम दर कदम
क्या होता है, कमांड दर कमांड
- 01
जनरेट करें और validate करें
Namespaces GUARD.CREATE और NCACHE.CREATE से एक बार बनाए गए थे। मॉडल JSON बनाता है, और कुछ भी रखे जाने से पहले आपका validator उसे schema से मिलाकर जाँचता है।
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
दोबारा जाँचे बिना दोहराएँ
वही request फिर से। रखा हुआ जवाब validation पहले ही पास कर चुका है, इसलिए वह जैसा है वैसा लौटा दिया जाता है।
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Moderation एक prompt को मना करता है
एक हानिकारक prompt मना किया जाता है। मनाही पाँच मिनट तक याद रखी जाती है।
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
स्क्रिप्ट फिर कोशिश करती है
थोड़ी देर बाद वही prompt cache से लौटा दिया जाता है। Moderation और मॉडल कॉल नहीं होते।
NCACHE.GET refused "prompt:9f31c2" - 05
दोनों cache मापें
हर namespace hits, misses, evictions और मेमोरी रिपोर्ट करता है।
GUARD.STATS validated
कहां फ़िट बैठता है
असली परिदृश्य
कंज़्यूमर चैट ऐप
एक ही prompt पर ताबड़तोड़ हमला करने वाली abuse स्क्रिप्ट negative cache से लौटा दी जाती हैं, जिससे moderation की लागत स्थिर रहती है।
जो lookup फेल होते हैं
"User not found" और दूसरे नकारात्मक जवाब थोड़ी देर के लिए cache होते हैं, इसलिए retries बैकएंड तक नहीं पहुँचते।
अंतर्निहित
आपको क्या मिलता है
Guard cache
सिर्फ़ वे जवाब रखे जाते हैं जो आपकी जाँच पास कर चुके हैं, इसलिए hit को दोहराना सुरक्षित है।
GUARD.SETGUARD.GETNegative cache
मनाही और not-found नतीजे थोड़े समय के लिए याद रखिए।
NCACHE.SETNCACHE.GETTTL और सीमाएँ
हर namespace के लिए डिफ़ॉल्ट TTL और entry की सीमाएँ, भर जाने पर eviction के साथ।
GUARD.CREATENCACHE.CREATEआँकड़े
हर namespace के hits, misses, evictions, मेमोरी और बचत।
GUARD.STATSNCACHE.STATSआम सवाल
क्या HotKV आउटपुट को खुद validate करता है?
नहीं। फ़ैसला आपका validator या guardrail करता है। HotKV सिर्फ़ वही रखता है जो पास होने के बाद आप guard cache में डालते हैं।
मनाही को कितनी देर cache करना चाहिए?
आमतौर पर थोड़ी देर, दिनों के बजाय मिनटों के लिए, ताकि नीति में बदलाव या false positive टिका न रहे। TTL हर namespace या हर entry के लिए सेट कीजिए।
कौन से प्लान में यह शामिल है?
Guard cache और negative cache Performance और Scale प्लान का हिस्सा हैं।
संबंधित उपयोग के मामले
इसे अपने वर्कलोड पर आज़माएं
HotKV Redis प्रोटोकॉल बोलता है, इसलिए आप किसी मौजूदा क्लाइंट को इसकी ओर इंगित करके यही कमांड चला सकते हैं।