AI SaaS प्रोडक्ट
हर प्लान में tokens का मासिक कोटा शामिल है। बजट हर कॉल के क्षण पर लागू होता है, इनवॉइस आने पर पता नहीं चलता।
AI और LLMLLM ऑपरेशनPerformance और Scale प्लान
LLM Cost Governance
हर यूज़र या tenant के लिए token और खर्च का बजट लागू कीजिए, हर bucket का असली खर्च देखिए, और एक जैसे टेक्स्ट को सिर्फ़ एक बार embed कीजिए।
- charge या मना
- Atomic
- हर विंडो में सीमाएँ
- Tokens + $
- हर अनोखे टेक्स्ट का embedding
- 1x
कदम 1 में से 6
बजट तय करें
एक tenant के लिए 30 दिनों में 2 मिलियन tokens और 50 USD।
उदाहरण सेशनplaying
# बजट तय करें
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
असली HotKV कमांड और उदाहरण रिस्पॉन्स के साथ एक एनिमेटेड वॉकथ्रू। किसी भी कदम पर क्लिक करके वहां पहुंचें। कमांड और रिस्पॉन्स अंग्रेज़ी में ही रहते हैं, ठीक वैसे जैसे आप HotKV में टाइप करते और देखते हैं।
समस्या
LLM की लागत उपयोग पर आधारित है, और एजेंट का एक लूप एक दोपहर में महीने भर का बजट खर्च कर सकता है। बाद में उपयोग जाँचने से बस पता चलता है कि आप पहले ही क्या खो चुके हैं, और जो बजट जाँच atomic नहीं है उसे एक साथ आए requests पार कर सकते हैं।
HotKV इसे कैसे संभालता है
HotKV हर यूज़र या tenant के लिए एक बजट रखता है और उसे atomically charge करता है, इसलिए एक request या तो मंज़ूर होकर charge होती है या मॉडल कॉल होने से पहले ही मना कर दी जाती है। अलग आँकड़े हर bucket के असली tokens, लागत और latency दर्ज करते हैं, और embeddings content hash से रखे जाते हैं ताकि एक जैसा टेक्स्ट एक ही बार embed हो।
कदम दर कदम
क्या होता है, कमांड दर कमांड
- 01
बजट तय करें
एक tenant के लिए 30 दिनों में 2 मिलियन tokens और 50 USD।
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
कॉल से पहले charge करें
एक ही स्टेप में मंज़ूरी और charge। उसके बाद मॉडल कॉल होता है।
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
असली उपयोग दर्ज करें
कॉल के input, output और cached tokens, लागत और latency, हर bucket के हिसाब से।
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
बेकाबू लूप सीमा से टकराता है
Tenant का एजेंट चलता रहता है। जैसे ही अगला कॉल सीमा पार करेगा, उसे मना कर दिया जाता है और charge नहीं किया जाता।
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
दूसरे tenant पर असर नहीं
हर tenant का अपना बजट है।
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
देखें कि tenant कहाँ खड़ा है
उपयोग, सीमाएँ, विंडो में बचा समय और कितने requests मना किए गए।
LLMBUDGET.STATUS tenant:acme
कहां फ़िट बैठता है
असली परिदृश्य
इंटरनल AI प्लेटफ़ॉर्म
हर टीम का एक बजट है। रात भर लूप में चलता भूला हुआ notebook सीमा पर रुक जाता है।
दस्तावेज़ प्रोसेसिंग
कॉन्ट्रैक्ट के chunks कई versions में दोहराए जाते हैं। Deduplicated embeddings का मतलब है कि संशोधित दस्तावेज़ सिर्फ़ बदले हुए पैराग्राफ़ का भुगतान करता है।
अंतर्निहित
आपको क्या मिलता है
Atomic बजट जाँच
Request एक ही स्टेप में charge या मना होती है, इसलिए एक साथ चलते एजेंट मिलकर सीमा पार नहीं कर सकते।
LLMBUDGET.CONSUMETokens और डॉलर
आपकी तय की गई विंडो में token गिनती से, लागत से, या दोनों से सीमा लगाइए।
LLMBUDGET.SETLLMBUDGET.STATUSहर bucket का असली खर्च
Input, output और cached tokens, लागत और latency दर्ज कीजिए और वापस पढ़िए।
LLMSTATS.RECORDLLMSTATS.GETEmbeddings एक बार रखे जाते हैं
Content-hash deduplication का मतलब है कि एक जैसा टेक्स्ट सिर्फ़ एक बार embed होता है।
EMBED.DEDUP.PUTEMBED.DEDUP.GETआम सवाल
जब tenant बजट से ऊपर हो जाए तो क्या होता है?
LLMBUDGET.CONSUME 0 लौटाता है और charge नहीं करता। फिर आपका एप्लिकेशन request को मना करता है या सस्ते रास्ते पर चला जाता है।
क्या मैं tokens के साथ लागत से भी सीमा लगा सकता हूँ?
हाँ। बजट में token सीमा और अमेरिकी डॉलर में लागत सीमा होती है, आपकी चुनी हुई विंडो के लिए।
कौन से प्लान में यह शामिल है?
LLM बजट, आँकड़े और embedding deduplication Performance और Scale प्लान का हिस्सा हैं।
संबंधित उपयोग के मामले
इसे अपने वर्कलोड पर आज़माएं
HotKV Redis प्रोटोकॉल बोलता है, इसलिए आप किसी मौजूदा क्लाइंट को इसकी ओर इंगित करके यही कमांड चला सकते हैं।