منتجات SaaS للذكاء الاصطناعي
تتضمن كل خطة حصة شهرية من الرموز. وتُفرض الميزانية لحظة كل استدعاء، لا تُكتشف على الفاتورة.
الذكاء الاصطناعي وLLMعمليات LLMخطتا Performance وScale
حوكمة تكاليف LLM
افرض ميزانية للرموز والإنفاق لكل مستخدم أو مستأجر، واطّلع على الإنفاق الحقيقي لكل حاوية، وأنشئ تضمين النص المتطابق مرة واحدة فقط.
- خصم أو رفض
- ذري
- حدود لكل نافذة
- رموز + $
- تضمين لكل نص فريد
- 1x
الخطوة 1 من 6
حدّد ميزانية
2 مليون رمز و50 USD على مدى 30 يومًا لمستأجر واحد.
جلسة توضيحيةplaying
# حدّد ميزانية
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
عرض متحرك بأوامر HotKV حقيقية وردود توضيحية. انقر على أي خطوة للانتقال إليها. تبقى الأوامر والردود بالإنجليزية، تمامًا كما تكتبها وتراها في HotKV.
المشكلة
تكاليف LLM قائمة على الاستهلاك، وحلقة واحدة في وكيل قد تنفق ميزانية شهر في فترة بعد الظهر. والتحقق من الاستهلاك بعد وقوعه لا يخبرك إلا بما خسرته بالفعل، والتحقق من الميزانية غير الذري يمكن أن تتجاوزه الطلبات المتزامنة.
كيف يتعامل HotKV معها
يحتفظ HotKV بميزانية لكل مستخدم أو مستأجر ويخصم منها بشكل ذري، فإما أن يُسمح بالطلب ويُخصم، وإما أن يُرفض قبل استدعاء النموذج. وتسجّل إحصاءات منفصلة الرموز الحقيقية والتكلفة وزمن الاستجابة لكل حاوية، وتُخزَّن التضمينات حسب تجزئة المحتوى، فيُنشأ تضمين النص المتطابق مرة واحدة.
خطوة بخطوة
ما يحدث، أمرًا بأمر
- 01
حدّد ميزانية
2 مليون رمز و50 USD على مدى 30 يومًا لمستأجر واحد.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
اخصم قبل الاستدعاء
يُسمح بالطلب ويُخصم في خطوة واحدة. ثم يُستدعى النموذج.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
سجّل الاستهلاك الحقيقي
رموز الإدخال والإخراج والرموز المخزنة مؤقتًا، وتكلفة الاستدعاء وزمن استجابته، لكل حاوية.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
حلقة خارجة عن السيطرة تبلغ السقف
يواصل وكيل المستأجر العمل. وحين يتجاوز الاستدعاء التالي الحد، يُرفض ولا يُخصم.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
المستأجرون الآخرون لا يتأثرون
لكل مستأجر ميزانيته الخاصة.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
تحقق من وضع مستأجر
الاستهلاك والحدود والوقت المتبقي في النافذة وعدد الطلبات المرفوضة.
LLMBUDGET.STATUS tenant:acme
أين يناسب
سيناريوهات من الواقع
منصات الذكاء الاصطناعي الداخلية
لكل فريق ميزانية. والدفتر المنسي الذي يدور في حلقة طوال الليل يتوقف عند السقف.
معالجة المستندات
تتكرر مقاطع العقود عبر الإصدارات. وإزالة تكرار التضمينات تعني أن المستند المنقّح لا يدفع إلا ثمن الفقرات التي تغيّرت.
مدمج
ما تحصل عليه
تحقق ذري من الميزانية
يُخصم الطلب أو يُرفض في خطوة واحدة، فلا تستطيع الوكلاء المتزامنة تجاوز السقف معًا.
LLMBUDGET.CONSUMEرموز ودولارات
حدّد بعدد الرموز أو بالتكلفة أو بكليهما، على مدى نافذة تحددها.
LLMBUDGET.SETLLMBUDGET.STATUSالإنفاق الحقيقي لكل حاوية
سجّل رموز الإدخال والإخراج والرموز المخزنة مؤقتًا والتكلفة وزمن الاستجابة، ثم اقرأها.
LLMSTATS.RECORDLLMSTATS.GETتضمينات تُخزَّن مرة واحدة
إزالة التكرار حسب تجزئة المحتوى تعني أن تضمين النص المتطابق لا يُنشأ إلا مرة واحدة.
EMBED.DEDUP.PUTEMBED.DEDUP.GETأسئلة شائعة
ماذا يحدث عندما يتجاوز مستأجر ميزانيته؟
يعيد LLMBUDGET.CONSUME القيمة 0 ولا يخصم شيئًا. ثم يرفض تطبيقك الطلب أو يلجأ إلى مسار أرخص.
هل يمكنني التحديد بالتكلفة إلى جانب الرموز؟
نعم. للميزانية حد للرموز وحد للتكلفة بالدولار الأمريكي، على مدى النافذة التي تختارها.
ما الخطط التي تتضمنها؟
ميزانيات LLM وإحصاءاته وإزالة تكرار التضمينات جزء من خطتي Performance وScale.
حالات استخدام ذات صلة
جرّبه على عبء عملك
يتحدث HotKV بروتوكول Redis، لذا يمكنك توجيه عميل موجود إليه وتشغيل هذه الأوامر نفسها.