التقارير المجدولة
تُولَّد الملخصات نفسها لكل من يشاهد لوحة التحكم. استدعاء واحد للنموذج لكل تقرير في اليوم بدل استدعاء لكل مشاهدة.
الذكاء الاصطناعي وLLMتطبيقات LLMخطتا Performance وScale
تخزين مؤقت مطابق للموجّهات
لا تدفع مرتين أبدًا مقابل الموجّه نفسه. ذاكرة مؤقتة لـ LLM بالتطابق التام تحصي الرموز والدولارات التي وفّرتها لك.
- دون أي إصابة خاطئة
- تطابق تام
- زمن البحث في STATS
- p50
- وفورات تُتتبَّع لكل مساحة أسماء
- $
الخطوة 1 من 4
أنشئ مساحة أسماء
امنحها TTL لتتجدد الإجابات، وحدّد ما توفّره الإصابة في المتوسط.
جلسة توضيحيةplaying
# أنشئ مساحة أسماء
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
عرض متحرك بأوامر HotKV حقيقية وردود توضيحية. انقر على أي خطوة للانتقال إليها. تبقى الأوامر والردود بالإنجليزية، تمامًا كما تكتبها وتراها في HotKV.
المشكلة
ترسل المهام الدفعية وإعادة المحاولات والتقارير المجدولة والأسئلة الشائعة الموجّه نفسه إلى النموذج مرارًا وتكرارًا. ويُحاسَب كل منها بالكامل، ولا يستطيع أحد أن يقول كم كانت ستوفّر ذاكرة مؤقتة، لأن لا شيء يقيس ذلك.
كيف يتعامل HotKV معها
تخزّن الذاكرة المؤقتة للموجّهات الاستجابة لكل موجّه مطابق، مع النموذج وأعداد الرموز للاستدعاء الذي أنتجها. وتُحصى كل إصابة لاحقة، فيستطيع HotKV أن يعرض الطلبات والرموز والدولارات التي لم تنفقها.
خطوة بخطوة
ما يحدث، أمرًا بأمر
- 01
أنشئ مساحة أسماء
امنحها TTL لتتجدد الإجابات، وحدّد ما توفّره الإصابة في المتوسط.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
إخفاق، ثم تخزين مع الاستهلاك
يذهب الاستدعاء الأول إلى النموذج. وتُخزَّن الإجابة مع النموذج وأعداد الرموز التي أنتجتها.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
كل تكرار مجاني
تسأل المهمة الليلية وكل عرض للوحة التحكم السؤال نفسه. وكلها إصابات.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
شاهد ما وفّرته
تتضمن الإحصاءات معدل الإصابة وزمن البحث والاستهلاك الذي لم تدفع ثمنه.
PCACHE.STATS reports
أين يناسب
سيناريوهات من الواقع
الترجمة والتعريب
تُترجم نصوص الواجهة وأوصاف المنتجات مرة واحدة لكل لغة، ثم تُقدَّم من الذاكرة المؤقتة في كل طلب بعد ذلك.
خطوط معالجة التصنيف
تحصل التذاكر والمراجعات ورسائل البريد ذات النص المتطابق على التصنيف نفسه دون استدعاء آخر للنموذج.
مدمج
ما تحصل عليه
تطابق تام
لا إصابة إلا للموجّه المتطابق، فلا تُقدَّم إجابة مخزنة لسؤال مختلف أبدًا.
PCACHE.GETPCACHE.SETيراعي الاستهلاك
خزّن النموذج وأعداد الرموز مع كل إجابة لتُحسب الوفورات من الاستهلاك الحقيقي.
MODELINPUTOUTPUTالبيانات الوصفية وأعداد الإصابات
يعيد PCACHE.GETEX الإجابة مع بياناتها الوصفية وعدد مرات تقديمها.
PCACHE.GETEXمعدل الإصابة وزمن الاستجابة
يعرض PCACHE.STATS الإصابات والإخفاقات وعمليات الإخلاء والذاكرة وزمن البحث والوفورات.
PCACHE.STATSأسئلة شائعة
متى أستخدم الذاكرة المؤقتة للموجّهات بدل الذاكرة المؤقتة الدلالية؟
استخدم الذاكرة المؤقتة للموجّهات عندما تتكرر الموجّهات حرفيًا، كما في المهام الدفعية والقوالب الثابتة. واستخدم الذاكرة المؤقتة الدلالية عندما يصوغ الناس السؤال نفسه بطرق مختلفة. وكثير من التطبيقات يتحقق من الاثنتين.
هل هذا هو نفسه التخزين المؤقت للموجّهات لدى المزوّد؟
لا. التخزين المؤقت لدى المزوّد يمنح خصمًا على البادئات المتكررة من جهته. أما الإصابة في HotKV فلا تصل إلى المزوّد أصلًا، فتتراكم فائدة الاثنين معًا.
ما الخطط التي تتضمنها؟
الذاكرة المؤقتة للموجّهات جزء من خطتي Performance وScale.
حالات استخدام ذات صلة
جرّبه على عبء عملك
يتحدث HotKV بروتوكول Redis، لذا يمكنك توجيه عميل موجود إليه وتشغيل هذه الأوامر نفسها.