دعم العملاء
إعادة تعيين كلمات المرور ونسخ الفواتير ومدد الشحن تُسأل مرارًا وتكرارًا. وكل صيغة بعد الأولى تُقدَّم من الذاكرة المؤقتة.
الذكاء الاصطناعي وLLMتطبيقات LLMخطتا Performance وScale
تخزين مؤقت دلالي للاستجابات
خزّن إجابات LLM مؤقتًا حسب المعنى لا حسب النص الحرفي، لتصيب الأسئلة المعاد صياغتها الذاكرة المؤقتة وتتجاوز استدعاء النموذج.
- بحث قبل كل استدعاء للنموذج
- 1
- مقاييس للتشابه
- 3
- تجاوز للعتبة
- لكل استدعاء
الخطوة 1 من 6
أنشئ مساحة أسماء
حدّد حجم التضمين ودرجة التشابه التي تُعدّ إصابة.
جلسة توضيحيةplaying
# أنشئ مساحة أسماء
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
عرض متحرك بأوامر HotKV حقيقية وردود توضيحية. انقر على أي خطوة للانتقال إليها. تبقى الأوامر والردود بالإنجليزية، تمامًا كما تكتبها وتراها في HotKV.
المشكلة
يتلقى مساعد الدعم السؤال نفسه بمئة صياغة مختلفة. والذاكرة المؤقتة بالتطابق التام تخطئ معظمها تقريبًا، فتدفع كل إعادة صياغة ثمن استدعاء كامل للنموذج وتنتظر الاستجابة كاملة.
كيف يتعامل HotKV معها
تخزّن الذاكرة المؤقتة الدلالية كل إجابة بجوار تضمين سؤالها، وتبحث عن الأسئلة الجديدة حسب التشابه. فإذا كان الموجّه الجديد قريبًا بما يكفي من سؤال أجبت عنه، تعود الإجابة المخزنة ولا يُستدعى النموذج أبدًا. والعتبة هي التي تحدد مقدار القرب الكافي.
خطوة بخطوة
ما يحدث، أمرًا بأمر
- 01
أنشئ مساحة أسماء
حدّد حجم التضمين ودرجة التشابه التي تُعدّ إصابة.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
إخفاق، فاستدعِ النموذج مرة واحدة
في المرة الأولى التي يُطرح فيها سؤال لا يوجد شيء مشابه في الذاكرة المؤقتة، فيجيب عنه النموذج.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
احفظ الإجابة
خزّن السؤال والإجابة وتضمين السؤال لمدة يوم واحد.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
إعادة صياغة تصيب
تقع عبارة "forgot my login pass" قريبًا من السؤال المخزن. فتعود الإجابة ودرجة تشابهها، ويُتجاوز النموذج.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
أكثر صرامة لبحث واحد
يمكن للبحث أن يطلب تطابقًا أقرب من الافتراضي لمساحة الأسماء، للإجابات التي لا يكفي فيها التطابق شبه الصحيح.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
قِس الوفورات
تُظهر الإحصاءات لكل مساحة أسماء عدد المرات التي أجابت فيها الذاكرة المؤقتة بدل النموذج.
SCACHE.STATS support_bot
أين يناسب
سيناريوهات من الواقع
روبوتات المعرفة الداخلية
يسأل الموظفون عن الإجازات والمصروفات والوصول إلى VPN بكلماتهم الخاصة. وإجابة واحدة تخدمهم جميعًا حتى تنتهي صلاحيتها.
أدوات المطورين
يحصل السؤالان "How do I paginate?" و"how to page through results" على الإجابة الموثقة نفسها دون استدعاء ثانٍ للنموذج.
مدمج
ما تحصل عليه
مطابقة حسب المعنى
تتشارك الأسئلة المتشابهة إجابة مخزنة واحدة، مهما اختلفت صياغتها.
SCACHE.GETSCACHE.SETأنت تتحكم في الصرامة
حدّد العتبة لكل مساحة أسماء وتجاوزها في بحث واحد.
SCACHE.THRESHOLDوفورات يمكنك قياسها
تُظهر الإحصاءات لكل مساحة أسماء الإصابات والإخفاقات والإدخالات.
SCACHE.STATSجيب التمام أو L2 أو الضرب الداخلي
اختر المقياس الذي يناسب نموذج التضمين لديك عند إنشاء مساحة الأسماء.
SCACHE.CREATEأسئلة شائعة
كم تكلّف الإصابة في الذاكرة المؤقتة؟
استدعاء تضمين واحد وبحث في الذاكرة المؤقتة. ويُتجاوز استدعاء النموذج ووقت توليده.
كيف أتجنب الإجابات الخاطئة الناتجة عن تطابق فضفاض؟
ارفع العتبة. فالعتبة الأعلى تتطلب تطابقًا أقرب، فتقل الأسئلة التي تصيب وتصبح كل إصابة أكثر يقينًا.
ما الخطط التي تتضمنها؟
الذاكرة المؤقتة الدلالية جزء من خطتي Performance وScale.
حالات استخدام ذات صلة
جرّبه على عبء عملك
يتحدث HotKV بروتوكول Redis، لذا يمكنك توجيه عميل موجود إليه وتشغيل هذه الأوامر نفسها.