الذكاء الاصطناعي وLLMالوكلاءخطتا Performance وScale

تخزين مؤقت لاستدعاءات أدوات الوكلاء

يستدعي الوكلاء الأدوات نفسها بالوسائط نفسها مرارًا وتكرارًا. احفظ النتائج وتوقف عن الدفع مرتين مقابل استدعاء API نفسه.

بحث قبل كل استدعاء أداة: 1
لكل مساحة أسماء أو إدخال: TTL
وفورات يعرضها STATS: $

الخطوة 1 من 5

أنشئ مساحة الأسماء

يتغير الطقس ببطء، فتبقى النتائج 15 دقيقة.

جلسة توضيحيةplaying

# أنشئ مساحة الأسماء

hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900

عرض متحرك بأوامر HotKV حقيقية وردود توضيحية. انقر على أي خطوة للانتقال إليها. تبقى الأوامر والردود بالإنجليزية، تمامًا كما تكتبها وتراها في HotKV.

المشكلة

الوكلاء يدورون في حلقات. فهم يبحثون عن حالة الطقس نفسها وسعر الصرف نفسه ونتيجة SQL نفسها وصفحة الويب نفسها عدة مرات في جولة واحدة، ثم مجددًا في الجولة التالية. وكل استدعاء يكلّف زمن انتظار وحصة من حد المعدل وغالبًا مالًا، والأدوات البطيئة تجعل كل خطوة للوكيل بطيئة.

كيف يتعامل HotKV معها

تحفظ الذاكرة المؤقتة للأدوات نتائج استدعاءات الأدوات الحتمية تحت مفتاح مبني من اسم الأداة ووسائطها. وقبل استدعاء أداة، يسأل الوكيل الذاكرة المؤقتة. الإصابة تعيد النتيجة المخزنة فورًا، والإخفاق يستدعي الأداة مرة واحدة ويخزّن النتيجة مع TTL يناسب مدى الحداثة المطلوبة.

خطوة بخطوة

ما يحدث، أمرًا بأمر

01
أنشئ مساحة الأسماء
يتغير الطقس ببطء، فتبقى النتائج 15 دقيقة.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
02
الاستدعاء الأول إخفاق
لا شيء مخزن لهذه الوسائط بعد.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
03
استدعِ الأداة مرة واحدة وخزّنها
تُستدعى الواجهة الحقيقية، وتُخزَّن النتيجة مؤقتًا لمدة الـ 15 دقيقة التالية.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900
04
كل تكرار إصابة
يخطط الوكيل لرحلة يوم ثانٍ ويسأل مجددًا. وكذلك يفعل وكلاء آخرون لمسافرين آخرين.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
05
احسب الوفورات
تُعرض الإصابات والإخفاقات والاستهلاك الموفَّر لكل مساحة أسماء.
TOOL.CACHE.STATS tools

أين يناسب

سيناريوهات من الواقع

وكلاء السفر والحجز

تتكرر عمليات البحث عن الطقس والعملات والتوافر عبر المسافرين وخطوات التخطيط. وتُجلب كل نتيجة مرة واحدة لكل TTL.

وكلاء البيانات

تُحفظ نتائج استعلامات SQL للقراءة فقط ومقاييس لوحات التحكم، فلا يُثقل الوكيل الذي يستكشف البيانات مستودع البيانات.

وكلاء التصفح

تُخزَّن صفحات الويب المجلوبة والمحللة مؤقتًا، فلا تُنزَّل الصفحة نفسها مجددًا في كل جولة.

مدمج

ما تحصل عليه

الحفظ حسب الوسائط

تُبنى المفاتيح من اسم الأداة ووسائطها، فيُخزَّن كل استدعاء مختلف على حدة.

TOOL.CACHE.GETTOOL.CACHE.SET

التحكم في الحداثة

TTL افتراضي لكل مساحة أسماء وTTL اختياري لكل إدخال.

TTL

ذاكرة محدودة

حد للإدخالات لكل مساحة أسماء، مع الإخلاء عند امتلائها.

MAX_ENTRIES

تقرير الوفورات

الإصابات والإخفاقات وعمليات الإخلاء والذاكرة والاستهلاك الموفَّر.

TOOL.CACHE.STATS

المرجع:TOOL.CACHE.CREATE TOOL.CACHE.GET TOOL.CACHE.SET TOOL.CACHE.STATS

أسئلة شائعة

ما الأدوات التي ينبغي أن أخزّنها مؤقتًا؟

الاستدعاءات الحتمية للقراءة فقط، مثل عمليات البحث والاستعلامات التي تعتمد نتيجتها على الوسائط وحدها. ولا تخزّن أبدًا الأدوات التي تغيّر شيئًا، مثل إرسال بريد إلكتروني.

هل يمكن إزالة نتيجة مخزنة قبل أوانها؟

نعم. يزيل TOOL.CACHE.DEL إدخالًا واحدًا ويفرغ TOOL.CACHE.FLUSH مساحة أسماء كاملة.

ما الخطط التي تتضمنها؟

الذاكرة المؤقتة للأدوات جزء من خطتي Performance وScale.