AI ו-LLMסוכניםתוכניות Performance ו-Scale

מטמון לקריאות כלים של סוכנים

סוכנים קוראים לאותם כלים עם אותם ארגומנטים שוב ושוב. שומרים את התוצאות ומפסיקים לשלם פעמיים על אותה קריאת API.

חיפוש לפני כל קריאה לכלי: 1
לכל מרחב שמות או רשומה: TTL
נחסך, מדווח על ידי STATS: $

צעד 1 מתוך 5

יוצרים את מרחב השמות

מזג האוויר משתנה לאט, ולכן התוצאות חיות 15 דקות.

סשן לדוגמהplaying

# יוצרים את מרחב השמות

hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900

הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.

הבעיה

סוכנים נכנסים ללולאות. הם מחפשים את אותו מזג אוויר, אותו שער חליפין, אותה תוצאת SQL ואותו עמוד אינטרנט כמה פעמים בהרצה אחת ושוב בהרצה הבאה. כל קריאה עולה בהשהיה, במגבלת קצב ולעיתים קרובות בכסף, וכלים איטיים מאטים כל צעד של כל סוכן.

איך HotKV מטפל בזה

מטמון הכלים שומר תוצאות של קריאות כלים דטרמיניסטיות תחת מפתח שנבנה משם הכלי והארגומנטים שלו. לפני שהסוכן קורא לכלי, הוא שואל את המטמון. פגיעה מחזירה מיד את התוצאה השמורה, החטאה קוראת לכלי פעם אחת ושומרת את התוצאה עם TTL שמתאים למידת הטריות הנדרשת.

צעד אחר צעד

מה קורה, פקודה אחר פקודה

01
יוצרים את מרחב השמות
מזג האוויר משתנה לאט, ולכן התוצאות חיות 15 דקות.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
02
קריאה ראשונה, החטאה
עדיין אין במטמון כלום לארגומנטים האלה.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
03
קוראים לכלי פעם אחת ושומרים
ה-API האמיתי נקרא, והתוצאה נשמרת במטמון ל-15 הדקות הבאות.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900
04
כל חזרה היא פגיעה
הסוכן מתכנן טיול יומי שני ושואל שוב. כך גם סוכנים אחרים עבור נוסעים אחרים.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
05
סופרים את החיסכון
פגיעות, החטאות ושימוש שנחסך מדווחים לכל מרחב שמות.
TOOL.CACHE.STATS tools