AI ו-LLMיישומי LLMתוכניות Performance ו-Scale

עוזר תמיכת לקוחות מבוסס AI

בוט תמיכה שעונה מיד על חזרות, מתאים ניסוחים אחרים לפי משמעות, מעגן תשובות חדשות במרכז העזרה שלכם ואף פעם לא חורג מהתקציב.

מנועי AI בשרת אחד: 5
קריאה למודל לכל שאלה חדשה: 1
מסדי נתונים נוספים להפעיל: 0

צעד 1 מתוך 6

בודקים את תקציב הדייר

התקציב של כל דייר נקבע פעם אחת עם LLMBUDGET.SET. לפני כל עבודה מול המודל, מחייבים אותו באופן אטומי. דייר שחרג מהמכסה נדחה כאן, לפני שהוצא כסף.

סשן לדוגמהplaying

# בודקים את תקציב הדייר

hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002

הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.

הבעיה

עוזר תמיכה אמיתי הוא יותר מפרומפט. הוא צריך מטמון כדי שלא ישלמו פעמיים על אותה שאלה, אחזור ממרכז העזרה, זיכרון של השיחה ותקציב כדי שלקוח אחד לא יוכל להנפיח את החשבון. בדרך כלל זה אומר ארבעה או חמישה שירותים, ויותר זמן על קוד הדבקה מאשר על המוצר.

איך HotKV מטפל בזה

HotKV מריץ כל אחד מהחלקים האלה כפקודות בשרת אחד. העוזר בודק את תקציב הדייר, עונה על חזרות מדויקות ממטמון הפרומפטים ועל ניסוחים אחרים מהמטמון הסמנטי, שולף קטעים ממרכז העזרה עבור כל דבר חדש, שומר את השיחה ושומר במטמון כל תשובה חדשה עבור הלקוח הבא ששואל.

צעד אחר צעד

מה קורה, פקודה אחר פקודה

01
בודקים את תקציב הדייר
התקציב של כל דייר נקבע פעם אחת עם LLMBUDGET.SET. לפני כל עבודה מול המודל, מחייבים אותו באופן אטומי. דייר שחרג מהמכסה נדחה כאן, לפני שהוצא כסף.
LLMBUDGET.CONSUME tenant:acme 900 0.002
02
חזרה מדויקת, נענית מיד
אותה שאלה שנשאלת מילה במילה היא פגיעה במטמון הפרומפטים. בלי embedding ובלי קריאה למודל.
PCACHE.GET support "How do I reset my password?"
03
ניסוח אחר, מותאם לפי משמעות
“I forgot my login password” מנוסחת אחרת. ה-embedding שלה קרוב מספיק לשאלה במטמון הסמנטי, שנוצר פעם אחת עם SCACHE.CREATE, ולכן התשובה השמורה חוזרת.
SCACHE.GET support 0.013 -0.21 0.88 ...
04
משהו חדש, ולכן שולפים הקשר
שאלה שאף אחד עוד לא שאל. חיפוש היברידי על מרכז העזרה שנקלט מחזיר את הקטעים שהמודל צריך.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66
05
קריאה אחת למודל, והיא נזכרת
המודל עונה כשהקטעים משמשים לו הקשר. התור מתווסף לשיחה, שנפתחה עם AMEM.CONV.CREATE כשהצ'אט התחיל, כך שלהודעה הבאה יש היסטוריה.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."
06
שומרים במטמון עבור הלקוח הבא
התשובה החדשה נכנסת למטמון הסמנטי, כך שכל ניסוח אחר של השאלה הזו בהמשך הוא פגיעה.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...

איפה זה מתאים

תרחישים מהעולם האמיתי

מוקד תמיכה של SaaS

אלפי לקוחות שואלים על סיסמאות, חשבוניות ומגבלות תוכנית. הרבה מהשאלות הן חזרות או ניסוחים אחרים ונענות מהמטמון. רק שאלות חדשות באמת מגיעות למודל.

בוט החזרות של חנות מקוונת

מדיניות ההחזרות והמשלוחים נקלטת פעם אחת כצינור RAG. התשובות מעוגנות בנוסח המדיניות העדכני, ולכל חנות בפלטפורמה יש תקציב משלה.

עוזר IT פנימי

עובדים שואלים את אותן שאלות על VPN ועל מחשב נייד כל שבוע. העוזר שומר כל שיחה, נזכר בתורים קודמים ועוצר לולאה שיצאה משליטה לפני שהיא שורפת את המכסה החודשית.

מובנה