תמיכת לקוחות
איפוס סיסמאות, עותקי חשבוניות וזמני משלוח נשאלים שוב ושוב. כל ניסוח אחרי הראשון מוגש מהמטמון.
AI ו-LLMיישומי LLMתוכניות Performance ו-Scale
מטמון סמנטי לתשובות
שומרים במטמון תשובות LLM לפי משמעות ולא לפי טקסט מדויק, כך ששאלות מנוסחות אחרת פוגעות במטמון ומדלגות על הקריאה למודל.
- חיפוש לפני כל קריאה למודל
- 1
- מדדי דמיון
- 3
- דריסת הסף
- לכל קריאה
צעד 1 מתוך 6
יוצרים מרחב שמות
קובעים את גודל ה-embedding ואת הדמיון שנחשב לפגיעה.
סשן לדוגמהplaying
# יוצרים מרחב שמות
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.
הבעיה
עוזר תמיכה מקבל את אותה שאלה במאה ניסוחים שונים. מטמון בהתאמה מדויקת מחטיא כמעט את כולם, ולכן כל ניסוח אחר משלם על קריאה מלאה למודל וממתין לתגובה המלאה.
איך HotKV מטפל בזה
מטמון סמנטי שומר כל תשובה לצד ה-embedding של השאלה שלה ומחפש שאלות חדשות לפי דמיון. אם פרומפט חדש קרוב מספיק לאחד שכבר נענה, התשובה השמורה חוזרת והמודל לעולם לא נקרא. הסף קובע כמה קרוב נחשב קרוב מספיק.
צעד אחר צעד
מה קורה, פקודה אחר פקודה
- 01
יוצרים מרחב שמות
קובעים את גודל ה-embedding ואת הדמיון שנחשב לפגיעה.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
החטאה, ולכן קוראים למודל פעם אחת
בפעם הראשונה ששואלים שאלה אין במטמון שום דבר דומה, ולכן המודל עונה עליה.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
זוכרים את התשובה
שומרים את השאלה, את התשובה ואת ה-embedding של השאלה, ליום אחד.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
ניסוח אחר פוגע
“forgot my login pass” נוחתת קרוב לשאלה השמורה. התשובה והדמיון שלה חוזרים, והמודל מדולג.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
מחמירים בחיפוש אחד
חיפוש יכול לבקש התאמה קרובה יותר מברירת המחדל של מרחב השמות, לתשובות שבהן החטאה קרובה אינה מספיקה.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
מודדים את החיסכון
סטטיסטיקות לכל מרחב שמות מראות באיזו תדירות המטמון ענה במקום המודל.
SCACHE.STATS support_bot
איפה זה מתאים
תרחישים מהעולם האמיתי
בוטים של ידע פנימי
עובדים שואלים על חופשות, החזרי הוצאות וגישת VPN במילים שלהם. תשובה אחת משרתת את כולם עד שתפוג.
כלי מפתחים
“How do I paginate?” ו-“how to page through results” מקבלות את אותה תשובה מתועדת בלי קריאה שנייה למודל.
מובנה
מה מקבלים
התאמה לפי משמעות
שאלות דומות חולקות תשובה אחת שמורה, בכל ניסוח.
SCACHE.GETSCACHE.SETאתם שולטים בהקפדה
קובעים את הסף לכל מרחב שמות ודורסים אותו בחיפוש בודד.
SCACHE.THRESHOLDחיסכון שאפשר למדוד
סטטיסטיקות לכל מרחב שמות מראות פגיעות, החטאות ורשומות.
SCACHE.STATSקוסינוס, L2 או מכפלה פנימית
בוחרים את המדד שמתאים למודל ה-embedding שלכם כשיוצרים את מרחב השמות.
SCACHE.CREATEשאלות נפוצות
כמה עולה פגיעה במטמון?
קריאת embedding אחת וחיפוש במטמון. הקריאה למודל וזמן היצירה שלה מדולגים.
איך נמנעים מתשובות שגויות מהתאמה רופפת?
מעלים את הסף. סף גבוה יותר דורש התאמה קרובה יותר, ולכן פחות שאלות פוגעות וכל פגיעה בטוחה יותר.
אילו תוכניות כוללות אותו?
המטמון הסמנטי הוא חלק מתוכניות Performance ו-Scale.
שימושים קשורים
נסו על עומס העבודה שלכם
HotKV מדבר את פרוטוקול Redis, ולכן אפשר להפנות אליו לקוח קיים ולהריץ את אותן פקודות.