AI ו-LLMיישומי LLMתוכניות Performance ו-Scale

מטמון פרומפטים מדויק

אף פעם לא משלמים פעמיים על אותו פרומפט. מטמון LLM בהתאמה מדויקת שסופר את הטוקנים והדולרים שחסך לכם.

התאמה, אפס פגיעות שגויות: מדויק
השהיית חיפוש ב-STATS: p50
חיסכון במעקב לכל מרחב שמות: $

צעד 1 מתוך 4

יוצרים מרחב שמות

נותנים לו TTL כדי שהתשובות יתרעננו, ואת מה שפגיעה חוסכת בממוצע.

סשן לדוגמהplaying

# יוצרים מרחב שמות

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.

הבעיה

עבודות אצווה, ניסיונות חוזרים, דוחות מתוזמנים ושאלות פופולריות שולחים את אותו פרומפט למודל שוב ושוב. כל אחד מחויב במלואו, ואף אחד לא יכול לומר כמה מטמון היה חוסך כי שום דבר לא מודד זאת.

איך HotKV מטפל בזה

מטמון הפרומפטים שומר את התגובה לכל פרומפט מדויק, יחד עם המודל וספירות הטוקנים של הקריאה שיצרה אותה. כל פגיעה בהמשך נספרת, כך ש-HotKV יכול לדווח על הבקשות, הטוקנים והדולרים שלא הוצאתם.

צעד אחר צעד

מה קורה, פקודה אחר פקודה

01
יוצרים מרחב שמות
נותנים לו TTL כדי שהתשובות יתרעננו, ואת מה שפגיעה חוסכת בממוצע.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
החטאה, ואז שמירה עם נתוני שימוש
הקריאה הראשונה הולכת למודל. התשובה נשמרת עם המודל וספירות הטוקנים שיצרו אותה.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
כל חזרה בחינם
עבודת הלילה וכל צפייה בלוח מחוונים שואלות את אותו דבר. כולן פגיעות.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
רואים כמה חסכתם
הסטטיסטיקות כוללות את שיעור הפגיעה, השהיית החיפוש ואת השימוש שלא שילמתם עליו.
PCACHE.STATS reports

איפה זה מתאים

תרחישים מהעולם האמיתי

דוחות מתוזמנים

אותם סיכומים נוצרים לכל צופה בלוח מחוונים. קריאה אחת למודל לכל דוח ביום במקום קריאה לכל צפייה.

תרגום ולוקליזציה

מחרוזות ממשק ותיאורי מוצרים מתורגמים פעם אחת לכל שפה ומוגשים מהמטמון בכל בקשה אחר כך.

צינורות סיווג

פניות, ביקורות ואימיילים עם טקסט זהה מקבלים אותה תווית בלי קריאה נוספת למודל.

מובנה

מה מקבלים

התאמה מדויקת

פגיעה רק עבור הפרומפט הזהה, כך שתשובה שמורה לעולם לא מוגשת לשאלה אחרת.

PCACHE.GETPCACHE.SET

מודע לשימוש

שומרים את המודל וספירות הטוקנים עם כל תשובה כדי שהחיסכון יחושב משימוש אמיתי.

MODELINPUTOUTPUT

מטא-דאטה וספירת פגיעות

PCACHE.GETEX מחזיר את התשובה עם המטא-דאטה שלה וכמה פעמים היא הוגשה.

PCACHE.GETEX

שיעור פגיעה והשהיה

PCACHE.STATS מדווח על פגיעות, החטאות, פינויים, זיכרון, השהיית חיפוש וחיסכון.

PCACHE.STATS

מקור:PCACHE.CREATE PCACHE.SET PCACHE.STATS

שאלות נפוצות

מתי להשתמש במטמון הפרומפטים ולא במטמון הסמנטי?

משתמשים במטמון הפרומפטים כשפרומפטים חוזרים בדיוק, כמו בעבודות אצווה ובתבניות קבועות. משתמשים במטמון הסמנטי כשאנשים מנסחים את אותה שאלה אחרת. יישומים רבים בודקים את שניהם.

האם זה אותו דבר כמו מטמון הפרומפטים של הספק?

לא. מטמון הפרומפטים של הספק נותן הנחה על תחיליות חוזרות מצדו. פגיעה ב-HotKV לעולם לא מגיעה לספק בכלל, ולכן שניהם מצטברים.

אילו תוכניות כוללות אותו?

מטמון הפרומפטים הוא חלק מתוכניות Performance ו-Scale.