נבנה לסטאק ה-AI
רוב הצוותים מוסיפים לאפליקציית ה-LLM שלהם מסד נתונים וקטורי, מטמון, מנוע חיפוש וערימה של קוד הדבקה. HotKV בונה את אבני הבניין האלה לתוך מנוע אחד בזיכרון, כך שהאחזור, הזיכרון ובקרת העלויות רצים לצד הנתונים שלכם.
בחרו שאלה. תראו איפה היא נענית, וכמה מהסטאק היא אף פעם לא צריכה לגעת בו.
- 00שאלהעוברת
- LLMBUDGETתקציב LLMעוברת
- PCACHEמטמון פרומפטיםנענתה
- SCACHEמטמון סמנטי
- RAGצינור RAG
- 05LLM
נענית ממטמון הפרומפטים. המודל לא נקרא בכלל.
הזמנים הם החציונים שנמדדו במדד חיסכון הטוקנים שלהלן. זמן המטמון הסמנטי לא נמדד, ולכן לא מוצג.
תשעה מנועי AI, שרת אחד
כל אחד הוא משפחת פקודות לצד הנתונים שלכם. פתחו כל אחד מהם כדי לראות אותו במקרה שימוש אמיתי.
למה להריץ AI על HotKV
אותה ליבה רב-תהליכונית שהובילה את Redis ואת Valkey בכל פקודה שמדדנו מפעילה גם את האחזור, הזיכרון ומנגנוני ההגנה שלכם.
מנוע אחד, לא חמישה שירותים
חיפוש וקטורי, מטמון סמנטי, RAG, זיכרון לסוכנים ומאגר פיצ'רים חיים כולם באותו תהליך. אין מסד וקטורי, מטמון ואשכול חיפוש נפרדים לפרוס, לאבטח ולשמור מסונכרנים.
פגיעות מטמון בפחות ממילישנייה
כל אבן בניין של AI רצה על אותה ליבה רב-תהליכונית שהובילה את Redis ואת Valkey בכל 12 הפקודות במדדים שלנו. בבדיקת ה-LLM שלנו, פגיעות מטמון מדויקות חזרו תוך כ-0.05 ms, לעומת 1.4 עד 2.9 שניות לקריאה למודל.
בקרת עלויות בשכבת הנתונים
מטמון סמנטי ומטמון פרומפטים מקטינים את מספר קריאות ה-LLM, מניעת כפילות מקטינה את קריאות ה-embedding, ותקציבים לכל מפתח חוסמים הוצאה לפני שהיא קורית. החיסכון נמדד, לא מוערך.
רב-דיירי מלכתחילה
מרחבי שמות מפרידים בין הווקטורים, הזיכרון והתקציבים של כל דייר, ותוכנית Scale מוסיפה רישום דיירים ויומן ביקורת לתשתית AI משותפת בין צוותים ולקוחות.
משלמים על פחות טוקנים
שלחנו את אותן 3,000 שאלות תמיכת לקוחות לארבעה מודלים עדכניים של Claude פעמיים: פעם ישירות למודל, ופעם עם HotKV לפניו.
טוקנים שעובדו לכל מודל
מה המשמעות בקנה מידה גדול
- Anthropic claude-fable-5-1: $303,100 בחודש בלי HotKV, $91,800 איתו, כ-$211,300 נחסכים בכל חודש.
- Anthropic claude-opus-5-5: $146,000 בחודש בלי HotKV, $45,000 איתו, כ-$101,000 נחסכים בכל חודש.
- Anthropic claude-sonnet-5-5: $55,100 בחודש בלי HotKV, $16,600 איתו, כ-$38,500 נחסכים בכל חודש.
- Anthropic claude-haiku-5-5: $2,700 בחודש בלי HotKV, $800 איתו, כ-$1,900 נחסכים בכל חודש.
ב-1 מיליון בקשות ביום, כאקסטרפולציה מהעלות שנמדדה לכל בקשה ובהנחה של אותו דפוס תעבורה. ארבעת מודלי Claude רצו עם תשובות קצרות, ו-Fable 5.1 ו-Opus 5.5 ברמת המאמץ הנמוכה ביותר של חשיבה, ולכן תשובות ארוכות יותר או כבדות חשיבה יהפכו כל קריאה שנמנעה לשווה יותר.
כל המספריםטוקנים, עלות, איכות תשובות ופשרת סף הדמיוןהצגההסתרה
הרצנו את Claude Fable 5.1, Opus 5.5, Sonnet 5.5 ו-Haiku 5.5 על אותן 3,000 בקשות כל אחד, עם HotKV ובלעדיו. מטמון הפרומפטים של הספק עצמו היה פעיל בכל הרצה, והטוקנים והעלויות נלקחו מנתוני השימוש של כל תגובה, כולל טוקני חשיבה.
| מודל | טוקנים שנחסכו | עלות בלי | עלות עם | נמוכה ב- | קריאות למודל | זמן תגובה חציוני |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 עד 896 | 2.7 s עד 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 עד 898 | 2.9 s עד 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 עד 897 | 1.8 s עד 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 עד 897 | 1.4 s עד 125 ms |
עד כמה התשובות מהמטמון טובות?
עבור כל שאלה מנוסחת מחדש שנענתה מהמטמון, מודל אחר השווה את התשובה מהמטמון לתשובה הטרייה שאותו מודל נתן לשאלה המדויקת הזו, בסדר אקראי. אף מודל לא דירג את הפלט של עצמו. מי ששופט כאן הוא מודל שפה ולא סקירה אנושית, והקפדנות שלו משתנה בין מודלים, ולכן יש להשוות בין תשובה מהמטמון לתשובה טרייה רק בתוך מודל אחד.
| מודל | שאלות מנוסחות מחדש שנשפטו | התשובה מהמטמון מתאימה | תשובה טרייה מתאימה |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
סף הדמיון מחליף חיסכון באיכות התשובות
כל שורה היא הרצה נפרדת של Claude Sonnet 5.5 על אותן 3,000 בקשות (עלות בלי HotKV: $5.51).
| סף | עלות | נמוכה ב- | התשובה מהמטמון מתאימה | תשובה טרייה מתאימה |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
מה המספרים האלה מראים ומה לא
- בסף 0.81 ששימש לתוצאות שלמעלה, תשובה מהמטמון מתאימה לשאלה המדויקת בתדירות נמוכה ב-6 עד 11 נקודות אחוז מתשובה טרייה. שאלות מנוסחות מחדש הן כ-31% מהבקשות, ולכן על פני כל התגובות מדובר בערך ב-2 עד 3 נקודות. בהרצות הסף, תשובות מהמטמון מ-0.88 ומעלה לא היו גרועות יותר מתשובות טריות, ועדיין חסכו 61% עד 64% מהעלות.
- נתון ה"אותה כוונה" שלמעלה אינו אומר "אותה תשובה נכונה". בבדיקה של 119 זוגות שאלות קרובים בכוונה, שבהם פרט אחד כמו הפקדה לעומת משיכה משנה את התשובה הנכונה, 62% מהשאלות ששונו היו מקבלות את התשובה מהמטמון בסף 0.81, 25% ב-0.90 ו-10% ב-0.95. הזוגות האלה בנויים להיות קשים ומראים את המקרה הגרוע ביותר, לא את תדירותו בתעבורה אמיתית. אם תשובות שגויות יקרות במקרה השימוש שלכם, כדאי להעלות את הסף.
- מערך נתונים ציבורי אחד של שאלות בנקאיות קצרות, מודל embedding אחד ושופט אוטומטי. השפעת הסף נמדדה על מודל אחד. שלושת האחרים רצו בסף 0.81 בלבד. שיעור החזרות והשאלות שלכם יניבו מספרים אחרים.
3,000 שאלות תמיכת לקוחות שנדגמו מחלוקת הבדיקה של Banking77 עם seed קבוע (פופולריות הכוונות עוקבת אחר התפלגות Zipf, s=1.0. השאלות נדגמות באופן אחיד בתוך כל כוונה, עם חזרות). כל שאלה נשלחה למודל עם אותה מדיניות תמיכה כהנחיית המערכת. קו בסיס: כל בקשה קוראת למודל, כשמטמון הפרומפטים של הספק עצמו מופעל. HotKV: חיפוש בהתאמה מדויקת (GET על מפתח SHA-256 של השאלה המנורמלת), ואז חיפוש סמנטי (SCACHE.GET עם embedding של השאלה), והמודל נקרא רק בהחטאה. ספירות הטוקנים נלקחו מבלוק השימוש של כל תגובת API. העלויות מחושבות לפי מחירון ומכילות גם את קריאות ה-embedding. סף הדמיון נבחר על חלוקת האימון הנפרדת של Banking77 כערך הנמוך ביותר שנותן דיוק של לפחות 98% בכוונה זהה בפגיעות סמנטיות.
מודל embedding: OpenAI text-embedding-3-small. סף התאמה סמנטית: 0.81. מערך נתונים: Banking77 (חלוקת הבדיקה) מאת PolyAI, ברישיון CC BY 4.0. 3,000 בקשות ב-77 כוונות.
נמדד ב-11 באוקטובר 2026. החיסכון תלוי בתדירות שבה התעבורה שלכם חוזרת על עצמה. עומס עבודה ללא שאלות חוזרות או דומות לא חוסך דבר.
משיקים יכולות AI, לא תשתית
ערכת פקודות ה-AI כלולה בכל מופע Performance ו-Scale ב-HotKV Cloud. בקשו גישה מוקדמת כדי להתחיל לבנות אחזור, זיכרון ובקרת עלויות.