מקצצים בהוצאות על טוקנים של מודלי שפה, ועונים על בקשות AI חוזרות מהמטמון בפחות ממילישנייה תוך הרצת מאגר רב-תהליכונים התואם ל-Redis.
HotKV ממוקם לפני קריאות ה-LLM שלכם כמנוע אחד התואם ל-Redis. הוא מזהה פרומפטים שכבר נענו, במדויק או בקירוב, ומספק לאפליקציה את התשובה מהמטמון במקום קריאת API חדשה.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # כבר נשאל, מילה במילה: בלי קריאה למודל cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerתוצאה להמחשה (נתוני דוגמה)
תרחיש: ask("How do I reset my password?") פעמיים
שתי הקריאות מחזירות: "Use the password-reset link on the sign-in page."
קריאה ראשונה: החטאת מטמון → call_llm → התשובה נשמרת
קריאה שנייה: תשובה מהמטמון → בלי קריאה למודלשלחנו את אותן 3,000 שאלות תמיכת לקוחות לארבעה מודלים עדכניים של Claude פעמיים: פעם ישירות למודל, ופעם עם HotKV לפניו.
ב-1 מיליון בקשות ביום, כאקסטרפולציה מהעלות שנמדדה לכל בקשה ובהנחה של אותו דפוס תעבורה. ארבעת מודלי Claude רצו עם תשובות קצרות, ו-Fable 5.1 ו-Opus 5.5 ברמת המאמץ הנמוכה ביותר של חשיבה, ולכן תשובות ארוכות יותר או כבדות חשיבה יהפכו כל קריאה שנמנעה לשווה יותר.
הרצנו את Claude Fable 5.1, Opus 5.5, Sonnet 5.5 ו-Haiku 5.5 על אותן 3,000 בקשות כל אחד, עם HotKV ובלעדיו. מטמון הפרומפטים של הספק עצמו היה פעיל בכל הרצה, והטוקנים והעלויות נלקחו מנתוני השימוש של כל תגובה, כולל טוקני חשיבה.
| מודל | טוקנים שנחסכו | עלות בלי | עלות עם | נמוכה ב- | קריאות למודל | זמן תגובה חציוני |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 עד 896 | 2.7 s עד 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 עד 898 | 2.9 s עד 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 עד 897 | 1.8 s עד 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 עד 897 | 1.4 s עד 125 ms |
עבור כל שאלה מנוסחת מחדש שנענתה מהמטמון, מודל אחר השווה את התשובה מהמטמון לתשובה הטרייה שאותו מודל נתן לשאלה המדויקת הזו, בסדר אקראי. אף מודל לא דירג את הפלט של עצמו. מי ששופט כאן הוא מודל שפה ולא סקירה אנושית, והקפדנות שלו משתנה בין מודלים, ולכן יש להשוות בין תשובה מהמטמון לתשובה טרייה רק בתוך מודל אחד.
| מודל | שאלות מנוסחות מחדש שנשפטו | התשובה מהמטמון מתאימה | תשובה טרייה מתאימה |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
כל שורה היא הרצה נפרדת של Claude Sonnet 5.5 על אותן 3,000 בקשות (עלות בלי HotKV: $5.51).
| סף | עלות | נמוכה ב- | התשובה מהמטמון מתאימה | תשובה טרייה מתאימה |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
3,000 שאלות תמיכת לקוחות שנדגמו מחלוקת הבדיקה של Banking77 עם seed קבוע (פופולריות הכוונות עוקבת אחר התפלגות Zipf, s=1.0. השאלות נדגמות באופן אחיד בתוך כל כוונה, עם חזרות). כל שאלה נשלחה למודל עם אותה מדיניות תמיכה כהנחיית המערכת. קו בסיס: כל בקשה קוראת למודל, כשמטמון הפרומפטים של הספק עצמו מופעל. HotKV: חיפוש בהתאמה מדויקת (GET על מפתח SHA-256 של השאלה המנורמלת), ואז חיפוש סמנטי (SCACHE.GET עם embedding של השאלה), והמודל נקרא רק בהחטאה. ספירות הטוקנים נלקחו מבלוק השימוש של כל תגובת API. העלויות מחושבות לפי מחירון ומכילות גם את קריאות ה-embedding. סף הדמיון נבחר על חלוקת האימון הנפרדת של Banking77 כערך הנמוך ביותר שנותן דיוק של לפחות 98% בכוונה זהה בפגיעות סמנטיות.
מודל embedding: OpenAI text-embedding-3-small. סף התאמה סמנטית: 0.81. מערך נתונים: Banking77 (חלוקת הבדיקה) מאת PolyAI, ברישיון CC BY 4.0. 3,000 בקשות ב-77 כוונות.
נמדד ב-11 באוקטובר 2026. החיסכון תלוי בתדירות שבה התעבורה שלכם חוזרת על עצמה. עומס עבודה ללא שאלות חוזרות או דומות לא חוסך דבר.
טענו את אותם embeddings של OpenAI ל-HotKV ול-Redis 8 והרצנו את אותן 1,000 שאילתות על כל אחד, עם 1 עד 100 חיבורי לקוח במקביל, על מכונה אחת. שניהם החזיקו וקטורים בדיוק מלא, עם אותן הגדרות אינדקס.
שני המנועים אחסנו וקטורי float32 בדיוק מלא. לאחר טעינת 999,000 וקטורים תהליך HotKV החזיק 6.77 GB ו-Redis 7.01 GB.
לא נמדדו: מצב הקוונטיזציה ב-8 ביט שהוא ברירת המחדל של Redis, מנוע השאילתות של Redis, מערכי נתונים אחרים וחומרה אחרת. גרסת HotKV היא גרסת פיתוח שטרם פורסמה. Redis נטען כשהוא מוצמד לארבעה vCPU ונחפש על אינדקס שנטען מחדש (ראו המאמר).
| ef | ריקול HotKV | ריקול Redis | שאילתות/שנייה HotKV | שאילתות/שנייה Redis | יחס |
|---|---|---|---|---|---|
| 40 | 0.940 | 0.923 | 63,897 | 8,061 | 7.9x |
| 80 | 0.970 | 0.962 | 37,508 | 6,825 | 5.5x |
| 150 | 0.987 | 0.980 | 21,912 | 5,241 | 4.2x |
| 300 | 0.993 | 0.990 | 12,393 | 3,454 | 3.6x |
| 500 | 0.997 | 0.994 | 7,688 | 2,483 | 3.1x |
גרסת HotKV c8dafd37 ו-Redis 8.10.2, דמיון קוסינוס, HNSW עם M=16 ו-ef_construction=200 בשניהם, float32 בשניהם (Redis NOQUANT). הריקול הוא recall@10 מול תוצאות כוח גס מדויקות. חציון של 3 הרצות על Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. השרתים חלקו 128 vCPU ומחוללי העומס רצו על 32 אחרים, עם אותו קוד לקוח לשניהם.
מערך נתונים: embeddings של dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1,536 ממדים) מאת Kumar Shivendu and Nirant Kasliwal, ברישיון MIT, וכן 1,000 שאילתות שהוחזקו בצד. השיטה המלאה, הסקריפטים והתוצאות הגולמיות. נמדד ב-14 באוקטובר 2026.
HotKV הוא תוכנה מסחרית. אנחנו יכולים להריץ אותו עבורכם, או שתריצו אותו בעצמכם על תשתית שבשליטתכם.
מופע HotKV מנוהל במלואו, שאנו מארחים ומפעילים ב-Google Cloud ב-42 אזורים. נפתח בגלים. בקשו גישה מוקדמת.
מריצים את HotKV על השרתים שלכם או בחשבון הענן שלכם, באמצעות קובץ רישיון, עם שליטה מלאה במיקום הנתונים ובגישה לרשת.
שתים-עשרה ספריות לקוח רשמיות. HotKV תומך גם ב-RESP2 וב-RESP3, כך שלקוחות וכלי Redis קיימים מתחברים בלי שינוי מלבד שם המארח.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}מ-GitHub (hotkv-perl-client)libhotkv (CMake, גרסה ב-GitHub)hotkv-cpp (CMake, גרסה ב-GitHub)ערכות ה-SDK ל-Python ול-Node.js כוללות אינטגרציות בשורה אחת לפריימוורקים שצוותים כבר בונים איתם. כלי קוד פתוח נפרדים מכסים את LangGraph, את MCP ואת ממשקי API התואמים ל-OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
כולל גם את HotKVCache למטמון בהתאמה מדויקת, וכן את HotKVVectorStore ואת HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
כולל גם את HotKVKVStore ואת HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
מטמון ה-Redis המובנה של LiteLLM כבר עובד עם HotKV ללא שינוי. האינטגרציה הזו מתאימה כשרוצים גם מטמון סמנטי.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });מגיעה בחבילת ה-npm בשם @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";מגיעה בחבילת ה-npm בשם @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Checkpointer למצב הגרף ומאגר זיכרון לטווח ארוך עם חיפוש סמנטי. אינו דורש רישיון HotKV.
לתיעודpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
מאפשר ל-Claude, ל-Cursor ולעוזרים אחרים להשתמש במפתחות, בזיכרון סוכנים, בפרומפטים ובחיפוש במסמכים. מצב קריאה בלבד ומרחבי שמות שומרים על הסוכנים בגבולות.
לתיעודgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
פרוקסי להחלפה ישירה ששומר במטמון קריאות ל-API התואם ל-OpenAI ול-API של Anthropic, כולל סטרימינג. משנים כתובת אחת, בלי קוד.
לתיעודהכירו מה הופך את HotKV למהיר, איפה הוא מתאים ואיך מתחילים.
רב-תהליכוני מהיום הראשון. תפוקה שגדלה עם מספר הליבות, ולא עובדת נגדו.
מידע נוסףמטמון סמנטי, RAG, זיכרון לסוכנים ובקרת עלויות LLM, הכול מובנה במנוע.
מידע נוסףמטמון, סשנים, תורים, לוחות מובילים. אותם עומסי עבודה כמו ב-Redis, בתפוקה גבוהה יותר.
מידע נוסףתיוג מפתחות, TTL בננו-שניות, חיפוש וקטורי ומדדים מובנים, כולם חלק מליבת המנוע.
מידע נוסףמנוע רב-תהליכוני שבו כל ליבה קוראת, מפענחת ומריצה פקודות במקביל.
מידע נוסףתוכניות Starter, Performance ו-Scale ב-HotKV Cloud, עם תעבורה כלולה וללא התחייבות שנתית.
מידע נוסף