قلّل إنفاقك على رموز LLM وأجب عن طلبات الذكاء الاصطناعي المتكررة من الذاكرة المؤقتة في أقل من ملي ثانية، مع تشغيل مخزن متعدد الخيوط ومتوافق مع Redis.
يقف HotKV أمام استدعاءات LLM لديك بوصفه محركًا واحدًا متوافقًا مع Redis. يتعرّف على المطالبات التي أجاب عنها من قبل، بالتطابق التام أو التقريبي، ويعطي تطبيقك الاستجابة المخزنة مؤقتًا بدلًا من استدعاء API جديد.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # سُئل من قبل حرفيًا: لا استدعاء للنموذج cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerنتيجة توضيحية (بيانات مثال)
السيناريو: ask("How do I reset my password?") مرتين
يعيد الاستدعاءان كلاهما: "Use the password-reset link on the sign-in page."
الاستدعاء الأول: إخفاق في الذاكرة المؤقتة → call_llm → حفظ الإجابة
الاستدعاء الثاني: إجابة مخزنة مؤقتًا → لا استدعاء للنموذجأرسلنا أسئلة دعم العملاء نفسها، وعددها 3,000، إلى أربعة نماذج Claude حالية مرتين: مرة مباشرة إلى النموذج، ومرة مع وضع HotKV أمامه.
عند 1 مليون طلب يوميًا، بالاستقراء من التكلفة المقيسة لكل طلب وبافتراض نمط حركة الطلبات نفسه. عملت نماذج Claude الأربعة بإجابات قصيرة، وعمل Fable 5.1 وOpus 5.5 بأدنى جهد استدلال لديهما، لذا فإن الإجابات الأطول أو كثيفة الاستدلال ستجعل قيمة كل استدعاء مُتجنَّب أكبر.
شغّلنا Claude Fable 5.1 وOpus 5.5 وSonnet 5.5 وHaiku 5.5 على الطلبات نفسها لكل منها، وعددها 3,000، مع HotKV وبدونه. كان التخزين المؤقت للمطالبات الخاص بالمزوّد مفعّلًا في كل تشغيل، وأُخذت الرموز والتكاليف من بيانات الاستخدام (usage) في كل استجابة، بما فيها رموز التفكير.
| النموذج | الرموز الموفَّرة | التكلفة بدون HotKV | التكلفة مع HotKV | الانخفاض | استدعاءات النموذج | وسيط الاستجابة |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | من 3,000 إلى 896 | من 2.7 s إلى 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | من 3,000 إلى 898 | من 2.9 s إلى 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | من 3,000 إلى 897 | من 1.8 s إلى 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | من 3,000 إلى 897 | من 1.4 s إلى 125 ms |
لكل سؤال معاد صياغته قُدّمت إجابته من الذاكرة المؤقتة، قارن نموذج مختلف بين الإجابة المخزنة والإجابة الجديدة التي قدّمها النموذج نفسه لذلك السؤال بعينه، بترتيب عشوائي. لم يقيّم أي نموذج مخرجاته الخاصة. هذا تقييم من نموذج لغوي وليس مراجعة بشرية، وتختلف صرامته من نموذج لآخر، لذا قارن بين الإجابات المخزنة والجديدة ضمن النموذج نفسه فقط.
| النموذج | الأسئلة المعاد صياغتها المقيَّمة | ملاءمة الإجابة المخزنة | ملاءمة الإجابة الجديدة |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
كل صف تشغيل منفصل للنموذج Claude Sonnet 5.5 على الطلبات نفسها وعددها 3,000 (التكلفة بدون HotKV: $5.51).
| العتبة | التكلفة | الانخفاض | ملاءمة الإجابة المخزنة | ملاءمة الإجابة الجديدة |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
3,000 سؤال لدعم العملاء سُحبت من قسم الاختبار في Banking77 ببذرة عشوائية ثابتة (تتبع شعبية النوايا توزيع Zipf، s=1.0؛ وتُختار الأسئلة بشكل منتظم ضمن كل نية، مع التكرار). أُرسل كل سؤال إلى النموذج مع سياسة الدعم نفسها بوصفها مطالبة النظام. خط الأساس: يستدعي كل طلب النموذج، مع تفعيل التخزين المؤقت للمطالبات الخاص بالمزوّد. HotKV: بحث بالتطابق التام (GET على مفتاح SHA-256 للسؤال بعد توحيد صيغته)، ثم بحث دلالي (SCACHE.GET مع تضمين للسؤال)، ولا يُستدعى النموذج إلا عند الإخفاق. أُخذت أعداد الرموز من كتلة usage في كل استجابة API؛ وتستخدم التكاليف أسعار القوائم وتشمل استدعاءات التضمين. اختيرت عتبة التشابه على قسم التدريب المنفصل في Banking77 بوصفها أدنى قيمة تحقق دقة لا تقل عن 98% للنية نفسها في الإصابات الدلالية.
نموذج التضمين: OpenAI text-embedding-3-small. عتبة المطابقة الدلالية: 0.81. مجموعة البيانات: Banking77 (قسم الاختبار) من PolyAI، مرخّصة بموجب CC BY 4.0. وعدد الطلبات 3,000 موزعة على نوايا عددها 77.
تاريخ القياس: 11 أكتوبر 2026. تعتمد الوفورات على مدى تكرار حركة الطلبات لديك. فعبء العمل الذي لا يتضمن أسئلة مكررة أو متشابهة لا يوفّر شيئًا.
حمّلنا تضمينات OpenAI نفسها في HotKV وRedis 8، وشغّلنا على كل منهما الاستعلامات نفسها وعددها 1,000، بعدد اتصالات متزامنة للعملاء يتراوح بين 1 و100، على جهاز واحد. احتفظ كلاهما بمتجهات بدقة كاملة، وبإعدادات الفهرس نفسها.
خزّن المحركان كلاهما متجهات float32 بدقة كاملة. بعد تحميل 999,000 متجه، كانت عملية HotKV تشغل 6.77 GB وRedis 7.01 GB.
لم يُقَس: وضع التكميم الافتراضي بدقة 8 بت في Redis، وRedis Query Engine، ومجموعات البيانات الأخرى، والعتاد الآخر. ونسخة HotKV نسخة تطوير لم تُطرح بعد. حُمّل Redis مثبتًا على أربع وحدات vCPU واستُعلم على فهرس أُعيد تحميله (انظر المقال).
| ef | استدعاء HotKV | استدعاء Redis | HotKV استعلام/ث | Redis استعلام/ث | النسبة |
|---|---|---|---|---|---|
| 40 | 0.940 | 0.923 | 63,897 | 8,061 | 7.9x |
| 80 | 0.970 | 0.962 | 37,508 | 6,825 | 5.5x |
| 150 | 0.987 | 0.980 | 21,912 | 5,241 | 4.2x |
| 300 | 0.993 | 0.990 | 12,393 | 3,454 | 3.6x |
| 500 | 0.997 | 0.994 | 7,688 | 2,483 | 3.1x |
نسخة HotKV c8dafd37 وRedis 8.10.2، تشابه جيب التمام، وHNSW مع M=16 وef_construction=200 في كليهما، float32 في كليهما (Redis NOQUANT). الاستدعاء هو recall@10 مقارنةً بنتائج البحث الشامل الدقيقة. الوسيط من 3 من التشغيلات على Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. تشاركت الخوادم 128 من وحدات vCPU، وعملت مولّدات الحمل على 32 أخرى، باستخدام شيفرة العميل نفسها لكليهما.
مجموعة البيانات: تضمينات dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002، بعدد أبعاد 1,536) من Kumar Shivendu and Nirant Kasliwal، مرخّصة بموجب MIT، إضافة إلى 1,000 من الاستعلامات المحجوزة للاختبار. المنهجية الكاملة والسكربتات والنتائج الخام. تاريخ القياس: 14 أكتوبر 2026.
HotKV برنامج تجاري. دعنا نشغّله نيابةً عنك، أو شغّله بنفسك على بنية تحتية تتحكم فيها.
مثيل HotKV مُدار بالكامل، نستضيفه ونشغّله على Google Cloud عبر 42 منطقة. يُفتح على دفعات. اطلب الوصول المبكر.
شغّل HotKV على خوادمك أو حسابك السحابي الخاص، بموجب ملف ترخيص، مع تحكم كامل في مكان إقامة البيانات والوصول إلى الشبكة.
12 مكتبة عميل رسمية. ويدعم HotKV أيضًا بروتوكولي RESP2 وRESP3، لذا تتصل عملاء Redis وأدواتك الحالية دون أي تغييرات سوى اسم المضيف.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}من GitHub (hotkv-perl-client)libhotkv (CMake، إصدار على GitHub)hotkv-cpp (CMake، إصدار على GitHub)توفّر حزم SDK للغتي Python وNode.js تكاملات بسطر واحد لأطر العمل التي تبني بها الفرق بالفعل. وتغطي أدوات منفصلة مفتوحة المصدر LangGraph وMCP وواجهات API المتوافقة مع OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
يتضمن أيضًا HotKVCache للتخزين المؤقت بالتطابق التام، إضافة إلى HotKVVectorStore وHotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
يتضمن أيضًا HotKVKVStore وHotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
تعمل ذاكرة Redis المؤقتة المدمجة في LiteLLM مع HotKV دون تغيير. استخدم هذا التكامل عندما تريد أيضًا التخزين المؤقت الدلالي.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });متوفر ضمن حزمة @hotkv/client على npm.
import { HotKVCache } from "@hotkv/client/langchain";متوفر ضمن حزمة @hotkv/client على npm.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
أداة لحفظ نقاط التحقق (checkpointer) لحالة الرسم البياني، ومخزن ذاكرة طويلة المدى مع بحث دلالي. لا يتطلب ترخيص HotKV.
اقرأ الوثائقpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
يمكّن Claude وCursor وغيرهما من المساعدين من استخدام المفاتيح وذاكرة الوكلاء والمطالبات والبحث في المستندات. ويُبقي وضع القراءة فقط ومساحات الأسماء الوكلاء ضمن الحدود.
اقرأ الوثائقgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
خادم وسيط (proxy) يمكن إدراجه مباشرةً دون تعديلات، ويخزّن مؤقتًا استدعاءات API المتوافقة مع OpenAI واستدعاءات Anthropic API، بما فيها البث المتدفق. غيّر عنوان URL واحدًا، دون أي شيفرة.
اقرأ الوثائقتعرّف على ما يجعل HotKV سريعًا، وأين يناسب، وكيف تبدأ.
متعدد الخيوط منذ اليوم الأول. إنتاجية تتوسع مع عدد الأنوية لديك، لا عكسه.
اعرف المزيدذاكرة مؤقتة دلالية وRAG وذاكرة للوكلاء وضوابط لتكلفة LLM، مدمجة في المحرك.
اعرف المزيدالتخزين المؤقت والجلسات وقوائم الانتظار ولوحات المتصدرين. أعباء العمل نفسها التي يشغّلها Redis، بإنتاجية أعلى.
اعرف المزيدوسم المفاتيح وقيم TTL بدقة النانوثانية والبحث المتجهي والمقاييس المدمجة، كلها جزء من المحرك الأساسي.
اعرف المزيدمحرك متعدد الخيوط تقرأ فيه كل نواة الأوامر وتحللها وتنفذها بالتوازي.
اعرف المزيدخطط Starter وPerformance وScale على HotKV Cloud، مع حركة بيانات مضمّنة ودون التزام سنوي.
اعرف المزيد