خفّض HotKV استخدام رموز Claude بنسبة 70% في اختبار الأداء الذي أجريناه على Banking77

تَعِد الذاكرة المؤقتة الدلالية بخفض الإنفاق على LLM عبر الإجابة عن الأسئلة المكررة والمتشابهة من الذاكرة بدلًا من استدعاء النموذج. قسنا ذلك من البداية إلى النهاية: طلبات دعم العملاء نفسها وعددها 3,000، أُرسلت إلى كل نموذج من أربعة نماذج Claude مرتين، مرة مباشرة إلى النموذج ومرة مع وضع HotKV أمامه، مع إبقاء التخزين المؤقت للمطالبات الخاص بـ Anthropic مفعّلًا في التشغيلين كليهما. وإليك بالضبط ما شغّلناه وما وجدناه، بما في ذلك مواطن القصور.

باختصار. خفّض HotKV استدعاءات النموذج، ورموز الإدخال والإخراج معًا، وتكلفة API بنحو 70% في كل نموذج من النماذج الأربعة. يأتي معظم ذلك من أسئلة تتكرر حرفيًا. وتضيف الطبقة الدلالية نحو 12 نقطة فوق ذلك. وعند عتبة التشابه الافتراضية 0.81، قُيّمت الإجابات المخزنة بأنها تلائم السؤال الفعلي بمعدل أقل من الإجابات الجديدة بفارق يتراوح بين 5.8 و10.7 نقطة مئوية. وعلى النموذج الوحيد الذي اختبرنا عليه نطاق العتبات (Sonnet 5.5)، لم تُظهر عتبة 0.88 أو أعلى فارقًا من هذا النوع.

حُدّث في 12 أكتوبر 2026: يعرض هذا المقال الآن تشغيلنا الأكبر على أربعة نماذج Claude حالية. وهو يحل محل تشغيل سابق شمل 1,500 طلب على GPT وClaude Sonnet 5 وقاس رموزًا أقل بنحو 60%، ولم نعد نعرضه.

ما الذي اختبرناه

عبء العمل

أعدنا تشغيل أسئلة دعم العملاء من قسم الاختبار في Banking77 (PolyAI، CC BY 4.0)، وهي مجموعة بيانات عامة من الأسئلة المصرفية القصيرة مصنّفة وفق 77 نية. وقد قُدّمت في Casanueva et al., 2020. سُحبت الطلبات الـ3,000 ببذرة عشوائية ثابتة. تتبع شعبية النوايا توزيع Zipf بأُسّ 1.0، وهو انحراف اصطناعي تظهر فيه بضع نوايا أكثر بكثير من البقية، ويُختار السؤال ضمن النية بشكل منتظم، مع التكرار. تظهر النوايا الـ77 جميعها، و1,264 من الطلبات الـ3,000 أسئلة مختلفة (احتُسبت بإعادة تشغيل مولّد الطلبات ذي البذرة). المصرف وسياسة الدعم لديه خياليان. كتبنا سياسة من نحو 2,200 رمز، تُرسل بوصفها مطالبة النظام مع كل طلب، وتطلب من جملتين إلى أربع جمل قصيرة.

النماذج والإعدادات

شغّلنا claude-fable-5-1 وclaude-opus-5-5 وclaude-sonnet-5-5 وclaude-haiku-5-5. عمل Fable 5.1 وOpus 5.5 بأدنى إعداد للجهد لديهما، لأن التفكير فيهما لا يمكن إيقافه. وعمل Sonnet 5.5 مع إيقاف التفكير المسبق (up-front thinking)، وهو أدنى إعداد لديه، وHaiku 5.5 مع تعطيل التفكير. وكان الحد الأقصى للإخراج 2,000 رمز لـ Fable وOpus و400 لـ Sonnet وHaiku، وانتهت كل إجابة بشكل طبيعي دون أن تُقطع. وعملت ثمانية طلبات في آنٍ واحد في الوضعين كليهما، ولم تُبث الاستدعاءات، وشُغّلت كل حالة مرة واحدة.

التشغيلان

• خط الأساس: يذهب كل طلب مباشرة إلى النموذج، مع تفعيل التخزين المؤقت للمطالبات الخاص بـ Anthropic (cache_control على مطالبة النظام، بمدة الصلاحية الافتراضية البالغة خمس دقائق). هذا هو خط الأساس المُعدّ المستخدم هنا، وليس ادعاءً بأن كل تحسين ممكن على جانب المزوّد قد استُنفد.
• مع HotKV: يقف HotKV أمام حركة الطلبات نفسها ومطالبة النظام نفسها، وتبدأ الذاكرة المؤقتة فارغة.

ما الذي احتسبناه

يأتي كل عدد للرموز من كتلة usage في استجابة API: الإدخال غير المخزن مؤقتًا، وقراءات الذاكرة المؤقتة وكتاباتها، والإخراج (بما فيه التفكير). ورموز التضمين منفصلة عنها. وتستخدم التكاليف أسعار القوائم لدى Anthropic بتاريخ 11 أكتوبر 2026، وتشمل استدعاءات التضمين لعمليات البحث الدلالي، ولا تشمل استضافة HotKV وتشغيله. وهي ليست عرض أسعار للتسعير الحالي.

كيف تعمل الذاكرة المؤقتة

لكل سؤال، يجري HotKV عمليتي بحث قبل استدعاء النموذج:

1. التطابق التام: أمر GET على مفتاح SHA-256 مبني من النموذج، وإصدار مطالبة النظام، والسؤال بعد توحيد صيغته (بأحرف صغيرة، مع دمج المسافات البيضاء). وهو يلتقط السؤال المطروح بالكلمات نفسها حرفيًا.
2. المطابقة الدلالية: استدعاء SCACHE.GET مع تضمين للسؤال (OpenAI text-embedding-3-small، وتشابه جيب التمام). وهو يبحث عن سؤال مشابه. ولا تستطيع درجة التشابه وحدها أن تضمن ملاءمة الإجابة المخزنة.

لا يصل إلى النموذج إلا الإخفاق في البحثين كليهما، وتُكتب إجابته في الذاكرة المؤقتة عبر SET وSCACHE.SET. ثُبّتت عتبة التشابه للإصابة الدلالية عند 0.81 قبل التشغيل. اخترناها على قسم تدريب منفصل من Banking77 بوصفها أدنى قيمة، بخطوات قدرها 0.01، تشير إصاباتها الدلالية إلى النية نفسها في 98% من الحالات على الأقل (98.2% هناك). وفي هذا التشغيل، على قسم الاختبار الذي لم يُمَس، طابقت ما بين 96.7% و96.8% من الإصابات الدلالية نية السؤال المطروح: 30 أو 31 إصابة بنية خاطئة لكل نموذج من أصل 926 إلى 936.

النتائج

الاستدعاءات والرموز والتكلفة

عبر النماذج الأربعة، انخفضت الاستدعاءات من 12,000 إلى 3,588، والرموز بنسبة 70.1%، والتكلفة بنسبة 69.6%. وأُجيب عن نحو 70% من الطلبات من الذاكرة المؤقتة في كل نموذج: نحو 39% بالتطابق التام و31% بالمطابقة الدلالية.

تنخفض الاستدعاءات والرموز والدولارات معًا لأن HotKV يزيل استدعاءات كاملة. اقرأ رقم الرموز بحذر: فما بين 90% و93% من الرموز المحتسبة هي قراءات من الذاكرة المؤقتة لمطالبة السياسة نفسها البالغة 2,200 رمز، والتي تحاسب عليها Anthropic بجزء صغير من سعر الإدخال العادي. أما رموز الإخراج فلا تمثل سوى 6% إلى 9% من الرموز، لكنها تمثل 73% إلى 92% من تكلفة خط الأساس.

السرعة

انخفض وسيط زمن الاستجابة عبر التشغيل كله من 2.7 ثانية إلى 127 ms على Fable 5.1، ومن 2.9 ثانية إلى 126 ms على Opus 5.5، ومن 1.8 ثانية إلى 128 ms على Sonnet 5.5، ومن 1.4 ثانية إلى 125 ms على Haiku 5.5، أي أسرع بما يتراوح بين 11 و23 ضعفًا. وعاد السؤال المكرر خلال وسيط يبلغ نحو 0.05 ms، مقيسًا بعميل Python عبر واجهة الاسترجاع المحلية (loopback) على الجهاز نفسه الذي يعمل عليه HotKV، لذا فهو رقم محلي وليس رقم شبكة. أما السؤال المعاد صياغته، الذي قُدّم من الذاكرة المؤقتة الدلالية، فاستغرق نحو 130 ms، وكلها تقريبًا لاستدعاء API التضمين.

يقع وسيط التشغيل كله ضمن نطاق الإصابات الدلالية هذا لأن الإصابات بالتطابق التام (نحو 39% من الطلبات) أقل من أن تحمل الوسيط وحدها، بينما تتجاوز الإصابات بالتطابق التام والدلالية معًا (70%) منتصف الطريق. ويتحرك الطرف البطيء بدرجة أقل: إذ لا تزال 30% من الطلبات تستدعي النموذج. كان المئين 99 نحو 6.4 ثانية مع HotKV مقابل 6.6 ثانية بدونه على Fable 5.1، وكان مماثلًا تقريبًا على Haiku 5.5. وكان أقل على Opus 5.5 (4.7 ثانية مقابل نحو 6) وعلى Sonnet 5.5 (2.7 ثانية مقابل 3.3). لم تُبث الاستدعاءات، لذا فهذه أزمنة حتى اكتمال الإجابة، لا حتى أول رمز.

الإحماء

تبدأ الذاكرة المؤقتة فارغة، لذا لا تزال الطلبات الأولى تصل إلى النموذج. وكانت نسبة الطلبات المقدَّمة من الذاكرة المؤقتة نحو 52% في الألف طلب الأولى، ونحو 81% في الألف الأخيرة.

من أين يأتي التوفير

معظم التوفير مصدره التكرار البسيط. فذاكرة مؤقتة بالتطابق التام وحدها كانت ستحتاج إلى 1,264 استدعاءً للنموذج على الأكثر من أصل 3,000، أي استدعاء واحد لكل سؤال مختلف، وهو ما يعني استدعاءات أقل بنحو 58%. ورفعت الطبقة الدلالية ذلك إلى نحو 70%، لذا فهي تسهم بنحو 12 نقطة في عبء العمل هذا. وهي أيضًا الجزء الذي يحمل خطر جودة الإجابات، كما يبيّن القسم التالي. وهذا مستنتج من تسلسل الطلبات والسجلات، وليس من تشغيل مقيس منفصل.

جودة الإجابات

تعني الإصابة الدلالية النية نفسها، لا الإجابة الصحيحة نفسها. ولقياس الصحة جعلنا نموذج Claude مختلفًا يقيّم كل إصابة دلالية. رأى المقيِّم سؤال العميل وإجابتين بترتيب عشوائي: الإجابة المخزنة التي قدّمها HotKV، والإجابة الجديدة التي قدّمها النموذج نفسه لذلك السؤال بعينه في تشغيل خط الأساس. وحكم بما إذا كانت كل إجابة تجيب إجابة صحيحة عن ذلك السؤال بعينه. قيّم Opus 5.5 إجابات Fable 5.1 وSonnet 5.5 وHaiku 5.5، وقيّم Fable 5.1 إجابات Opus 5.5، فلم يقيّم أي نموذج مخرجاته الخاصة.

عند العتبة الافتراضية

عند 0.81، لاءمت الإجابة المخزنة السؤال الفعلي بمعدل أقل من الإجابة الجديدة من النموذج نفسه بفارق يتراوح بين 5.8 و10.7 نقطة مئوية. وتمثل الإصابات الدلالية نحو 31% من الطلبات، لذا فإن الفارق عبر جميع الاستجابات، مع احتساب الإصابات بالتطابق التام محايدة، يبلغ نحو 2 إلى 3 نقاط (1.8 إلى 3.3). ويختلف المقيِّمون في صرامتهم، لذا قارن بين الإجابات المخزنة والجديدة ضمن النموذج الواحد فقط.

رفع العتبة

أعدنا تشغيل Sonnet 5.5 عند أربع عتبات إضافية، بدءًا في كل مرة من ذاكرة مؤقتة فارغة، ومع المقيِّم نفسه. وكانت تكلفة خط الأساس $5.51.

من 0.88 فما فوق، لم تُظهر الإجابات المخزنة عجزًا مقارنةً بالإجابات الجديدة، مع استمرار خفض التكلفة بنسبة 64% عند 0.88 و61% عند 0.90. لكن الأدلة ضعيفة. فعند 0.90 يمتد مجال الثقة 95% للفارق من نحو 4 نقاط أسوأ إلى 7 نقاط أفضل، ولا يضم صف 0.95 سوى 50 إصابة، ويقيّم كل صف مجموعة فرعية مختلفة من الإصابات. هذا نموذج واحد ومقيِّم واحد وتشغيل واحد لكل عتبة، لذا فهو ليس دليلًا على جودة مكافئة ولا على عتبة آمنة في كل الحالات.

أسئلة شبه متطابقة

الخطر الحقيقي هو الأسئلة التي تبدو متطابقة تقريبًا لكنها تحتاج إلى إجابات مختلفة، مثل الإيداع مقابل السحب. جعلنا Opus 5.5 يكتب 119 زوجًا، يتألف كل منها من سؤال حقيقي من قسم التدريب ونسخة منه غُيّر فيها تفصيل حاسم واحد، وأحصينا عدد الأسئلة المعدّلة التي كانت ستتجاوز العتبة مقابل ذاكرة مؤقتة لا تحتوي إلا السؤال الأصلي. هذه الأزواج مصممة لتكون صعبة، ولم يراجعها إنسان، وتُظهر أسوأ الحالات لا مدى تكرار حدوثها في حركة الطلبات الفعلية.

يقلل رفع العتبة الخطر لكنه لا يزيله. فحتى عند 0.90، كانت 25% من الأزواج المتقاربة عمدًا ستُطابَق، كما يقل أيضًا عدد إعادات الصياغة الحقيقية التي تُطابَق.

ماذا يعني هذا على نطاق واسع

يعطي استقراء التكلفة المقيسة لكل طلب إلى 1 مليون طلب يوميًا على مدى شهر من 30 يومًا، مع افتراض نمط حركة الطلبات نفسه، الأرقام الشهرية التالية:

• claude-fable-5-1: نحو $303,100 بدون HotKV، و$91,800 معه، أي توفير نحو $211,300.
• claude-opus-5-5: نحو $146,000 بدون HotKV، و$45,000 معه، أي توفير نحو $101,000.
• claude-sonnet-5-5: نحو $55,100 بدون HotKV، و$16,600 معه، أي توفير نحو $38,500.
• claude-haiku-5-5: نحو $2,700 بدون HotKV، و$800 معه، أي توفير نحو $1,900.

هذا حساب مبني على التكلفة المقيسة لكل طلب، وليس تشغيلًا مقيسًا آخر. وهو لا يشمل الاستضافة، ولم تُقَس السعة اللازمة لهذا الحجم. وعند الطلبات الـ3,000 التي شغّلناها، لا يبلغ التوفير سوى $0.19 لـ Haiku 5.5 و$21.12 لـ Fable 5.1. عملت النماذج الأربعة بإجابات قصيرة، وعمل Fable 5.1 وOpus 5.5 بأدنى جهد لديهما، لذا فإن الإجابات الأطول أو كثيفة الاستدلال ستجعل قيمة كل استدعاء مُتجنَّب أكبر.

القيود

هذا ليس ادعاءً عامًا بأن «HotKV يوفّر لك 70%». إنه ما قسناه على عبء العمل هذا، وعبء العمل هو الذي يصنع معظم هذه النتيجة.

• الوفورات تتبع التكرار. عندما كانت كل النوايا متساوية الاحتمال بدلًا من انحراف Zipf، انخفضت التكلفة بنسبة 56% على Sonnet 5.5 وHaiku 5.5. ومع 3,000 سؤال مختلف كليًا انخفضت بنسبة 38%، وكان ذلك بالكامل من المطابقات الدلالية بين أسئلة مختلفة للنية نفسها، وفي Banking77 منها الكثير. وعبء العمل الذي لا يتضمن أسئلة مكررة أو متشابهة لا يوفّر شيئًا.
• حركة طلبات اصطناعية. السحوبات مستقلة: لا دفقات ولا جلسات ولا سياق متعدد الأدوار. مجموعة بيانات عامة واحدة من الأسئلة المصرفية القصيرة، وسياسة خيالية كُتبت لهذا الاختبار، ومجموعة محدودة من نحو 3,080 سؤال اختبار.
• نموذج يقيّم الإجابات. لم يراجعها أي إنسان، ولم يكن هناك مقيِّم ثانٍ، وكل المقيِّمين نماذج Claude. وأخفقت الإجابات الجديدة في اختبار «الملاءمة» لدى المقيِّم في نسبة تراوحت بين 1% و21% من الحالات، لذا فهو معيار صارم.
• النية نفسها ليست الإجابة نفسها. جرت معايرة عتبة 0.81 على تسميات النوايا، لا على جودة الإجابات. ويغطي اختبار نطاق العتبات واختبار الأسئلة شبه المتطابقة نموذجًا واحدًا ونموذج تضمين واحدًا.
• منصة اختبار صغيرة. تشغيل واحد لكل حالة، وخادم واحد بأربع وحدات vCPU مع العميل على الجهاز نفسه، وذاكرة مؤقتة لم يجرِ إحماؤها قبل تشغيلات HotKV.
• التكاليف هي تكاليف API. وهي لا تشمل استضافة HotKV وتشغيله. تحقّق من جودة الإجابات على أسئلتك أنت، واستخدم التخزين المؤقت بالتطابق التام أو الإجابات الجديدة حيث لا تناسب إعادة الاستخدام الدلالية.

الأرقام الخاصة بكل نموذج موجودة أيضًا في صفحة الذكاء الاصطناعي.

جرّبه بنفسك

تستخدم الذاكرة المؤقتة بالتطابق التام في هذا الاختبار أمري GET وSET العاديين، وهما متضمَّنان في كل خطط HotKV. أما الذاكرة المؤقتة الدلالية (SCACHE.*) فتأتي مع خطة Performance وما فوقها (الأسعار). ابدأ على HotKV Cloud ووجّه إليه حركة الطلبات الحالية لديك، أو تواصل مع المبيعات إذا أردت أن تراجع الأرقام لعبء العمل الخاص بك أولًا.