Yapay zeka yığını için geliştirildi
Çoğu ekip LLM uygulamasına bir vektör veritabanı, bir önbellek, bir arama motoru ve bir yığın yapıştırma kodu ekler. HotKV bu yapı taşlarını tek bir bellek içi motorun içine yerleştirir; böylece getirme, bellek ve maliyet kontrolü verinizin yanında çalışır.
Bir soru seçin. Nerede yanıtlandığını ve yığının ne kadarına hiç dokunmasına gerek kalmadığını izleyin.
- 00Sorugeçer
- LLMBUDGETLLM Bütçesigeçer
- PCACHEPrompt Önbelleğiyanıtlandı
- SCACHEAnlamsal Önbellek
- RAGRAG İşlem Hattı
- 05LLM
Prompt önbelleğinden yanıtlandı. Model hiç çağrılmaz.
Süreler, aşağıdaki token tasarrufu kıyaslamasından ölçülen ortancalardır. Anlamsal önbellek süresi ölçülmediği için gösterilmez.
Dokuz yapay zeka motoru, tek sunucu
Her biri, verinizin yanında yer alan bir komut ailesidir. Gerçek bir kullanım senaryosunda görmek için herhangi birini açın.
Yapay zekayı neden HotKV üzerinde çalıştırmalı
Karşılaştırdığımız her komutta Redis ve Valkey'in önünde yer alan aynı çok iş parçacıklı çekirdek, getirme, bellek ve koruma katmanlarınızı da çalıştırır.
Beş servis değil, tek motor
Vektör arama, anlamsal önbellek, RAG, ajan belleği ve özellik deposu aynı süreçte yaşar. Dağıtmanız, güvenceye almanız ve eşzamanlı tutmanız gereken ayrı bir vektör veritabanı, önbellek ve arama kümesi yok.
Milisaniye altı önbellek isabetleri
Her yapay zeka yapı taşı, kıyaslamalarımızdaki 12 komutun tamamında Redis ve Valkey'in önünde yer alan aynı çok iş parçacıklı çekirdek üzerinde çalışır. LLM testimizde birebir önbellek isabetleri yaklaşık 0,05 ms'de döndü; bir model çağrısı ise 1,4 ila 2,9 sn sürdü.
Veri katmanında maliyet kontrolü
Anlamsal ve prompt önbellekleme LLM çağrılarını, embedding tekilleştirme embedding çağrılarını azaltır; anahtar başına bütçeler de harcamayı gerçekleşmeden sınırlar. Tasarruflar tahmin değil, ölçümdür.
Tasarımdan çok kiracılı
Ad alanları her kiracının vektörlerini, belleğini ve bütçelerini birbirinden ayırır; Scale planı ise ekipler ve müşteriler arasında paylaşılan yapay zeka altyapısı için bir kiracı kayıt defteri ve denetim günlüğü ekler.
Daha az token için ödeyin
Aynı 3.000 müşteri destek sorusunu dört güncel Claude modeline iki kez gönderdik: bir kez doğrudan modele, bir kez de önünde HotKV varken.
Model başına işlenen token
Ölçekte bunun anlamı
- Anthropic claude-fable-5-1: HotKV olmadan ayda $303.100, HotKV ile $91.800, her ay yaklaşık $211.300 tasarruf.
- Anthropic claude-opus-5-5: HotKV olmadan ayda $146.000, HotKV ile $45.000, her ay yaklaşık $101.000 tasarruf.
- Anthropic claude-sonnet-5-5: HotKV olmadan ayda $55.100, HotKV ile $16.600, her ay yaklaşık $38.500 tasarruf.
- Anthropic claude-haiku-5-5: HotKV olmadan ayda $2.700, HotKV ile $800, her ay yaklaşık $1.900 tasarruf.
Günde 1 milyon istekte, ölçülen istek başına maliyetten çıkarılmış ve aynı trafik örüntüsü varsayılmıştır. Dört Claude modeli kısa yanıtlarla çalıştırıldı; Fable 5.1 ve Opus 5.5 ise en düşük akıl yürütme çabasındaydı, bu nedenle daha uzun veya akıl yürütmeye ağırlıklı yanıtlar, önlenen her çağrıyı daha değerli kılar.
Tüm sayılarToken, maliyet, yanıt kalitesi ve benzerlik eşiği ödünleşimiGösterGizle
Claude Fable 5.1, Opus 5.5, Sonnet 5.5 ve Haiku 5.5 modellerini, her biri aynı 3.000 istekle, HotKV ile ve HotKV olmadan çalıştırdık. Sağlayıcının kendi prompt önbellekleme özelliği her çalıştırmada açıktı; token ve maliyetler, düşünme tokenları dahil, her yanıtın kullanım bilgisinden alınmıştır.
| Model | Tasarruf edilen token | Olmadan maliyet | İle maliyet | Düşüş | Model çağrıları | Ortanca yanıt |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | %70 | $30,31 | $9,18 | %70 | 3.000 ila 896 | 2,7 s ila 127 ms |
| Claude Opus 5.5 | %70 | $14,60 | $4,50 | %69 | 3.000 ila 898 | 2,9 s ila 126 ms |
| Claude Sonnet 5.5 | %70 | $5,51 | $1,66 | %70 | 3.000 ila 897 | 1,8 s ila 128 ms |
| Claude Haiku 5.5 | %70 | $0,27 | $0,08 | %70 | 3.000 ila 897 | 1,4 s ila 125 ms |
Önbellekteki yanıtlar ne kadar iyi?
Önbellekten sunulan her yeniden ifade edilmiş soru için, farklı bir model önbellekteki yanıtı, aynı modelin o tam soruya verdiği yeni yanıtla rastgele sırayla karşılaştırdı. Hiçbir model kendi çıktısını notlandırmadı. Bu, insan incelemesi değil, bir dil modelinin değerlendirmesidir ve katılığı modeller arasında farklılık gösterir; bu yüzden önbellekteki ve yeni yanıtı yalnızca tek bir model içinde karşılaştırın.
| Model | Değerlendirilen yeniden ifade edilmiş sorular | Önbellekteki yanıt uygun | Yeni yanıt uygun |
|---|---|---|---|
| Claude Fable 5.1 | 926 | %83,3 | %90,2 |
| Claude Opus 5.5 | 935 | %93,3 | %99,0 |
| Claude Sonnet 5.5 | 936 | %77,9 | %86,1 |
| Claude Haiku 5.5 | 936 | %67,9 | %78,6 |
Benzerlik eşiği, tasarruf ile yanıt kalitesi arasında bir ödünleşim sağlar
Her satır, aynı 3.000 istek üzerinde Claude Sonnet 5.5 modelinin ayrı bir çalıştırmasıdır (HotKV olmadan maliyet: $5,51).
| Eşik | Maliyet | Düşüş | Önbellekteki yanıt uygun | Yeni yanıt uygun |
|---|---|---|---|---|
| 0,81 | $1,66 | %70 | %77,9 | %86,1 |
| 0,85 | $1,88 | %66 | %80,3 | %85,6 |
| 0,88 | $1,99 | %64 | %89,5 | %83,8 |
| 0,90 | $2,13 | %61 | %87,9 | %86,5 |
| 0,95 | $2,22 | %60 | %92,0 | %90,0 |
Bu sayılar neyi gösterir, neyi göstermez
- Yukarıdaki sonuçlar için kullanılan 0,81 eşiğinde, önbellekteki bir yanıt tam soruya yeni bir yanıttan 6 ila 11 yüzde puan daha az uyar. Yeniden ifade edilmiş sorular isteklerin yaklaşık %31'ıdır; dolayısıyla tüm yanıtlar genelinde bu kabaca 2 ila 3 puan eder. Eşik çalıştırmalarında 0,88 ve üzerindeki önbellek yanıtları yeni yanıtlardan daha kötü değildi ve maliyetin %61 ila %64 kadarını yine de tasarruf ettiriyordu.
- Yukarıdaki "aynı amaç" rakamı "aynı doğru yanıt" anlamına gelmez. Mevduat ile para çekme gibi tek bir ayrıntının doğru yanıtı değiştirdiği, bilerek birbirine yakın seçilmiş 119 soru çiftinden oluşan bir testte, değişen soruların %62'ı 0,81 eşiğinde, %25'ı 0,90'da ve %10'i 0,95'te önbellekteki yanıtla sunulurdu. Bu çiftler zor olacak şekilde kurulmuştur ve gerçek trafikte ne sıklıkla olduğunu değil, en kötü durumu gösterir. Kullanım senaryonuzda yanlış yanıtlar maliyetliyse eşiği yükseltin.
- Kısa bankacılık sorularından oluşan tek bir herkese açık veri kümesi, tek bir embedding modeli ve otomatik bir değerlendirici. Eşik etkisi tek bir model üzerinde ölçüldü. Diğer üçü yalnızca 0,81 eşiğinde çalıştırıldı. Sizin tekrar oranınız ve sorularınız farklı sayılar verecektir.
Banking77 test bölümünden sabit bir tohumla seçilen 3.000 müşteri destek sorusu (amaç popülaritesi bir Zipf dağılımını izler, s=1,0; sorular her amaç içinde düzgün biçimde, tekrarlarla örneklenir). Her soru, sistem prompt'u olarak aynı destek politikasıyla modele gönderildi. Temel durum: her istek, sağlayıcının kendi prompt önbellekleme özelliği açıkken modeli çağırır. HotKV: birebir eşleşme araması (normalleştirilmiş sorunun SHA-256 anahtarı üzerinde GET), ardından anlamsal arama (sorunun embedding'i ile SCACHE.GET) ve model yalnızca ıskalamada çağrılır. Token sayıları her API yanıtının kullanım bloğundan alınır; maliyetler liste fiyatlarını kullanır ve embedding çağrılarını içerir. Benzerlik eşiği, ayrı Banking77 eğitim bölümünde, anlamsal isabetlerde en az %98 aynı amaç kesinliği veren en düşük değer olarak seçildi.
Embedding modeli: OpenAI text-embedding-3-small. Anlamsal eşleşme eşiği: 0,81. Veri kümesi: PolyAI tarafından Banking77 (test bölümü), lisans: CC BY 4.0. 77 amaç üzerinde 3.000 istek.
11 Ekim 2026 tarihinde ölçüldü. Tasarruflar, trafiğinizin kendini ne sıklıkla tekrarladığına bağlıdır. Tekrarlanan veya benzer sorusu olmayan bir iş yükü hiçbir şey tasarruf ettirmez.
Altyapıyı değil, yapay zeka özelliklerini yayına alın
Yapay zeka komut seti, HotKV Cloud üzerindeki her Performance ve Scale örneğiyle birlikte gelir. Getirme, bellek ve maliyet kontrolleri geliştirmeye başlamak için erken erişim talep edin.