LLM token harcamanızı düşürün ve tekrarlanan yapay zeka isteklerini bir milisaniyenin altında önbellekten yanıtlayın; üstelik çok iş parçacıklı, Redis uyumlu bir depo çalıştırarak.
HotKV, LLM çağrılarınızın önünde Redis uyumlu tek bir motor olarak durur. Daha önce yanıtladığı prompt'ları, birebir ya da yaklaşık olarak tanır ve uygulamanıza yeni bir API çağrısı yerine önbellekteki yanıtı verir.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Daha önce kelimesi kelimesine soruldu: model çağrısı yok cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerÖrnek sonuç (örnek veri)
Senaryo: ask("How do I reset my password?") iki kez
İki çağrı da şunu döndürür: "Use the password-reset link on the sign-in page."
İlk çağrı: önbellek ıskalaması → call_llm → yanıt saklandı
İkinci çağrı: önbellekteki yanıt → model çağrısı yokAynı 3.000 müşteri destek sorusunu dört güncel Claude modeline iki kez gönderdik: bir kez doğrudan modele, bir kez de önünde HotKV varken.
Günde 1 milyon istekte, ölçülen istek başına maliyetten çıkarılmış ve aynı trafik örüntüsü varsayılmıştır. Dört Claude modeli kısa yanıtlarla çalıştırıldı; Fable 5.1 ve Opus 5.5 ise en düşük akıl yürütme çabasındaydı, bu nedenle daha uzun veya akıl yürütmeye ağırlıklı yanıtlar, önlenen her çağrıyı daha değerli kılar.
Claude Fable 5.1, Opus 5.5, Sonnet 5.5 ve Haiku 5.5 modellerini, her biri aynı 3.000 istekle, HotKV ile ve HotKV olmadan çalıştırdık. Sağlayıcının kendi prompt önbellekleme özelliği her çalıştırmada açıktı; token ve maliyetler, düşünme tokenları dahil, her yanıtın kullanım bilgisinden alınmıştır.
| Model | Tasarruf edilen token | Olmadan maliyet | İle maliyet | Düşüş | Model çağrıları | Ortanca yanıt |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | %70 | $30,31 | $9,18 | %70 | 3.000 ila 896 | 2,7 s ila 127 ms |
| Claude Opus 5.5 | %70 | $14,60 | $4,50 | %69 | 3.000 ila 898 | 2,9 s ila 126 ms |
| Claude Sonnet 5.5 | %70 | $5,51 | $1,66 | %70 | 3.000 ila 897 | 1,8 s ila 128 ms |
| Claude Haiku 5.5 | %70 | $0,27 | $0,08 | %70 | 3.000 ila 897 | 1,4 s ila 125 ms |
Önbellekten sunulan her yeniden ifade edilmiş soru için, farklı bir model önbellekteki yanıtı, aynı modelin o tam soruya verdiği yeni yanıtla rastgele sırayla karşılaştırdı. Hiçbir model kendi çıktısını notlandırmadı. Bu, insan incelemesi değil, bir dil modelinin değerlendirmesidir ve katılığı modeller arasında farklılık gösterir; bu yüzden önbellekteki ve yeni yanıtı yalnızca tek bir model içinde karşılaştırın.
| Model | Değerlendirilen yeniden ifade edilmiş sorular | Önbellekteki yanıt uygun | Yeni yanıt uygun |
|---|---|---|---|
| Claude Fable 5.1 | 926 | %83,3 | %90,2 |
| Claude Opus 5.5 | 935 | %93,3 | %99,0 |
| Claude Sonnet 5.5 | 936 | %77,9 | %86,1 |
| Claude Haiku 5.5 | 936 | %67,9 | %78,6 |
Her satır, aynı 3.000 istek üzerinde Claude Sonnet 5.5 modelinin ayrı bir çalıştırmasıdır (HotKV olmadan maliyet: $5,51).
| Eşik | Maliyet | Düşüş | Önbellekteki yanıt uygun | Yeni yanıt uygun |
|---|---|---|---|---|
| 0,81 | $1,66 | %70 | %77,9 | %86,1 |
| 0,85 | $1,88 | %66 | %80,3 | %85,6 |
| 0,88 | $1,99 | %64 | %89,5 | %83,8 |
| 0,90 | $2,13 | %61 | %87,9 | %86,5 |
| 0,95 | $2,22 | %60 | %92,0 | %90,0 |
Banking77 test bölümünden sabit bir tohumla seçilen 3.000 müşteri destek sorusu (amaç popülaritesi bir Zipf dağılımını izler, s=1,0; sorular her amaç içinde düzgün biçimde, tekrarlarla örneklenir). Her soru, sistem prompt'u olarak aynı destek politikasıyla modele gönderildi. Temel durum: her istek, sağlayıcının kendi prompt önbellekleme özelliği açıkken modeli çağırır. HotKV: birebir eşleşme araması (normalleştirilmiş sorunun SHA-256 anahtarı üzerinde GET), ardından anlamsal arama (sorunun embedding'i ile SCACHE.GET) ve model yalnızca ıskalamada çağrılır. Token sayıları her API yanıtının kullanım bloğundan alınır; maliyetler liste fiyatlarını kullanır ve embedding çağrılarını içerir. Benzerlik eşiği, ayrı Banking77 eğitim bölümünde, anlamsal isabetlerde en az %98 aynı amaç kesinliği veren en düşük değer olarak seçildi.
Embedding modeli: OpenAI text-embedding-3-small. Anlamsal eşleşme eşiği: 0,81. Veri kümesi: PolyAI tarafından Banking77 (test bölümü), lisans: CC BY 4.0. 77 amaç üzerinde 3.000 istek.
11 Ekim 2026 tarihinde ölçüldü. Tasarruflar, trafiğinizin kendini ne sıklıkla tekrarladığına bağlıdır. Tekrarlanan veya benzer sorusu olmayan bir iş yükü hiçbir şey tasarruf ettirmez.
Aynı OpenAI embedding'lerini HotKV'ye ve Redis 8'e yükledik ve her birine, tek bir makinede 1 ila 100 eşzamanlı istemci bağlantısıyla aynı 1.000 sorguyu çalıştırdık. İkisi de aynı dizin ayarlarıyla tam duyarlıklı vektörler tuttu.
Her iki motor da tam duyarlıklı float32 vektörler sakladı. 999.000 vektör yüklendikten sonra HotKV süreci 6,77 GB, Redis 7,01 GB tuttu.
Ölçülmeyenler: Redis'in varsayılan 8 bit nicemlenmiş modu, Redis Query Engine, diğer veri kümeleri ve diğer donanımlar. HotKV derlemesi, henüz yayımlanmamış bir geliştirme derlemesidir. Redis dört vCPU'ya sabitlenerek yüklendi ve yeniden yüklenmiş bir dizin üzerinde arandı (makaleye bakın).
| ef | HotKV recall | Redis recall | HotKV sorgu/sn | Redis sorgu/sn | Oran |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
HotKV derlemesi c8dafd37 ve Redis 8.10.2, kosinüs benzerliği, her ikisinde de M=16 ve ef_construction=200 ile HNSW, her ikisinde de float32 (Redis NOQUANT). Recall, kesin kaba kuvvet sonuçlarına karşı recall@10'dur. Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs üzerinde 3 çalıştırmanın ortancası. Sunucular 128 vCPU'yu paylaştı, yük üreticileri diğer 32 vCPU üzerinde çalıştı ve her ikisi için aynı istemci kodu kullanıldı.
Veri kümesi: Kumar Shivendu and Nirant Kasliwal tarafından dbpedia-entities-openai-1M embedding'leri (OpenAI text-embedding-ada-002, 1.536 boyut), lisans: MIT, artı 1.000 ayrılmış sorgu. Tam yöntem, betikler ve ham sonuçlar. 14 Ekim 2026 tarihinde ölçüldü.
HotKV ticari bir yazılımdır. Sizin için biz çalıştıralım ya da kontrol ettiğiniz altyapıda kendiniz çalıştırın.
Google Cloud üzerinde 42 bölgede bizim tarafımızdan barındırılan ve işletilen, tamamen yönetilen bir HotKV örneği. Dalgalar halinde açılıyor. Erken erişim talep edin.
HotKV'yi kendi sunucularınızda veya kendi bulut hesabınızda, bir lisans dosyasıyla, veri konumu ve ağ erişimi üzerinde tam denetimle çalıştırın.
On iki resmi istemci kitaplığı. HotKV ayrıca RESP2 ve RESP3 konuşur; bu yüzden mevcut Redis istemcileriniz ve araçlarınız, ana makine adı dışında bir değişiklik yapmadan bağlanır.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}GitHub'dan (hotkv-perl-client)libhotkv (CMake, GitHub sürümü)hotkv-cpp (CMake, GitHub sürümü)Python ve Node.js SDK'ları, ekiplerin zaten üzerinde geliştirme yaptığı çerçeveler için tek satırlık entegrasyonlarla gelir. Ayrı açık kaynaklı araçlar LangGraph, MCP ve OpenAI uyumlu API'leri kapsar.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Ayrıca birebir eşleşmeli önbellekleme için HotKVCache ile HotKVVectorStore ve HotKVChatMessageHistory'yi içerir.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Ayrıca HotKVKVStore ve HotKVChatStore'u içerir.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
LiteLLM'in yerleşik Redis önbelleği HotKV ile zaten değişmeden çalışır. Anlamsal önbellekleme de istediğinizde bu entegrasyona başvurun.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });@hotkv/client npm paketiyle gelir.
import { HotKVCache } from "@hotkv/client/langchain";@hotkv/client npm paketiyle gelir.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Grafik durumu için bir kontrol noktası oluşturucu ve anlamsal aramalı uzun vadeli bir bellek deposu. HotKV lisansı gerektirmez.
Belgeleri okuyunpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Claude, Cursor ve diğer asistanların anahtarları, ajan belleğini, prompt'ları ve belge aramasını kullanmasını sağlar. Salt okunur mod ve ad alanları ajanları sınırlar içinde tutar.
Belgeleri okuyungo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
OpenAI uyumlu ve Anthropic API çağrılarını, akış dahil, önbelleğe alan hazır bir vekil. Tek bir URL'yi değiştirin, kod gerekmez.
Belgeleri okuyunHotKV'yi neyin hızlı kıldığını, nereye uyduğunu ve nasıl başlayacağınızı inceleyin.
İlk günden çok iş parçacıklı. Çekirdek sayınızla birlikte, ona karşı değil, ölçeklenen verim.
Daha fazla bilgiMotora yerleşik anlamsal önbellek, RAG, ajan belleği ve LLM maliyet kontrolleri.
Daha fazla bilgiÖnbellekleme, oturumlar, kuyruklar, liderlik tabloları. Redis ile aynı iş yükleri, daha yüksek verimle.
Daha fazla bilgiAnahtar etiketleme, nanosaniye TTL, vektör arama ve yerleşik metrikler; çekirdek motorun parçası.
Daha fazla bilgiHer çekirdeğin komutları paralel olarak okuduğu, ayrıştırdığı ve yürüttüğü çok iş parçacıklı bir motor.
Daha fazla bilgiHotKV Cloud üzerinde Starter, Performance ve Scale planları; dahil trafik ve yıllık bağlılık yok.
Daha fazla bilgi