Pangkas pengeluaran token LLM dan jawab permintaan AI yang berulang dari cache dalam waktu kurang dari satu milidetik sambil menjalankan store multi-thread yang kompatibel dengan Redis.
HotKV berada di depan panggilan LLM Anda sebagai satu mesin yang kompatibel dengan Redis. HotKV mengenali prompt yang sudah pernah dijawab, secara persis maupun mendekati, dan memberikan respons dari cache kepada aplikasi Anda sebagai ganti panggilan API baru.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Pernah ditanyakan, kata demi kata: tanpa panggilan model cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerHasil ilustratif (data contoh)
Skenario: ask("How do I reset my password?") dua kali
Kedua panggilan mengembalikan: "Use the password-reset link on the sign-in page."
Panggilan pertama: cache miss → call_llm → jawaban disimpan
Panggilan kedua: jawaban dari cache → tanpa panggilan modelKami mengirim 3.000 pertanyaan dukungan pelanggan yang sama ke empat model Claude terkini sebanyak dua kali: sekali langsung ke model, sekali dengan HotKV di depannya.
Pada 1 juta permintaan per hari, diekstrapolasi dari biaya terukur per permintaan dan dengan asumsi pola trafik yang sama. Keempat model Claude dijalankan dengan jawaban pendek, dan Fable 5.1 serta Opus 5.5 pada tingkat usaha penalaran terendah, jadi jawaban yang lebih panjang atau banyak penalaran akan membuat setiap panggilan yang dihindari lebih bernilai.
Kami menjalankan Claude Fable 5.1, Opus 5.5, Sonnet 5.5, dan Haiku 5.5 pada 3.000 permintaan yang sama untuk masing-masing, dengan dan tanpa HotKV. Prompt caching dari penyedia aktif di setiap jalan, dan token serta biaya diambil dari penggunaan pada setiap respons, termasuk token berpikir.
| Model | Token dihemat | Biaya tanpa | Biaya dengan | Lebih rendah | Panggilan model | Median respons |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 hingga 896 | 2,7 s hingga 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 hingga 898 | 2,9 s hingga 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 hingga 897 | 1,8 s hingga 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 hingga 897 | 1,4 s hingga 125 ms |
Untuk setiap pertanyaan dengan kata lain yang dilayani dari cache, model lain membandingkan jawaban cache dengan jawaban baru yang diberikan model yang sama untuk pertanyaan persis tersebut, dalam urutan acak. Tidak ada model yang menilai keluarannya sendiri. Ini adalah penilaian model bahasa, bukan tinjauan manusia, dan tingkat ketatnya berbeda antarmodel, jadi bandingkan jawaban cache dengan jawaban baru hanya dalam satu model.
| Model | Pertanyaan dengan kata lain yang dinilai | Jawaban cache sesuai | Jawaban baru sesuai |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Setiap baris adalah jalan terpisah dari Claude Sonnet 5.5 pada 3.000 permintaan yang sama (biaya tanpa HotKV: $5,51).
| Ambang batas | Biaya | Lebih rendah | Jawaban cache sesuai | Jawaban baru sesuai |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3.000 pertanyaan dukungan pelanggan diambil dari split uji Banking77 dengan seed tetap (popularitas intent mengikuti distribusi Zipf, s=1,0; pertanyaan disampel secara seragam dalam setiap intent, dengan pengulangan). Setiap pertanyaan dikirim ke model dengan kebijakan dukungan yang sama sebagai system prompt. Baseline: setiap permintaan memanggil model, dengan prompt caching dari penyedia diaktifkan. HotKV: pencarian pencocokan persis (GET pada kunci SHA-256 dari pertanyaan yang dinormalisasi), lalu pencarian semantik (SCACHE.GET dengan embedding pertanyaan), dan model hanya dipanggil saat miss. Jumlah token diambil dari blok usage pada setiap respons API; biaya memakai harga resmi dan mencakup panggilan embedding. Ambang batas kemiripan dipilih pada split latih Banking77 yang terpisah sebagai nilai terendah yang memberikan presisi intent sama setidaknya 98% pada hit semantik.
Model embedding: OpenAI text-embedding-3-small. Ambang batas kecocokan semantik: 0,81. Dataset: Banking77 (split uji) oleh PolyAI, berlisensi CC BY 4.0. 3.000 permintaan dari 77 intent.
Diukur 11 Oktober 2026. Penghematan bergantung pada seberapa sering trafik Anda mengulang dirinya sendiri. Beban kerja tanpa pertanyaan yang berulang atau mirip tidak menghemat apa pun.
Kami memuat embedding OpenAI yang sama ke HotKV dan Redis 8 dan menjalankan 1.000 kueri yang sama terhadap masing-masing, dengan 1 hingga 100 koneksi klien bersamaan, pada satu mesin. Keduanya menyimpan vektor presisi penuh, dengan pengaturan indeks yang sama.
Kedua mesin menyimpan vektor float32 presisi penuh. Setelah memuat 999.000 vektor, proses HotKV memegang 6,77 GB dan Redis 7,01 GB.
Tidak diukur: mode terkuantisasi 8-bit default Redis, Redis Query Engine, dataset lain, dan perangkat keras lain. Build HotKV adalah build pengembangan yang belum dirilis. Redis dimuat dengan dipasangkan pada empat vCPU dan dicari pada indeks yang dimuat ulang (lihat artikel).
| ef | Recall HotKV | Recall Redis | Kueri/detik HotKV | Kueri/detik Redis | Rasio |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
Build HotKV c8dafd37 dan Redis 8.10.2, kemiripan cosine, HNSW dengan M=16 dan ef_construction=200 pada keduanya, float32 pada keduanya (Redis NOQUANT). Recall adalah recall@10 terhadap hasil brute-force yang tepat. Median dari 3 kali jalan pada Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Server berbagi 128 vCPU dan generator beban berjalan pada 32 lainnya, memakai kode klien yang sama untuk keduanya.
Dataset: embedding dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1.536 dimensi) oleh Kumar Shivendu and Nirant Kasliwal, berlisensi MIT, plus 1.000 kueri yang ditahan. Metode lengkap, skrip, dan hasil mentah. Diukur 14 Oktober 2026.
HotKV adalah perangkat lunak komersial. Biarkan kami yang menjalankannya untuk Anda, atau jalankan sendiri di infrastruktur yang Anda kendalikan.
Instance HotKV terkelola penuh, dihosting dan dioperasikan oleh kami di Google Cloud di 42 region. Dibuka secara bergelombang. Minta akses awal.
Jalankan HotKV di server Anda sendiri atau akun cloud Anda sendiri, dengan file lisensi, dan kendali penuh atas residensi data dan akses jaringan.
Dua belas pustaka klien resmi. HotKV juga berbicara RESP2 dan RESP3, jadi klien dan alat Redis Anda yang sudah ada terhubung tanpa perubahan selain hostname.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}dari GitHub (hotkv-perl-client)libhotkv (CMake, rilis GitHub)hotkv-cpp (CMake, rilis GitHub)SDK Python dan Node.js menyertakan integrasi satu baris untuk framework yang sudah dipakai tim untuk membangun. Alat open source terpisah mencakup LangGraph, MCP, dan API yang kompatibel dengan OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Juga mencakup HotKVCache untuk caching dengan pencocokan persis, plus HotKVVectorStore dan HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Juga mencakup HotKVKVStore dan HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Cache Redis bawaan LiteLLM sudah bekerja dengan HotKV tanpa perubahan. Gunakan integrasi ini ketika Anda juga menginginkan semantic caching.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Disertakan dalam paket npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Disertakan dalam paket npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Checkpointer untuk status graf dan penyimpanan memori jangka panjang dengan pencarian semantik. Tidak memerlukan lisensi HotKV.
Baca dokumentasipip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Memungkinkan Claude, Cursor, dan asisten lain menggunakan kunci, memori agen, prompt, dan pencarian dokumen. Mode baca-saja dan namespace menjaga agen tetap dalam batas.
Baca dokumentasigo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Proxy drop-in yang men-cache panggilan API yang kompatibel dengan OpenAI dan Anthropic, termasuk streaming. Ubah satu URL, tanpa kode.
Baca dokumentasiPelajari apa yang membuat HotKV cepat, di mana ia cocok, dan cara memulainya.
Multi-thread sejak hari pertama. Throughput yang tumbuh seiring jumlah core Anda, bukan melawannya.
Pelajari lebih lanjutSemantic cache, RAG, memori agen, dan kontrol biaya LLM yang tertanam di mesin.
Pelajari lebih lanjutCaching, sesi, antrean, papan peringkat. Beban kerja yang sama seperti Redis, dengan throughput lebih tinggi.
Pelajari lebih lanjutTagging kunci, TTL nanodetik, vector search, dan metrik bawaan, bagian dari mesin inti.
Pelajari lebih lanjutMesin multi-thread tempat setiap core membaca, mem-parse, dan mengeksekusi perintah secara paralel.
Pelajari lebih lanjutPaket Starter, Performance, dan Scale di HotKV Cloud, dengan trafik bawaan dan tanpa ikatan tahunan.
Pelajari lebih lanjut