降低 LLM 的 Token 支出，並在不到一毫秒內從快取回應重複的 AI 請求，同時運行多執行緒、相容 Redis 的儲存系統。
HotKV 以單一個相容 Redis 的引擎，放在您的 LLM 呼叫前方。它能辨識已經回答過的提示詞（無論完全相同或近似），並把快取的回應交給您的應用程式，而不是發出新的 API 呼叫。
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # 先前問過，一字不差：不呼叫模型 cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answer示意結果（範例資料）
情境：兩次呼叫 ask("How do I reset my password?")
兩次呼叫都回傳："Use the password-reset link on the sign-in page."
第一次呼叫：快取未命中 → call_llm → 儲存回答
第二次呼叫：快取的回答 → 不呼叫模型我們將相同的 3,000 個客服問題，分別送給四個現行的 Claude 模型兩次：一次直接送給模型，一次在前面加上 HotKV。
以每天 100 萬個請求計算，依實測的每個請求成本外推，並假設流量模式相同。四個 Claude 模型都使用簡短的回答，Fable 5.1 與 Opus 5.5 則採用最低的推理強度，因此更長或需要大量推理的回答，會讓每一次避免的呼叫更有價值。
我們讓 Claude Fable 5.1、Opus 5.5、Sonnet 5.5 與 Haiku 5.5 各自處理相同的 3,000 個請求，分別在使用與未使用 HotKV 的情況下進行。每次執行都啟用了供應商自己的提示詞快取，Token 與成本取自每個回應的用量資料，包含思考用的 Token。
| 模型 | 節省的 Token | 未使用的成本 | 使用後的成本 | 降低 | 模型呼叫 | 回應時間中位數 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 至 896 | 2.7 s 至 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 至 898 | 2.9 s 至 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 至 897 | 1.8 s 至 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 至 897 | 1.4 s 至 125 ms |
對於每個由快取回應的換句話說問題，由另一個模型以隨機順序，將快取的回答與同一個模型針對該問題給出的全新回答進行比較。沒有任何模型評判自己的輸出。這是由語言模型評判，而不是人工審閱，且各模型的嚴格程度不同，因此只應在同一個模型內比較快取與全新的回答。
| 模型 | 經評判的換句話說問題 | 快取回答符合 | 全新回答符合 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
每一列都是 Claude Sonnet 5.5 針對相同 3,000 個請求的獨立執行（未使用 HotKV 的成本：$5.51）。
| 門檻 | 成本 | 降低 | 快取回答符合 | 全新回答符合 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
從 Banking77 測試分割中以固定種子抽取 3,000 個客服問題（意圖的熱門程度服從 Zipf 分布，s=1.0；問題在每個意圖內均勻抽樣，且會重複）。每個問題都連同相同的客服政策作為系統提示詞送給模型。基準：每個請求都呼叫模型，並啟用供應商自己的提示詞快取。HotKV：先做精確比對查找（以正規化後問題的 SHA-256 為鍵執行 GET），再做語意查找（以問題的嵌入執行 SCACHE.GET），只有在未命中時才呼叫模型。Token 數取自每個 API 回應的用量區塊；成本採用牌價並包含嵌入呼叫。相似度門檻是在獨立的 Banking77 訓練分割上選定的，取語意命中的相同意圖精確率至少達 98% 的最低值。
嵌入模型：OpenAI text-embedding-3-small。語意比對門檻：0.81。資料集：PolyAI 的 Banking77（測試分割），授權為 CC BY 4.0。涵蓋 77 個意圖，共 3,000 個請求。
測量日期：2026年10月11日。節省幅度取決於您的流量重複的頻率。若工作負載沒有重複或相似的問題，就不會節省任何成本。
我們將相同的 OpenAI 嵌入載入 HotKV 與 Redis 8，在同一台機器上，以 1 至 100 個同時連線的用戶端，對兩者執行相同的 1,000 個查詢。兩者都儲存完整精度的向量，且索引設定相同。
兩個引擎都儲存完整精度的 float32 向量。載入 999,000 個向量後，HotKV 行程占用 6.77 GB，Redis 占用 7.01 GB。
未測量的項目：Redis 預設的 8 位元量化模式、Redis Query Engine、其他資料集與其他硬體。所測的 HotKV 建置為尚未發布的開發版本。Redis 載入時固定使用四個 vCPU，並在重新載入的索引上搜尋（詳見文章）。
| ef | HotKV 召回率 | Redis 召回率 | HotKV 查詢/秒 | Redis 查詢/秒 | 比率 |
|---|---|---|---|---|---|
| 40 | 0.940 | 0.923 | 63,897 | 8,061 | 7.9x |
| 80 | 0.970 | 0.962 | 37,508 | 6,825 | 5.5x |
| 150 | 0.987 | 0.980 | 21,912 | 5,241 | 4.2x |
| 300 | 0.993 | 0.990 | 12,393 | 3,454 | 3.6x |
| 500 | 0.997 | 0.994 | 7,688 | 2,483 | 3.1x |
HotKV 建置 c8dafd37 與 Redis 8.10.2，餘弦相似度，兩者皆使用 HNSW，M=16、ef_construction=200，兩者皆為 float32（Redis NOQUANT）。召回率為相對於精確暴力搜尋結果的 recall@10。為 3 次執行的中位數，於 Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs 上進行。兩台伺服器共用 128 個 vCPU，負載產生器則在另外 32 個上運行，兩者使用相同的用戶端程式碼。
資料集：Kumar Shivendu and Nirant Kasliwal 的 dbpedia-entities-openai-1M 嵌入（OpenAI text-embedding-ada-002，1,536 維），授權為 MIT，另加 1,000 個保留的查詢。完整方法、腳本與原始結果。 測量日期：2026年10月14日。
HotKV 是商業軟體。您可以交給我們代為營運，也可以在自己掌控的基礎架構上自行運行。
完全託管的 HotKV 執行個體，由我們在 Google Cloud 的 42 個區域代管並維運。分批開放中。請申請搶先體驗。
憑授權檔案，在您自己的伺服器或自己的雲端帳戶上運行 HotKV，完全掌控資料所在地與網路存取。
十二個官方用戶端函式庫。HotKV 同時支援 RESP2 與 RESP3，因此您現有的 Redis 用戶端與工具，除了主機名稱之外無須任何變更即可連線。
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}從 GitHub 安裝 (hotkv-perl-client)libhotkv (CMake、GitHub 發行版)hotkv-cpp (CMake、GitHub 發行版)Python 與 Node.js SDK 為團隊現有使用的框架提供一行程式碼的整合。另有獨立的開源工具涵蓋 LangGraph、MCP 與相容 OpenAI 的 API。
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
另包含用於精確比對快取的 HotKVCache，以及 HotKVVectorStore 與 HotKVChatMessageHistory。
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
另包含 HotKVKVStore 與 HotKVChatStore。
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
LiteLLM 內建的 Redis 快取不需修改即可搭配 HotKV 使用。若您還需要語意快取，再使用這項整合。
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });包含在 @hotkv/client npm 套件中。
import { HotKVCache } from "@hotkv/client/langchain";包含在 @hotkv/client npm 套件中。
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
提供圖狀態的 checkpointer，以及具備語意搜尋的長期記憶儲存。不需要 HotKV 授權。
閱讀文件pip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
讓 Claude、Cursor 與其他助理能使用鍵、代理記憶體、提示詞與文件搜尋。唯讀模式與命名空間可將代理限制在範圍內。
閱讀文件go install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
可直接替換的代理，會快取相容 OpenAI 與 Anthropic 的 API 呼叫（包含串流）。只需更改一個 URL，不需修改程式碼。
閱讀文件深入了解 HotKV 為何快速、適合哪些場景，以及如何開始使用。