為 AI 技術堆疊而生
多數團隊會為自己的 LLM 應用程式額外接上向量資料庫、快取、搜尋引擎，以及一大堆黏合程式碼。HotKV 把這些基礎元件整合進單一記憶體內引擎，讓檢索、記憶體與成本控管都緊貼著您的資料運作。
選一個問題，看看它在哪裡得到回答，以及整個技術堆疊有多少部分根本不必碰到。
- 00問題通過
- LLMBUDGETLLM 預算通過
- PCACHE提示詞快取已回答
- SCACHE語意快取
- RAGRAG 管線
- 05LLM
由提示詞快取回答，完全不呼叫模型。
時間為下方 Token 節省基準測試所測得的中位數。語意快取的時間未經測量，因此不顯示。
九個 AI 引擎，一台伺服器
每一個都是緊貼著您的資料的一組指令。開啟任何一個，即可在真實的使用情境中看到它。
為什麼要在 HotKV 上運行 AI
在我們測試的每項指令上都領先 Redis 與 Valkey 的同一個多執行緒核心，同樣也運行您的檢索、記憶體與防護機制。
一個引擎，而不是五項服務
向量搜尋、語意快取、RAG、代理記憶體與特徵庫都在同一個行程中。不需要另外部署、保護並同步向量資料庫、快取與搜尋叢集。
不到一毫秒的快取命中
每個 AI 基礎元件都運行在同一個多執行緒核心上，該核心在我們基準測試的全部 12 項指令中領先 Redis 與 Valkey。在我們的 LLM 測試中，精確快取命中約 0.05 ms 即可回應，而一次模型呼叫需要 1.4 至 2.9 秒。
在資料層控管成本
語意快取與提示詞快取減少 LLM 呼叫，嵌入去重減少嵌入呼叫，而每個鍵的預算會在花費發生之前就設下上限。這些節省都是實測得到，而非估算。
原生多租戶設計
命名空間讓每個租戶的向量、記憶體與預算彼此隔離，Scale 方案更提供租戶登錄與稽核記錄，適合跨團隊與客戶共用的 AI 基礎架構。
只為更少的 Token 付費
我們將相同的 3,000 個客服問題，分別送給四個現行的 Claude 模型兩次：一次直接送給模型，一次在前面加上 HotKV。
各模型處理的 Token
放大到實際規模代表什麼
- Anthropic claude-fable-5-1：不使用 HotKV 每月 $303,100，使用後為 $91,800，每月約可節省 $211,300。
- Anthropic claude-opus-5-5：不使用 HotKV 每月 $146,000，使用後為 $45,000，每月約可節省 $101,000。
- Anthropic claude-sonnet-5-5：不使用 HotKV 每月 $55,100，使用後為 $16,600，每月約可節省 $38,500。
- Anthropic claude-haiku-5-5：不使用 HotKV 每月 $2,700，使用後為 $800，每月約可節省 $1,900。
以每天 100 萬個請求計算，依實測的每個請求成本外推，並假設流量模式相同。四個 Claude 模型都使用簡短的回答，Fable 5.1 與 Opus 5.5 則採用最低的推理強度，因此更長或需要大量推理的回答，會讓每一次避免的呼叫更有價值。
完整數據Token、成本、回答品質，以及相似度門檻的取捨展開收合
我們讓 Claude Fable 5.1、Opus 5.5、Sonnet 5.5 與 Haiku 5.5 各自處理相同的 3,000 個請求，分別在使用與未使用 HotKV 的情況下進行。每次執行都啟用了供應商自己的提示詞快取，Token 與成本取自每個回應的用量資料，包含思考用的 Token。
| 模型 | 節省的 Token | 未使用的成本 | 使用後的成本 | 降低 | 模型呼叫 | 回應時間中位數 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 至 896 | 2.7 s 至 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 至 898 | 2.9 s 至 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 至 897 | 1.8 s 至 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 至 897 | 1.4 s 至 125 ms |
快取的回答品質如何？
對於每個由快取回應的換句話說問題，由另一個模型以隨機順序，將快取的回答與同一個模型針對該問題給出的全新回答進行比較。沒有任何模型評判自己的輸出。這是由語言模型評判，而不是人工審閱，且各模型的嚴格程度不同，因此只應在同一個模型內比較快取與全新的回答。
| 模型 | 經評判的換句話說問題 | 快取回答符合 | 全新回答符合 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
相似度門檻是在節省幅度與回答品質之間取捨
每一列都是 Claude Sonnet 5.5 針對相同 3,000 個請求的獨立執行（未使用 HotKV 的成本：$5.51）。
| 門檻 | 成本 | 降低 | 快取回答符合 | 全新回答符合 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
這些數字能說明與不能說明的事
- 在上述結果所使用的 0.81 門檻下，快取回答符合該問題的頻率比全新回答低 6 至 11 個百分點。換句話說的問題約占請求的 31%，因此就所有回應而言，大約是 2 至 3 個百分點。在門檻測試中，0.88 以上的快取回答並不比全新回答差，同時仍可節省 61% 至 64% 的成本。
- 上方的「相同意圖」數字並不代表「相同的正確答案」。在針對 119 組刻意設計得非常接近的問題配對所做的測試中，某個細節（例如存款與提款）會改變正確答案，在 0.81 時，有 62% 被改動的問題會得到快取的回答；在 0.90 時為 25%，在 0.95 時為 10%。這些配對是刻意設計得很困難，呈現的是最壞情況，而不是在真實流量中發生的頻率。如果錯誤的回答對您的使用情境代價很高，請提高門檻。
- 一個公開的簡短銀行問題資料集、一個嵌入模型，以及一個自動化的評判者。門檻的影響是在一個模型上測得的，另外三個模型只在 0.81 下執行。您的重複率與問題會得到不同的數字。
從 Banking77 測試分割中以固定種子抽取 3,000 個客服問題（意圖的熱門程度服從 Zipf 分布，s=1.0；問題在每個意圖內均勻抽樣，且會重複）。每個問題都連同相同的客服政策作為系統提示詞送給模型。基準：每個請求都呼叫模型，並啟用供應商自己的提示詞快取。HotKV：先做精確比對查找（以正規化後問題的 SHA-256 為鍵執行 GET），再做語意查找（以問題的嵌入執行 SCACHE.GET），只有在未命中時才呼叫模型。Token 數取自每個 API 回應的用量區塊；成本採用牌價並包含嵌入呼叫。相似度門檻是在獨立的 Banking77 訓練分割上選定的，取語意命中的相同意圖精確率至少達 98% 的最低值。
嵌入模型：OpenAI text-embedding-3-small。語意比對門檻：0.81。資料集：PolyAI 的 Banking77（測試分割），授權為 CC BY 4.0。涵蓋 77 個意圖，共 3,000 個請求。
測量日期：2026年10月11日。節省幅度取決於您的流量重複的頻率。若工作負載沒有重複或相似的問題，就不會節省任何成本。