为 AI 技术栈而生
大多数团队会在 LLM 应用之上拼装一个向量数据库、一个缓存、一个搜索引擎和一大堆胶水代码。HotKV 将这些基础组件内置于同一个内存引擎中，让检索、记忆和成本控制紧挨着您的数据运行。
选择一个问题。看看它在哪里得到回答，以及技术栈中有多少部分它根本无需经过。
- 00问题通过
- LLMBUDGETLLM 预算通过
- PCACHE提示词缓存已回答
- SCACHE语义缓存
- RAGRAG 管道
- 05LLM
由提示词缓存直接回答。完全不调用模型。
时间是下方 Token 节省基准测试中实测的中位数。语义缓存的耗时未经测量，因此不予显示。
九个 AI 引擎，一台服务器
每个引擎都是紧邻您数据的一组命令。打开任意一个，即可在真实用例中查看。
为什么在 HotKV 上运行 AI
这个多线程核心在我们基准测试的每一条命令上都领先 Redis 和 Valkey，您的检索、记忆和护栏也由它运行。
一个引擎，而不是五个服务
向量搜索、语义缓存、RAG、智能体记忆和特征存储全部运行在同一个进程中。无需分别部署、加固并同步向量数据库、缓存和搜索集群。
亚毫秒级缓存命中
每个 AI 基础组件都运行在同一个多线程核心上，该核心在我们的基准测试中于全部 12 条命令上领先 Redis 和 Valkey。在我们的 LLM 测试中，精确缓存命中约 0.05 ms 即返回，而一次模型调用需 1.4 到 2.9 s。
在数据层控制成本
语义缓存和提示词缓存减少 LLM 调用，嵌入去重减少嵌入调用，键级预算在支出发生之前设定上限。节省是实测的，而非估算。
原生多租户设计
命名空间将每个租户的向量、记忆和预算彼此隔离，Scale 套餐还为跨团队和客户共享的 AI 基础设施增加了租户注册表和审计日志。
为更少的 Token 付费
我们将同样的 3,000 个客服问题向四个当前的 Claude 模型各发送了两遍：一遍直接发给模型，一遍经由前置的 HotKV。
各模型处理的 Token 数
规模化后意味着什么
- Anthropic claude-fable-5-1：不使用 HotKV 每月 $303,100，使用后为 $91,800，每月约节省 $211,300。
- Anthropic claude-opus-5-5：不使用 HotKV 每月 $146,000，使用后为 $45,000，每月约节省 $101,000。
- Anthropic claude-sonnet-5-5：不使用 HotKV 每月 $55,100，使用后为 $16,600，每月约节省 $38,500。
- Anthropic claude-haiku-5-5：不使用 HotKV 每月 $2,700，使用后为 $800，每月约节省 $1,900。
按每天 100 万次请求计算，根据实测的单次请求成本外推，并假设流量模式不变。四个 Claude 模型均以简短回答运行，Fable 5.1 和 Opus 5.5 使用最低推理强度，因此更长或推理更密集的回答会让每次避免的调用价值更高。
完整数据Token、成本、答案质量，以及相似度阈值的取舍展开收起
我们让 Claude Fable 5.1、Opus 5.5、Sonnet 5.5 和 Haiku 5.5 各自处理同样的 3,000 个请求，分别在使用和不使用 HotKV 的情况下运行。每次运行都开启了服务商自身的提示词缓存，Token 和成本取自每个响应的 usage 字段，包括思考 Token。
| 模型 | 节省的 Token | 无 HotKV 成本 | 有 HotKV 成本 | 降低幅度 | 模型调用次数 | 响应时间中位数 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 从 3,000 到 896 | 从 2.7 s 到 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 从 3,000 到 898 | 从 2.9 s 到 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 从 3,000 到 897 | 从 1.8 s 到 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 从 3,000 到 897 | 从 1.4 s 到 125 ms |
缓存答案的质量如何？
对于每个由缓存应答的改写问题，由另一个模型将缓存答案与同一模型针对该原问题给出的新答案进行比较，两者顺序随机。没有任何模型评判自己的输出。这是语言模型的评判，而非人工审核，而且评判的严格程度因模型而异，因此只应在同一模型内比较缓存答案与新答案。
| 模型 | 评判的改写问题数 | 缓存答案切题 | 新答案切题 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
相似度阈值需要在节省与答案质量之间权衡
每一行都是 Claude Sonnet 5.5 在同样 3,000 个请求上的一次独立运行（不使用 HotKV 时的成本：$5.51）。
| 阈值 | 成本 | 降低幅度 | 缓存答案切题 | 新答案切题 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
这些数字说明了什么，又没有说明什么
- 在上述结果所用的 0.81 阈值下，缓存答案切合原问题的比例比新答案低 6 至 11 个百分点。改写问题约占请求的 31%，因此放到全部响应中约为 2 至 3 个百分点。在阈值测试中，阈值为 0.88 及以上时，缓存答案并不比新答案差，同时仍能节省 61% 至 64% 的成本。
- 上文的“意图相同”数据并不意味着“正确答案相同”。在一项包含 119 组刻意设计的相近问题对的测试中（其中一个细节，例如存款与取款，会改变正确答案），阈值为 0.81 时，62% 的改动后问题会得到缓存答案，阈值为 0.90 时为 25%，0.95 时为 10%。这些问题对是刻意构造的难题，展示的是最坏情况，而不是实际流量中出现的频率。如果错误答案在您的场景中代价高昂，请提高阈值。
- 仅使用一个由简短银行问题组成的公开数据集、一个嵌入模型和一个自动评判模型。阈值的影响只在一个模型上测量。其余三个模型仅在 0.81 下运行。您的重复率和问题会得出不同的数字。
从 Banking77 测试集中以固定种子抽取 3,000 个客服问题（意图热度服从 Zipf 分布，s=1.0；在每个意图内均匀抽样问题，允许重复）。每个问题都以相同的客服政策作为系统提示词发送给模型。基线：每个请求都调用模型，并开启服务商自身的提示词缓存。HotKV：先进行精确匹配查找（对规范化后问题的 SHA-256 键执行 GET），再进行语义查找（使用问题的嵌入执行 SCACHE.GET），仅在未命中时才调用模型。Token 数取自每个 API 响应的 usage 块；成本按标价计算，并包含嵌入调用。相似度阈值在独立的 Banking77 训练集上选定，取能让语义命中达到至少 98% 同意图精确率的最低值。
嵌入模型：OpenAI text-embedding-3-small。语义匹配阈值：0.81。数据集：PolyAI 提供的 Banking77（测试集），采用 CC BY 4.0 许可。3,000 个请求，涵盖 77 个意图。
测量日期：2026年10月11日。节省幅度取决于您的流量重复的频率。没有重复或相似问题的工作负载不会有任何节省。