定时报告
同样的摘要要为仪表盘的每位查看者生成。每份报告每天只需一次模型调用，而不是每次浏览一次。
AI 与 LLMLLM 应用Performance 和 Scale 套餐
精确提示词缓存
同一提示词绝不重复付费。精确匹配的 LLM 缓存，并统计为您节省的 token 和金额。
- 匹配，零误命中
- 精确
- 查找延迟，见 STATS
- p50
- 按命名空间统计节省
- $
步骤 1 / 4
创建命名空间
为它设定 TTL 以便答案定期刷新，并设定一次命中平均能节省多少。
示例会话playing
# 创建命名空间
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
使用真实 HotKV 命令和示例回复的动画演示。点击任意步骤即可跳转。 命令和回复保持英文，与您在 HotKV 中输入和看到的完全一致。
问题所在
批处理任务、重试、定时报告和热门问题一遍又一遍地把同一个提示词发给模型。每一次都全额计费，而且没人说得清缓存能省多少钱，因为根本没有任何衡量。
HotKV 如何解决
提示词缓存为每个精确的提示词存储响应，同时记录产生该响应的那次调用所用的模型和 token 数。之后的每次命中都会被计数，因此 HotKV 能报告您省下的请求数、token 和金额。
逐步演示
逐条命令，看看发生了什么
- 01
创建命名空间
为它设定 TTL 以便答案定期刷新，并设定一次命中平均能节省多少。
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
未命中，连同用量一起存储
第一次调用发往模型。答案与产生它的模型和 token 数一起存储。
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
每次重复都免费
夜间任务和每一次仪表盘浏览都在问同样的问题。它们全部命中。
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
查看节省了多少
统计包括命中率、查找延迟以及您无需付费的用量。
PCACHE.STATS reports
适用场景
真实场景
翻译与本地化
UI 字符串和商品描述每种语言只翻译一次，此后的每个请求都由缓存提供。
分类管道
文本完全相同的工单、评论和邮件得到相同的标签，无需再次调用模型。
内置功能
您将获得
精确匹配
只有完全相同的提示词才会命中，因此缓存的答案绝不会被用来回答另一个问题。
PCACHE.GETPCACHE.SET感知用量
每个答案都连同模型和 token 数一起存储，节省额根据真实用量计算。
MODELINPUTOUTPUT元数据与命中次数
PCACHE.GETEX 返回答案及其元数据，以及它已被提供的次数。
PCACHE.GETEX命中率与延迟
PCACHE.STATS 报告命中、未命中、淘汰、内存、查找延迟和节省。
PCACHE.STATS常见问题
什么时候该用提示词缓存而不是语义缓存？
当提示词完全重复时用提示词缓存，例如批处理任务和固定模板。当人们用不同措辞问同一个问题时用语义缓存。许多应用会两者都查。
这和服务商的提示词缓存是一回事吗？
不是。服务商的提示词缓存是在他们那一侧为重复的前缀打折。HotKV 的命中根本不会到达服务商，因此两者的节省可以叠加。
哪些套餐包含此功能？
提示词缓存包含在 Performance 和 Scale 套餐中。