客户支持
重置密码、补开发票和配送时间的问题被一问再问。第一次之后的每种问法都由缓存作答。
AI 与 LLMLLM 应用Performance 和 Scale 套餐
语义响应缓存
按语义而非精确文本缓存 LLM 答案，让换了说法的问题也能命中缓存，省去模型调用。
- 每次模型调用前的查找次数
- 1
- 相似度度量方式
- 3
- 覆盖阈值
- 按调用
步骤 1 / 6
创建命名空间
设定嵌入维度，以及达到多少相似度才算命中。
示例会话playing
# 创建命名空间
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
使用真实 HotKV 命令和示例回复的动画演示。点击任意步骤即可跳转。 命令和回复保持英文，与您在 HotKV 中输入和看到的完全一致。
问题所在
客服助手会收到同一个问题的上百种问法。精确匹配的缓存几乎全部未命中，于是每一种换了说法的问题都要支付一次完整的模型调用，并等待完整的响应。
HotKV 如何解决
语义缓存把每个答案与其问题的嵌入存放在一起，并按相似度查找新问题。如果一个新提示词与您已回答过的问题足够接近，就直接返回已存储的答案，完全不调用模型。阈值决定多接近才算足够接近。
逐步演示
逐条命令，看看发生了什么
- 01
创建命名空间
设定嵌入维度，以及达到多少相似度才算命中。
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
未命中，调用一次模型
一个问题第一次被问到时，缓存中没有相似的内容，于是由模型作答。
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
记住答案
存储问题、答案和问题的嵌入，保留一天。
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
换个说法也能命中
"forgot my login pass" 与已存储的问题非常接近。答案及其相似度被返回，跳过模型。
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
单次查找更严格
对于差一点也不行的答案，单次查找可以要求比命名空间默认值更接近的匹配。
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
衡量节省
按命名空间的统计显示缓存代替模型作答的频率。
SCACHE.STATS support_bot
适用场景
真实场景
内部知识机器人
员工用自己的话询问假期、报销和 VPN 访问。一个答案在过期之前可以服务所有人。
开发者工具
"How do I paginate?" 和 "how to page through results" 得到的是同一个文档答案，无需第二次调用模型。
内置功能
您将获得
按语义匹配
无论措辞如何，相似的问题共享同一个缓存答案。
SCACHE.GETSCACHE.SET严格程度由您掌控
按命名空间设置阈值，并可在单次查找中覆盖。
SCACHE.THRESHOLD可衡量的节省
按命名空间的统计显示命中、未命中和条目数。
SCACHE.STATS余弦、L2 或内积
创建命名空间时，选择与您的嵌入模型相匹配的度量。
SCACHE.CREATE常见问题
一次缓存命中的成本是多少？
一次嵌入调用加一次缓存查找。模型调用及其生成时间都被省去。
如何避免宽松匹配带来错误答案？
提高阈值。阈值越高，需要的匹配越接近，命中的问题越少，但每次命中都更可靠。
哪些套餐包含此功能？
语义缓存包含在 Performance 和 Scale 套餐中。