SaaS 帮助台
成千上万的客户询问密码、发票和套餐限额。许多问题是重复或换了说法的，直接由缓存作答。只有真正的新问题才会到达模型。
AI 与 LLMLLM 应用Performance 和 Scale 套餐
AI 客服助手
重复问题即刻作答，换个说法的问题按语义匹配，新答案以您的帮助中心为依据，而且绝不超支。
- AI 引擎集于一台服务器
- 5
- 每个新问题的模型调用次数
- 1
- 需额外运维的数据库
- 0
步骤 1 / 6
检查租户预算
每个租户的预算已事先用 LLMBUDGET.SET 设置一次。在任何模型调用之前，先以原子方式扣减。超出上限的租户在这里就会被拒绝，一分钱也不会花出去。
示例会话playing
# 检查租户预算
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
使用真实 HotKV 命令和示例回复的动画演示。点击任意步骤即可跳转。 命令和回复保持英文，与您在 HotKV 中输入和看到的完全一致。
问题所在
真正的客服助手远不止一段提示词。它需要缓存，让同一个问题不必付两次钱。它还需要对帮助中心做检索，需要记住对话，需要预算来防止某一位客户把账单刷爆。这通常意味着四五个服务，花在胶水代码上的时间比花在产品上的还多。
HotKV 如何解决
HotKV 把这些组件全部作为命令运行在一台服务器上。助手先检查租户预算，用提示词缓存回答一字不差的重复问题，用语义缓存回答换了说法的问题，遇到新问题就检索帮助中心的段落，同时保存对话，并把每个新答案缓存起来，留给下一位提出同样问题的客户。
逐步演示
逐条命令，看看发生了什么
- 01
检查租户预算
每个租户的预算已事先用 LLMBUDGET.SET 设置一次。在任何模型调用之前，先以原子方式扣减。超出上限的租户在这里就会被拒绝，一分钱也不会花出去。
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
完全重复，即刻作答
一字不差的同一个问题会命中提示词缓存。无需嵌入，也无需调用模型。
PCACHE.GET support "How do I reset my password?" - 03
换个说法，按语义匹配
"I forgot my login password" 的措辞不同。它的嵌入与语义缓存（用 SCACHE.CREATE 创建一次）中的某个问题足够接近，因此直接返回已存储的答案。
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
新问题，检索上下文
一个还没人问过的问题。对已导入的帮助中心进行混合搜索，返回模型所需的段落。
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
一次模型调用，并记录下来
模型以这些段落为上下文作答。这一轮对话会追加到聊天开始时用 AMEM.CONV.CREATE 创建的对话中，下一条消息就能带上历史记录。
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
缓存下来留给下一位客户
新答案写入语义缓存，此后这个问题的任何换种说法都能命中。
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
适用场景
真实场景
电商退货机器人
退货和配送政策作为 RAG 管道一次性导入。答案以当前的政策文本为依据，平台上的每家店铺都有自己的预算。
内部 IT 助手
员工每周都会问同样的 VPN 和笔记本电脑问题。助手保存每段对话，能回想起之前的对话轮次，并在失控的循环耗尽每月额度之前将其叫停。
内置功能
您将获得
两层缓存
精确提示词缓存应对一字不差的重复，语义缓存应对换了说法的问题，各有各的命中统计。
PCACHE.GETSCACHE.GET有据可依的答案
帮助中心文章在 RAG 管道中分块并建立索引，支持向量与关键词混合搜索。
RAG.INGESTRAG.SEARCH对话记忆
每段聊天都保留一个滚动的对话轮次窗口，供下一次提示词使用。
AMEM.CONV.APPENDAMEM.CONV.WINDOW按客户设定预算
按租户设定 token 和金额上限，在调用模型之前以原子方式扣减。
LLMBUDGET.CONSUME常见问题
我还需要一个向量数据库吗？
不需要。语义缓存、RAG 管道和智能体记忆全部运行在 HotKV 内部，就在您其他应用数据的旁边。
我可以使用哪些嵌入模型和聊天模型？
任何模型都可以。HotKV 只存储和搜索您提供的向量，自身从不调用模型，因此服务商完全由您掌控。
哪些套餐包含这些命令？
提示词缓存、语义缓存、RAG 管道、智能体记忆和 LLM 预算都包含在 Performance 和 Scale 套餐中。