AI SaaS 产品
每个套餐都包含每月的 token 额度。预算在每次调用的那一刻就被执行，而不是等到看账单时才发现。
AI 与 LLMLLM 运维Performance 和 Scale 套餐
LLM 成本治理
按用户或租户强制执行 token 和支出预算，查看每个桶的真实支出，相同的文本只做一次嵌入。
- 扣减或拒绝
- 原子
- 按时间窗口限额
- Tokens + $
- 每段唯一文本只嵌入一次
- 1x
步骤 1 / 6
设定预算
为一个租户设定 30 天内 200 万 token 和 50 美元的上限。
示例会话playing
# 设定预算
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
使用真实 HotKV 命令和示例回复的动画演示。点击任意步骤即可跳转。 命令和回复保持英文，与您在 HotKV 中输入和看到的完全一致。
问题所在
LLM 成本按用量计费，智能体里的一个循环就能在一个下午花掉一个月的预算。事后检查用量只能告诉您已经损失了多少，而不是原子操作的预算检查会被并发请求突破。
HotKV 如何解决
HotKV 为每个用户或租户维护预算，并以原子方式扣减，因此在调用模型之前，请求要么被允许并扣费，要么被拒绝。独立的统计按桶记录真实的 token、成本和延迟，嵌入按内容哈希存储，相同的文本只做一次嵌入。
逐步演示
逐条命令，看看发生了什么
- 01
设定预算
为一个租户设定 30 天内 200 万 token 和 50 美元的上限。
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
调用之前先扣减
一步完成允许和扣费。然后再调用模型。
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
记录真实用量
按桶记录这次调用的输入、输出和缓存 token、成本和延迟。
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
失控的循环撞上上限
租户的智能体一直在跑。一旦下一次调用会超出限额，就会被拒绝，并且不扣费。
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
其他租户不受影响
每个租户都有自己的预算。
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
查看租户的状况
用量、限额、时间窗口的剩余时间，以及被拒绝的请求数。
LLMBUDGET.STATUS tenant:acme
适用场景
真实场景
内部 AI 平台
每个团队都有预算。一个被遗忘、整夜循环运行的 notebook 会在达到上限时停下。
文档处理
合同分块在不同版本之间反复出现。嵌入去重意味着修订后的文档只需为改动过的段落付费。
内置功能
您将获得
原子预算检查
请求在一步之内被扣费或拒绝，并发的智能体无法联手突破上限。
LLMBUDGET.CONSUMEToken 与金额
可按 token 数、按成本或两者同时限制，时间窗口由您设定。
LLMBUDGET.SETLLMBUDGET.STATUS每个桶的真实支出
记录输入、输出和缓存 token、成本和延迟，并可读回。
LLMSTATS.RECORDLLMSTATS.GET嵌入只存一次
基于内容哈希的去重意味着相同的文本只做一次嵌入。
EMBED.DEDUP.PUTEMBED.DEDUP.GET常见问题
租户超出预算时会怎样？
LLMBUDGET.CONSUME 返回 0，并且不扣费。随后您的应用拒绝该请求，或改走更便宜的路径。
除了 token，还能按成本限制吗？
可以。一个预算同时有 token 限额和以美元计的成本限额，时间窗口由您选择。
哪些套餐包含此功能？
LLM 预算、统计和嵌入去重包含在 Performance 和 Scale 套餐中。