AI SaaS 產品
每個方案都包含每月的 Token 額度。預算在每次呼叫的當下就強制執行，而不是等到看發票才發現。
AI 與 LLMLLM 營運Performance 與 Scale 方案
LLM 成本治理
依使用者或租戶強制執行 Token 與支出預算，查看每個分組的真實花費，並讓相同的文字只嵌入一次。
- 扣款或拒絕
- 原子
- 依時間窗設定上限
- Token + $
- 每個不重複文字的嵌入次數
- 1x
步驟 1 ／ 6
設定預算
為一個租戶設定 30 天內 200 萬個 Token 與 50 美元。
範例工作階段playing
# 設定預算
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
以真實 HotKV 指令與範例回覆呈現的動畫導覽。點擊任一步驟即可跳到該步驟。 指令與回覆維持英文，與您在 HotKV 中輸入及看到的完全一致。
問題
LLM 的成本依用量計費，代理裡的一個迴圈就能在一個下午花光整個月的預算。事後檢查用量，只能告訴您已經損失了多少，而非原子的預算檢查，則可能被並行的請求超出。
HotKV 如何處理
HotKV 為每位使用者或租戶保存一份預算並以原子方式扣款，因此請求要麼被允許並扣款，要麼在呼叫模型之前就被拒絕。獨立的統計會依分組記錄真實的 Token、成本與延遲，而嵌入則依內容雜湊儲存，讓相同的文字只嵌入一次。
逐步說明
逐個指令看看發生了什麼事
- 01
設定預算
為一個租戶設定 30 天內 200 萬個 Token 與 50 美元。
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
呼叫之前先扣款
允許與扣款在同一步完成。接著才呼叫模型。
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
記錄真實用量
依分組記錄這次呼叫的輸入、輸出與快取 Token、成本與延遲。
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
失控的迴圈撞到上限
租戶的代理持續運作。一旦下一次呼叫會超出上限，就會被拒絕且不會扣款。
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
其他租戶不受影響
每個租戶都有自己的預算。
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
查看租戶目前的狀況
用量、上限、時間窗剩餘時間，以及被拒絕的請求數。
LLMBUDGET.STATUS tenant:acme
適用之處
真實世界的情境
內部 AI 平台
每個團隊都有預算。一個被遺忘、整夜迴圈執行的 notebook，會在達到上限時停下來。
文件處理
合約區塊會在不同版本之間重複。去重後的嵌入意味著修訂後的文件只需為有變動的段落付費。
內建
您能獲得什麼
原子的預算檢查
請求在同一步被扣款或拒絕，因此並行的代理不可能一起超出上限。
LLMBUDGET.CONSUMEToken 與金額
可依 Token 數、依成本，或兩者並用，在您設定的時間窗內限制。
LLMBUDGET.SETLLMBUDGET.STATUS各分組的真實花費
記錄輸入、輸出與快取 Token、成本與延遲，並讀回這些資料。
LLMSTATS.RECORDLLMSTATS.GET嵌入只儲存一次
以內容雜湊去重，意味著相同的文字只會嵌入一次。
EMBED.DEDUP.PUTEMBED.DEDUP.GET常見問題
租戶超出預算時會怎麼樣？
LLMBUDGET.CONSUME 會回傳 0，且不會扣款。接著由您的應用程式拒絕該請求，或改走較便宜的路徑。
除了 Token，也能依成本限制嗎？
可以。預算同時有 Token 上限與以美元計的成本上限，在您選擇的時間窗內生效。
哪些方案包含它？
LLM 預算、統計與嵌入去重屬於 Performance 與 Scale 方案。