SaaS 客服中心
成千上萬的客戶詢問密碼、發票與方案限制。許多問題是重複或換句話說的，直接由快取回答。只有真正新的問題才會到達模型。
AI 與 LLMLLM 應用程式Performance 與 Scale 方案
AI 客服助理
能立即回答重複問題、依語意比對換句話說的問題、以您的說明中心為新回答提供依據，而且絕不超支的客服機器人。
- 個 AI 引擎，在同一台伺服器
- 5
- 次模型呼叫，處理一個新問題
- 1
- 個需額外運行的資料庫
- 0
步驟 1 ／ 6
檢查租戶的預算
每個租戶的預算都已用 LLMBUDGET.SET 設定一次。在進行任何模型工作之前，先以原子方式扣款。超出上限的租戶會在這裡被拒絕，不會花到錢。
範例工作階段playing
# 檢查租戶的預算
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
以真實 HotKV 指令與範例回覆呈現的動畫導覽。點擊任一步驟即可跳到該步驟。 指令與回覆維持英文，與您在 HotKV 中輸入及看到的完全一致。
問題
真正的客服助理不只是一段提示詞。它需要快取，才不會為同一個問題付兩次錢；需要針對說明中心的檢索、對話的記憶，還需要預算，避免單一客戶把帳單灌爆。這通常意味著四、五項服務，花在黏合上的時間比花在產品上的還多。
HotKV 如何處理
HotKV 把這些元件都當成同一台伺服器裡的指令來運行。助理會檢查租戶的預算，以提示詞快取回答完全重複的問題，以語意快取回答換句話說的問題，為任何新問題檢索說明中心的段落，保存對話，並把每個新回答快取起來，供下一位提問的客戶使用。
逐步說明
逐個指令看看發生了什麼事
- 01
檢查租戶的預算
每個租戶的預算都已用 LLMBUDGET.SET 設定一次。在進行任何模型工作之前，先以原子方式扣款。超出上限的租戶會在這裡被拒絕，不會花到錢。
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
完全重複，立即回答
一字不差地再問一次，就是提示詞快取命中。不需要嵌入，也不呼叫模型。
PCACHE.GET support "How do I reset my password?" - 03
換句話說，依語意比對
「I forgot my login password」的說法不同，但它的嵌入與語意快取（以 SCACHE.CREATE 建立一次）中的某個問題夠接近，因此會回傳已儲存的回答。
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
全新的問題，所以檢索內容
還沒有人問過的問題。針對已匯入的說明中心做混合搜尋，回傳模型所需的段落。
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
一次模型呼叫，並記住結果
模型以這些段落作為內容來回答。這一輪會附加到對話中（對話在聊天開始時以 AMEM.CONV.CREATE 開啟），讓下一則訊息有歷史可參考。
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
快取起來，給下一位客戶
新的回答會存入語意快取，之後只要有人換句話說問這個問題，就是命中。
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
適用之處
真實世界的情境
電子商務退貨機器人
退貨與配送政策只需匯入一次，建成 RAG 管線。回答以現行的政策文字為依據，平台上的每家商店都有自己的預算。
內部 IT 助理
員工每週都在問相同的 VPN 與筆電問題。助理會保存每段對話、回想先前的對話輪次，並在失控的迴圈燒光每月額度之前將它攔下。
內建
您能獲得什麼
兩層快取
精確提示詞快取處理一字不差的重複，語意快取處理換句話說的問題，各自有獨立的命中統計。
PCACHE.GETSCACHE.GET有依據的回答
說明中心的文章會被分塊，並在支援混合向量與關鍵字搜尋的 RAG 管線中建立索引。
RAG.INGESTRAG.SEARCH對話記憶體
每段聊天都為下一個提示詞保留滾動的對話輪次視窗。
AMEM.CONV.APPENDAMEM.CONV.WINDOW依客戶設定預算
依租戶設定 Token 與金額上限，並在呼叫模型之前以原子方式扣款。
LLMBUDGET.CONSUME常見問題
我還需要另外的向量資料庫嗎？
不需要。語意快取、RAG 管線與代理記憶體都在 HotKV 內運行，就在您其他應用程式資料的旁邊。
我可以使用哪些嵌入與聊天模型？
任何模型都可以。HotKV 只儲存並搜尋您提供的向量，本身不會呼叫任何模型，因此您完全掌控選用的供應商。
哪些方案包含這些指令？
提示詞快取、語意快取、RAG 管線、代理記憶體與 LLM 預算都屬於 Performance 與 Scale 方案。