排程報表
儀表板的每位檢視者都會產生相同的摘要。每份報表每天只呼叫一次模型，而不是每次檢視都呼叫一次。
AI 與 LLMLLM 應用程式Performance 與 Scale 方案
精確提示詞快取
同一個提示詞絕不付兩次錢。精確比對的 LLM 快取，並會計算它為您省下的 Token 與金額。
- 比對，零誤命中
- 精確
- STATS 中的查找延遲
- p50
- 依命名空間追蹤節省金額
- $
步驟 1 ／ 4
建立命名空間
設定 TTL 讓回答能夠更新，並設定每次命中平均能省下多少。
範例工作階段playing
# 建立命名空間
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
以真實 HotKV 指令與範例回覆呈現的動畫導覽。點擊任一步驟即可跳到該步驟。 指令與回覆維持英文，與您在 HotKV 中輸入及看到的完全一致。
問題
批次工作、重試、排程報表與熱門問題，會一再把同樣的提示詞送給模型。每一次都要全額計費，而且因為沒有任何機制在衡量，沒有人能說出快取本來可以省下多少。
HotKV 如何處理
提示詞快取會為每個精確相同的提示詞儲存回應，並連同產生該回應的那次呼叫所用的模型與 Token 數。之後每次命中都會被計算，因此 HotKV 能回報您沒有花掉的請求數、Token 與金額。
逐步說明
逐個指令看看發生了什麼事
- 01
建立命名空間
設定 TTL 讓回答能夠更新，並設定每次命中平均能省下多少。
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
未命中，然後連同用量一起儲存
第一次呼叫會送往模型。回答會連同產生它的模型與 Token 數一起儲存。
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
每次重複都是免費的
夜間工作與儀表板的每次檢視問的都是同一件事。全部都是命中。
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
看看省了多少
統計資料包含命中率、查找延遲，以及您沒有付費的用量。
PCACHE.STATS reports
適用之處
真實世界的情境
翻譯與在地化
介面字串與商品說明每種語言只需翻譯一次，之後的每個請求都從快取回應。
分類管線
文字完全相同的工單、評論與電子郵件，不需再次呼叫模型就會得到相同的標籤。
內建
您能獲得什麼
精確比對
只有完全相同的提示詞才會命中，因此快取的回答絕不會用在不同的問題上。
PCACHE.GETPCACHE.SET感知用量
每個回答都儲存模型與 Token 數，讓節省的金額由真實用量計算而來。
MODELINPUTOUTPUT中繼資料與命中次數
PCACHE.GETEX 會回傳回答及其中繼資料，以及已經被使用的次數。
PCACHE.GETEX命中率與延遲
PCACHE.STATS 會回報命中、未命中、淘汰、記憶體、查找延遲與節省金額。
PCACHE.STATS常見問題
什麼時候該用提示詞快取，而不是語意快取？
當提示詞會精確重複時，例如批次工作與固定範本，請用提示詞快取。當人們用不同說法問同一個問題時，請用語意快取。許多應用程式會兩者都檢查。
這和供應商的提示詞快取一樣嗎？
不一樣。供應商的提示詞快取是在他們那端對重複的前綴提供折扣。HotKV 的命中則完全不會到達供應商，因此兩者的效果可以疊加。
哪些方案包含它？
提示詞快取屬於 Performance 與 Scale 方案。