AI 與 LLMLLM 應用程式Performance 與 Scale 方案

提示詞版本管理與回復

在資料層管理系統提示詞的版本,一次推送到所有服務,並在出狀況時以一個指令回復。

個指令即可回復
1
次重新部署
0
個預設保留的近期版本
64
步驟 1 / 5
發布版本 1

客服代理系統提示詞的第一個版本。

範例工作階段playing
# 發布版本 1
hotkv> PROMPT.PUT support-agent "You are a helpful support agent."
(integer) 1

以真實 HotKV 指令與範例回覆呈現的動畫導覽。點擊任一步驟即可跳到該步驟。 指令與回覆維持英文,與您在 HotKV 中輸入及看到的完全一致。

問題

系統提示詞的變動比程式碼更頻繁,卻通常放在程式碼裡。每一次微調都得部署,不同服務會漸漸落在不同版本上,而當新的提示詞讓助理在凌晨 2 點表現變差時,回復又得再發布一次版本。

HotKV 如何處理

提示詞登錄庫在 HotKV 中保留每個範本的每個版本。服務在執行階段讀取啟用中的版本,編輯者以一個指令發布新版本,而選擇哪個版本啟用則是一次原子的切換,每個服務在下一次讀取時就會看到。

逐步說明

逐個指令看看發生了什麼事

  1. 01

    發布版本 1

    客服代理系統提示詞的第一個版本。

    PROMPT.PUT support-agent "You are a helpful support agent."
  2. 02

    服務讀取啟用中的版本

    每個服務都在執行階段取得範本,而不是編譯進程式碼裡。

    PROMPT.GET support-agent
  3. 03

    推出版本 2

    新版本附帶誰撰寫的中繼資料。它會同時對所有服務啟用。

    PROMPT.PUT support-agent "You are a concise, friendly support agent." META "{\"author\":\"maria\"}"
  4. 04

    出狀況了,所以回復

    回答變得太簡短。一個指令就能讓版本 1 重新啟用。不需部署,也不需重新啟動。

    PROMPT.SETACTIVE support-agent 1
  5. 05

    稽核歷史記錄

    近期的版本會保留在登錄庫中(預設 64 個),因此您可以比較它們,或回到其中任何一個。

    PROMPT.VERSIONS support-agent
適用之處

真實世界的情境

反覆調整語氣的產品團隊

撰寫者每天調整助理的口吻,不必等待工程團隊發布版本,而且近期的版本都會保留。

多服務平台

聊天、電子郵件草擬與摘要都讀取同一個範本,因此修正會在同一時刻到處生效。

事故應變

當提示詞的變更在正式環境造成不良的回答時,值班人員只需一個指令,幾秒鐘內就能回復。

內建

您能獲得什麼

具版本的範本

每次 PROMPT.PUT 都會新增一個版本並使其啟用。最近的版本會被保留,預設為 64 個。

PROMPT.PUTPROMPT.VERSIONS

於執行階段讀取

服務只需一次呼叫,就能讀取啟用中的版本,或指定的某個版本。

PROMPT.GETPROMPT.LATEST

立即回復

以原子方式切換啟用中的版本。

PROMPT.SETACTIVE

中繼資料

為每個版本保留作者、變更原因或實驗 ID。

META

常見問題

變更之後服務需要重新啟動嗎?

不需要。它們在執行階段讀取啟用中的版本,因此下一次讀取就會得到新版本。

我也可以把提示詞放在 Git 裡嗎?

可以。從 CI 以 PROMPT.PUT 發布,讓 Git 繼續作為審查的來源,而 HotKV 提供上線中的版本。

哪些方案包含它?

提示詞登錄庫屬於 Performance 與 Scale 方案。

相關使用情境

在您自己的工作負載上試試看

HotKV 支援 Redis 協定,因此您可以將現有的用戶端指向它,並執行這些相同的指令。