トーンを改善するプロダクトチーム
ライターはエンジニアリングのリリースを待たずに毎日アシスタントの口調を調整でき、最近のバージョンは保持されます。
AIとLLMLLMアプリケーションPerformanceプランとScaleプラン
プロンプトのバージョン管理とロールバック
システムプロンプトをデータ層でバージョン管理し、新しいバージョンをすべてのサービスに一斉に展開し、問題があれば1つのコマンドでロールバックできます。
- ロールバックに必要なコマンド
- 1
- 再デプロイ
- 0
- デフォルトで保持する最近のバージョン
- 64
ステップ 1 / 5
バージョン1を公開
サポートエージェントのシステムプロンプトの最初のバージョンです。
サンプルセッションplaying
# バージョン1を公開
hotkv> PROMPT.PUT support-agent "You are a helpful support agent."
(integer) 1
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
システムプロンプトはコードよりも頻繁に変わるのに、たいていはコードの中にあります。調整するたびにデプロイが必要になり、サービスごとに異なるバージョンへとずれていきます。そして深夜2時に新しいプロンプトでアシスタントの質が落ちたとき、ロールバックするにはまたリリースが必要です。
HotKVでの解決方法
プロンプトレジストリは、各テンプレートのすべてのバージョンをHotKVに保持します。サービスは実行時に有効なバージョンを読み取り、編集者は1つのコマンドで新しいバージョンを公開します。どのバージョンを有効にするかの切り替えは1回のアトミックな操作で、すべてのサービスが次の読み取りでそれを反映します。
ステップごとに
コマンドごとに何が起きるか
- 01
バージョン1を公開
サポートエージェントのシステムプロンプトの最初のバージョンです。
PROMPT.PUT support-agent "You are a helpful support agent." - 02
サービスが有効なバージョンを読み取る
どのサービスも、テンプレートを組み込むのではなく実行時に取得します。
PROMPT.GET support-agent - 03
バージョン2を展開
誰が書いたかを示すメタデータ付きの新しいバージョンです。すべてのサービスで一斉に有効になります。
PROMPT.PUT support-agent "You are a concise, friendly support agent." META "{\"author\":\"maria\"}" - 04
問題があるのでロールバック
回答がそっけなくなりすぎました。1つのコマンドでバージョン1が再び有効になります。デプロイも再起動も不要です。
PROMPT.SETACTIVE support-agent 1 - 05
履歴を監査
最近のバージョンはデフォルトで64件がレジストリに残るため、比較したり、どれにでも戻したりできます。
PROMPT.VERSIONS support-agent
活用シーン
実際のシナリオ
複数サービスのプラットフォーム
チャット、メールの下書き、要約がすべて同じテンプレートを読み取るため、修正はすべての場所に同時に反映されます。
インシデント対応
プロンプトの変更が本番で不適切な回答を引き起こしたとき、オンコール担当者は1つのコマンドで数秒のうちにロールバックできます。
標準搭載
得られるもの
バージョン管理されたテンプレート
PROMPT.PUTのたびにバージョンが追加され、有効になります。最近のバージョンはデフォルトで64件保持されます。
PROMPT.PUTPROMPT.VERSIONS実行時に読み取り
サービスは、有効なバージョンまたは特定のバージョンを1回の呼び出しで読み取ります。
PROMPT.GETPROMPT.LATEST即時ロールバック
有効なバージョンをアトミックに切り替えます。
PROMPT.SETACTIVEメタデータ
各バージョンに、作成者、変更理由、実験IDなどを付けておけます。
METAよくある質問
変更後にサービスを再起動する必要はありますか？
いいえ。サービスは実行時に有効なバージョンを読み取るため、次の読み取りで新しいバージョンが返ります。
プロンプトをGitでも管理できますか？
はい。CIからPROMPT.PUTで公開すれば、Gitはレビューの起点のまま、HotKVが本番のバージョンを配信します。
どのプランに含まれますか？
プロンプトレジストリは、PerformanceプランとScaleプランに含まれます。