SaaSのヘルプデスク
何千人もの顧客が、パスワード、請求書、プランの制限について質問します。多くは繰り返しか言い換えで、キャッシュから回答されます。モデルに届くのは本当に新しい質問だけです。
AIとLLMLLMアプリケーションPerformanceプランとScaleプラン
AIカスタマーサポートアシスタント
繰り返しの質問には即答し、言い換えは意味で照合し、新しい回答はヘルプセンターに基づいて作成し、決して予算を超えないサポートボット。
- 1台のサーバー内のAIエンジン
- 5
- 新しい質問ごとのモデル呼び出し
- 1
- 追加で運用するデータベース
- 0
ステップ 1 / 6
テナントの予算を確認
各テナントの予算はLLMBUDGET.SETで一度設定してあります。モデルの処理を始める前に、予算をアトミックに引き落とします。上限を超えたテナントはここで拒否され、費用は発生しません。
サンプルセッションplaying
# テナントの予算を確認
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
実用的なサポートアシスタントは、プロンプトだけでは成り立ちません。同じ質問に二度支払わないためのキャッシュ、ヘルプセンターの検索、会話のメモリ、そして1人の顧客が請求額を膨らませないための予算が必要です。通常これは4～5個のサービスを意味し、製品そのものよりもつなぎ込みに時間を取られます。
HotKVでの解決方法
HotKVは、これらすべての要素を1台のサーバー上のコマンドとして実行します。アシスタントはテナントの予算を確認し、完全一致の繰り返しにはプロンプトキャッシュから、言い換えにはセマンティックキャッシュから回答し、新しい質問にはヘルプセンターの文章を検索します。さらに会話を保持し、新しい回答を次に同じ質問をする顧客のためにキャッシュします。
ステップごとに
コマンドごとに何が起きるか
- 01
テナントの予算を確認
各テナントの予算はLLMBUDGET.SETで一度設定してあります。モデルの処理を始める前に、予算をアトミックに引き落とします。上限を超えたテナントはここで拒否され、費用は発生しません。
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
完全一致の繰り返しに即答
一字一句同じ質問は、プロンプトキャッシュのヒットになります。埋め込みもモデル呼び出しも不要です。
PCACHE.GET support "How do I reset my password?" - 03
言い換えを意味で照合
「I forgot my login password」は言い回しが異なります。その埋め込みは、SCACHE.CREATEで一度作成したセマンティックキャッシュ内の質問に十分近いため、保存済みの回答が返ります。
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
新しい質問なのでコンテキストを検索
まだ誰も尋ねていない質問です。取り込み済みのヘルプセンターに対するハイブリッド検索が、モデルに必要な文章を返します。
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
1回のモデル呼び出しを記憶
モデルは文章をコンテキストとして回答します。このやり取りは、チャット開始時にAMEM.CONV.CREATEで作成した会話に追加されるため、次のメッセージには履歴があります。
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
次の顧客のためにキャッシュ
新しい回答はセマンティックキャッシュに入るため、この質問を後で言い換えたものはすべてヒットします。
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
活用シーン
実際のシナリオ
Eコマースの返品ボット
返品と配送のポリシーは、RAGパイプラインとして一度だけ取り込まれます。回答は現行のポリシー文に基づき、プラットフォーム上の各ショップが独自の予算を持ちます。
社内ITアシスタント
社員は毎週、同じVPNやノートPCの質問をします。アシスタントは各会話を保持し、以前のやり取りを想起し、暴走したループが月間の割り当てを使い切る前に止めます。
標準搭載
得られるもの
2層のキャッシュ
一字一句の繰り返しには完全一致のプロンプトキャッシュ、言い換えにはセマンティックキャッシュ。それぞれが独自のヒット統計を持ちます。
PCACHE.GETSCACHE.GET根拠のある回答
ヘルプセンターの記事はRAGパイプラインでチャンク分割され、ベクトルとキーワードのハイブリッド検索用にインデックス化されます。
RAG.INGESTRAG.SEARCH会話メモリ
各チャットは、次のプロンプトのためにやり取りのローリングウィンドウを保持します。
AMEM.CONV.APPENDAMEM.CONV.WINDOW顧客ごとの予算
テナントごとのトークンと金額の上限を、モデルを呼び出す前にアトミックに引き落とします。
LLMBUDGET.CONSUMEよくある質問
ベクトルデータベースも別に必要ですか？
いいえ。セマンティックキャッシュ、RAGパイプライン、エージェントメモリはすべてHotKVの中で、アプリケーションの他のデータのすぐ隣で動作します。
どの埋め込みモデルとチャットモデルを使えますか？
どれでも使えます。HotKVは渡されたベクトルを保存して検索するだけで、自らモデルを呼び出すことはないため、プロバイダーを完全にコントロールできます。
これらのコマンドはどのプランに含まれますか？
プロンプトキャッシュ、セマンティックキャッシュ、RAGパイプライン、エージェントメモリ、LLM予算は、PerformanceプランとScaleプランに含まれます。
関連するユースケース
ご自身のワークロードで試してみましょう
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。