カスタマーサポート
パスワードのリセット、請求書の再発行、配送日数は何度も質問されます。最初の1回以降の言い換えはすべてキャッシュから回答されます。
AIとLLMLLMアプリケーションPerformanceプランとScaleプラン
セマンティックレスポンスキャッシュ
LLMの回答を完全一致のテキストではなく意味でキャッシュするため、言い換えた質問もキャッシュにヒットし、モデルの呼び出しを省けます。
- モデル呼び出し前のルックアップ
- 1
- 類似度の指標
- 3
- しきい値の上書き
- 呼び出しごと
ステップ 1 / 6
ネームスペースを作成
埋め込みのサイズと、ヒットとみなす類似度を設定します。
サンプルセッションplaying
# ネームスペースを作成
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
サポートアシスタントには、同じ質問が100通りの言い方で届きます。完全一致のキャッシュではそのほとんどがミスになるため、言い換えのたびにモデル呼び出しの全額を払い、応答全体を待つことになります。
HotKVでの解決方法
セマンティックキャッシュは、各回答をその質問の埋め込みと一緒に保存し、新しい質問を類似度で検索します。新しいプロンプトが回答済みの質問に十分近ければ、保存済みの回答が返り、モデルは呼び出されません。どこまで近ければよいかは、しきい値で決まります。
ステップごとに
コマンドごとに何が起きるか
- 01
ネームスペースを作成
埋め込みのサイズと、ヒットとみなす類似度を設定します。
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
ミスなのでモデルを一度呼び出す
初めて質問されたときはキャッシュに似たものがないため、モデルが回答します。
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
回答を記憶
質問、回答、質問の埋め込みを1日保存します。
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
言い換えがヒット
「forgot my login pass」は保存済みの質問に近い位置に来ます。回答とその類似度が返り、モデルは呼び出されません。
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
1回のルックアップだけ厳しく
惜しい一致では不十分な回答のために、ルックアップごとにネームスペースのデフォルトより近い一致を求めることができます。
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
節約効果を測定
ネームスペースごとの統計で、モデルの代わりにキャッシュが回答した頻度がわかります。
SCACHE.STATS support_bot
活用シーン
実際のシナリオ
社内ナレッジボット
社員は休暇、経費、VPNアクセスについて、それぞれの言葉で質問します。1つの回答が、期限切れになるまで全員に使われます。
開発者ツール
「How do I paginate?」と「how to page through results」は、2回目のモデル呼び出しなしで同じドキュメントの回答を得られます。
標準搭載
得られるもの
意味で照合
似た質問は、どんな言い回しでも1つのキャッシュ済み回答を共有します。
SCACHE.GETSCACHE.SET厳しさを自分で調整
しきい値をネームスペースごとに設定し、個々のルックアップで上書きできます。
SCACHE.THRESHOLD測定できる節約効果
ネームスペースごとの統計で、ヒット、ミス、エントリー数がわかります。
SCACHE.STATSコサイン、L2、内積
ネームスペースの作成時に、埋め込みモデルに合った指標を選べます。
SCACHE.CREATEよくある質問
キャッシュヒットにはどれくらいのコストがかかりますか？
埋め込みの呼び出し1回と、キャッシュのルックアップ1回です。モデルの呼び出しとその生成時間はかかりません。
緩い一致による誤った回答を避けるには？
しきい値を上げてください。しきい値が高いほどより近い一致が必要になるため、ヒットする質問は減りますが、各ヒットの確実性は高まります。
どのプランに含まれますか？
セマンティックキャッシュは、PerformanceプランとScaleプランに含まれます。
関連するユースケース
ご自身のワークロードで試してみましょう
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。