ヘルプセンターのアシスタント
記事と解決済みのチケットは、製品と言語をメタデータとして取り込まれます。各回答は、該当する製品のドキュメントに基づきます。
チャンク分割、メタデータフィルター、ベクトルとキーワードのハイブリッド検索、キャッシュされたリランクスコアを1つのエンジンで使い、自社のドキュメントに基づいて質問に答えます。
段落ごとに1チャンクです。埋め込みモデルの次元数を使います(例を短くするため3にしています)。
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
検索パイプラインには通常、ベクトルデータベース、キーワードインデックス、チャンク分割ジョブ、リランカー、そしてそれらをつなぐコードが必要です。それぞれが運用し、保護し、ドキュメントと同期し続けなければならない別のサービスであり、リランカーは多くの場合、最も遅く最も高価なステップです。
HotKVは、すでにアプリケーションを支えているエンジンの中にパイプラインを置きます。パイプラインを定義し、ドキュメントを取り込み、検索するだけです。チャンク分割、ドキュメントのメタデータ、ベクトル類似度とBM25のキーワードスコアを組み合わせるハイブリッド検索はすべてサーバー側で実行されます。さらにリランクキャッシュがクロスエンコーダーのスコアを保持するため、同じクエリと文章の組み合わせが二度採点されることはありません。
段落ごとに1チャンクです。埋め込みモデルの次元数を使います(例を短くするため3にしています)。
RAG.CREATE faq 3 STRATEGY paragraph各ドキュメントはサーバー側でチャンク分割され、メタデータと、チャンクごとに1つのベクトルとともに保存されます。
RAG.INGEST faq doc:1 "To reset your password, click Forgot password on the login screen.\n\nBilling questions go to the billing team." META source help-center VECTORS 0.9,0.1,0.0 0.0,0.2,0.9ベクトル類似度とキーワードの関連度を1つのクエリで、1つのソースに限定して検索します。
RAG.SEARCH faq "how do I reset my password" K 2 ALPHA 0.5 VECTOR 0.88,0.12,0.01 FILTER source help-centerクロスエンコーダーのスコアは、RERANK.CREATEで作成したネームスペースにクエリとチャンクごとにキャッシュされるため、人気のクエリでリランクの費用を再び払うことはありません。
RERANK.GET faq_scores "reset password|doc:1:0"最適なチャンクがコンテキストとしてモデルに渡されるため、回答は推測ではなくヘルプセンターに基づきます。RAG.STATSでパイプラインの内容を確認できます。
RAG.STATS faq記事と解決済みのチケットは、製品と言語をメタデータとして取り込まれます。各回答は、該当する製品のドキュメントに基づきます。
契約書やポリシーは段落ごとに分割されるため、検索される文章は完結した条項になります。さらにキーワードスコアが、条項番号のような正確な用語を捉えます。
ランブック、設計ドキュメント、ポストモーテムを、オンコール用アシスタントが意味で検索できるようになります。
固定サイズ、文単位、段落単位のチャンク分割に対応します。固定サイズのチャンクでは、サイズと重なりを自由に指定できます。
RAG.CREATEベクトル類似度とBM25のキーワードスコアを1つのクエリで扱い、ALPHAでそのバランスを設定します。
RAG.SEARCH取り込み時にキーと値のペアを付け、検索時にそれで絞り込みます。
RAG.INGESTFILTERクエリと文章の組み合わせごとにクロスエンコーダーのスコアを保持するため、繰り返しは無料です。
RERANK.GETRERANK.SETいいえ。埋め込みはお好みのモデルで生成し、取り込み時にはVECTORS、検索時にはVECTORで渡します。
はい。RAG.SEARCHはキーワードスコア用にクエリのテキストを受け取り、VECTORオプションでベクトル類似度を追加します。2つのスコアの配合はALPHAで設定します。
RAGパイプラインとリランクキャッシュは、PerformanceプランとScaleプランに含まれます。
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。