AIとLLM検索PerformanceプランとScaleプラン

RAGナレッジアシスタント

チャンク分割、メタデータフィルター、ベクトルとキーワードのハイブリッド検索、キャッシュされたリランクスコアを1つのエンジンで使い、自社のドキュメントに基づいて質問に答えます。

チャンク分割の方式
3
ベクトル + BM25検索
ハイブリッド
追加のベクトルデータベース
0
ステップ 1 / 5
パイプラインを定義

段落ごとに1チャンクです。埋め込みモデルの次元数を使います(例を短くするため3にしています)。

サンプルセッションplaying
# パイプラインを定義
hotkv> RAG.CREATE faq 3 STRATEGY paragraph
OK

実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。

課題

検索パイプラインには通常、ベクトルデータベース、キーワードインデックス、チャンク分割ジョブ、リランカー、そしてそれらをつなぐコードが必要です。それぞれが運用し、保護し、ドキュメントと同期し続けなければならない別のサービスであり、リランカーは多くの場合、最も遅く最も高価なステップです。

HotKVでの解決方法

HotKVは、すでにアプリケーションを支えているエンジンの中にパイプラインを置きます。パイプラインを定義し、ドキュメントを取り込み、検索するだけです。チャンク分割、ドキュメントのメタデータ、ベクトル類似度とBM25のキーワードスコアを組み合わせるハイブリッド検索はすべてサーバー側で実行されます。さらにリランクキャッシュがクロスエンコーダーのスコアを保持するため、同じクエリと文章の組み合わせが二度採点されることはありません。

ステップごとに

コマンドごとに何が起きるか

  1. 01

    パイプラインを定義

    段落ごとに1チャンクです。埋め込みモデルの次元数を使います(例を短くするため3にしています)。

    RAG.CREATE faq 3 STRATEGY paragraph
  2. 02

    ドキュメントを取り込む

    各ドキュメントはサーバー側でチャンク分割され、メタデータと、チャンクごとに1つのベクトルとともに保存されます。

    RAG.INGEST faq doc:1 "To reset your password, click Forgot password on the login screen.\n\nBilling questions go to the billing team." META source help-center VECTORS 0.9,0.1,0.0 0.0,0.2,0.9
  3. 03

    ハイブリッド検索

    ベクトル類似度とキーワードの関連度を1つのクエリで、1つのソースに限定して検索します。

    RAG.SEARCH faq "how do I reset my password" K 2 ALPHA 0.5 VECTOR 0.88,0.12,0.01 FILTER source help-center
  4. 04

    リランクは一度だけ

    クロスエンコーダーのスコアは、RERANK.CREATEで作成したネームスペースにクエリとチャンクごとにキャッシュされるため、人気のクエリでリランクの費用を再び払うことはありません。

    RERANK.GET faq_scores "reset password|doc:1:0"
  5. 05

    回答し、パイプラインを確認

    最適なチャンクがコンテキストとしてモデルに渡されるため、回答は推測ではなくヘルプセンターに基づきます。RAG.STATSでパイプラインの内容を確認できます。

    RAG.STATS faq
活用シーン

実際のシナリオ

ヘルプセンターのアシスタント

記事と解決済みのチケットは、製品と言語をメタデータとして取り込まれます。各回答は、該当する製品のドキュメントに基づきます。

法務とポリシーの検索

契約書やポリシーは段落ごとに分割されるため、検索される文章は完結した条項になります。さらにキーワードスコアが、条項番号のような正確な用語を捉えます。

エンジニアリングのナレッジ

ランブック、設計ドキュメント、ポストモーテムを、オンコール用アシスタントが意味で検索できるようになります。

標準搭載

得られるもの

エンジン内でのチャンク分割

固定サイズ、文単位、段落単位のチャンク分割に対応します。固定サイズのチャンクでは、サイズと重なりを自由に指定できます。

RAG.CREATE

ハイブリッド検索

ベクトル類似度とBM25のキーワードスコアを1つのクエリで扱い、ALPHAでそのバランスを設定します。

RAG.SEARCH

メタデータフィルター

取り込み時にキーと値のペアを付け、検索時にそれで絞り込みます。

RAG.INGESTFILTER

リランクキャッシュ

クエリと文章の組み合わせごとにクロスエンコーダーのスコアを保持するため、繰り返しは無料です。

RERANK.GETRERANK.SET

よくある質問

HotKVが埋め込みを作成するのですか?

いいえ。埋め込みはお好みのモデルで生成し、取り込み時にはVECTORS、検索時にはVECTORで渡します。

ベクトルなしで検索できますか?

はい。RAG.SEARCHはキーワードスコア用にクエリのテキストを受け取り、VECTORオプションでベクトル類似度を追加します。2つのスコアの配合はALPHAで設定します。

どのプランに含まれますか?

RAGパイプラインとリランクキャッシュは、PerformanceプランとScaleプランに含まれます。

関連するユースケース

ご自身のワークロードで試してみましょう

HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。