構造化データの抽出
請求書やフォームは検証済みのJSONに変換されます。同じドキュメントを再処理すると、追加のモデル呼び出しなしで検証済みの結果が返ります。
AIとLLMLLM運用PerformanceプランとScaleプラン
ガードレールとモデレーションのキャッシュ
検証済みの回答を再利用し、繰り返し違反するリクエストは、モデレーションやモデルを再び呼び出さずに拒否します。
- 良い結果と悪い結果のキャッシュ
- 2
- ヒット時の再検証
- 0
- 拒否のTTL
- 短い
ステップ 1 / 5
生成して検証
ネームスペースはGUARD.CREATEとNCACHE.CREATEで一度作成してあります。モデルがJSONを生成し、何かを保存する前にバリデーターがスキーマと照合します。
サンプルセッションplaying
# 生成して検証
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
構造化出力と安全性チェックは遅く、費用もかかります。モデルの呼び出し、JSONスキーマの検証、場合によっては回答を判定する2つ目のモデルが必要です。繰り返しのリクエストでは、そのすべてに再び支払います。さらに、スクリプトから1000回送られた同じ悪意あるプロンプトは、1000回モデレーションに送られます。
HotKVでの解決方法
ガードキャッシュは、スキーマ検証やガードレールのチェックにすでに合格した応答だけを保存するため、ヒットはそのまま再利用して安全だとわかっています。ネガティブキャッシュは「モデレーションで拒否」のような拒否結果を短いTTLで記憶するため、繰り返される不正なリクエストはモデレーションサービスやモデルに届く前に退けられます。
ステップごとに
コマンドごとに何が起きるか
- 01
生成して検証
ネームスペースはGUARD.CREATEとNCACHE.CREATEで一度作成してあります。モデルがJSONを生成し、何かを保存する前にバリデーターがスキーマと照合します。
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
再チェックなしで再利用
同じリクエストが再び届きます。保存済みの回答はすでに検証に合格しているため、そのまま返されます。
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
モデレーションがプロンプトを拒否
有害なプロンプトが拒否されます。その拒否は5分間記憶されます。
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
スクリプトが再試行
少し後に届いた同じプロンプトは、キャッシュによって退けられます。モデレーションもモデルも呼び出されません。
NCACHE.GET refused "prompt:9f31c2" - 05
両方のキャッシュを測定
各ネームスペースが、ヒット、ミス、エビクション、メモリを報告します。
GUARD.STATS validated
活用シーン
実際のシナリオ
コンシューマー向けチャットアプリ
同じプロンプトを大量に送る不正なスクリプトはネガティブキャッシュで拒否されるため、モデレーションのコストは横ばいに保たれます。
失敗する照会
「ユーザーが見つかりません」などの否定的な回答を短時間キャッシュするため、リトライがバックエンドに届きません。
標準搭載
得られるもの
ガードキャッシュ
チェックに合格した応答だけが保存されるため、ヒットは安全に再利用できます。
GUARD.SETGUARD.GETネガティブキャッシュ
拒否や見つからなかった結果を短時間記憶します。
NCACHE.SETNCACHE.GETTTLと上限
ネームスペースごとのデフォルトTTLとエントリー上限があり、いっぱいになるとエビクションが行われます。
GUARD.CREATENCACHE.CREATE統計
ネームスペースごとのヒット、ミス、エビクション、メモリ、節約額。
GUARD.STATSNCACHE.STATSよくある質問
HotKV自体が出力を検証するのですか？
いいえ。判断するのはお客様のバリデーターやガードレールです。HotKVは、合格した後でガードキャッシュに入れたものだけを保存します。
拒否はどのくらいの期間キャッシュすべきですか？
通常は短く、数日ではなく数分程度にします。そうすればポリシーの変更や誤検知が残り続けません。TTLはネームスペースごとまたはエントリーごとに設定できます。
どのプランに含まれますか？
ガードキャッシュとネガティブキャッシュは、PerformanceプランとScaleプランに含まれます。
関連するユースケース
ご自身のワークロードで試してみましょう
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。