定期レポート
ダッシュボードを見る人ごとに、同じ要約が生成されます。表示ごとに1回ではなく、レポートごとに1日1回のモデル呼び出しで済みます。
AIとLLMLLMアプリケーションPerformanceプランとScaleプラン
完全一致プロンプトキャッシュ
同じプロンプトに二度と支払いません。節約したトークンと金額をカウントする、完全一致のLLMキャッシュです。
- 誤ヒットはゼロ
- 完全一致
- STATSで見るルックアップのレイテンシ
- p50
- ネームスペースごとに追跡する節約額
- $
ステップ 1 / 4
ネームスペースを作成
回答が更新されるようにTTLを設定し、1回のヒットで平均どれだけ節約できるかを指定します。
サンプルセッションplaying
# ネームスペースを作成
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
バッチジョブ、リトライ、定期レポート、よくある質問は、同じプロンプトを何度もモデルに送ります。そのたびに全額が請求され、何も測定していないため、キャッシュでどれだけ節約できたかは誰にもわかりません。
HotKVでの解決方法
プロンプトキャッシュは、完全一致する各プロンプトの応答を、それを生成した呼び出しのモデルとトークン数と一緒に保存します。以降のヒットはすべてカウントされるため、HotKVは支払わずに済んだリクエスト、トークン、金額を報告できます。
ステップごとに
コマンドごとに何が起きるか
- 01
ネームスペースを作成
回答が更新されるようにTTLを設定し、1回のヒットで平均どれだけ節約できるかを指定します。
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
ミスの後、使用量とともに保存
最初の呼び出しはモデルに送られます。回答は、それを生成したモデルとトークン数とともに保存されます。
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
繰り返しはすべて無料
夜間ジョブもダッシュボードの表示も、同じことを尋ねます。そのすべてがヒットです。
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
節約額を確認
統計には、ヒット率、ルックアップのレイテンシ、支払わずに済んだ使用量が含まれます。
PCACHE.STATS reports
活用シーン
実際のシナリオ
翻訳とローカライズ
UIの文字列や商品説明は言語ごとに一度だけ翻訳され、以降のリクエストではすべてキャッシュから配信されます。
分類パイプライン
テキストが同一のチケット、レビュー、メールには、追加のモデル呼び出しなしで同じラベルが付きます。
標準搭載
得られるもの
完全一致
同一のプロンプトだけがヒットするため、キャッシュ済みの回答が別の質問に返されることはありません。
PCACHE.GETPCACHE.SET使用量を考慮
各回答とともにモデルとトークン数を保存するため、節約額は実際の使用量から計算されます。
MODELINPUTOUTPUTメタデータとヒット数
PCACHE.GETEXは、回答をそのメタデータと配信回数とともに返します。
PCACHE.GETEXヒット率とレイテンシ
PCACHE.STATSは、ヒット、ミス、エビクション、メモリ、ルックアップのレイテンシ、節約額を報告します。
PCACHE.STATSよくある質問
セマンティックキャッシュではなくプロンプトキャッシュを使うべきなのはどんなときですか？
バッチジョブや固定テンプレートのように、プロンプトが完全に一致して繰り返される場合はプロンプトキャッシュを使います。人によって同じ質問の言い方が異なる場合はセマンティックキャッシュを使います。多くのアプリケーションは両方を確認します。
プロバイダーのプロンプトキャッシュと同じものですか？
いいえ。プロバイダーのプロンプトキャッシュは、プロバイダー側で繰り返されるプレフィックスを割り引くものです。HotKVのヒットはプロバイダーにまったく届かないため、両者の効果は積み重なります。
どのプランに含まれますか？
プロンプトキャッシュは、PerformanceプランとScaleプランに含まれます。
関連するユースケース
ご自身のワークロードで試してみましょう
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。