AIスタックのために設計
多くのチームは、LLMアプリにベクトルデータベース、キャッシュ、検索エンジン、そして大量のグルーコードを後付けしています。HotKVはこれらの基本機能を1つのインメモリエンジンに組み込んでいるため、検索、メモリ、コスト管理がデータのすぐそばで動作します。
質問を1つ選んでください。どこで回答されるのか、そしてスタックのどれだけの部分に一度も触れずに済むのかをご覧ください。
- 00質問通過
- LLMBUDGETLLM予算通過
- PCACHEプロンプトキャッシュ回答
- SCACHEセマンティックキャッシュ
- RAGRAGパイプライン
- 05LLM
プロンプトキャッシュから回答します。モデルは一度も呼び出されません。
時間は、下のトークン削減ベンチマークで測定した中央値です。セマンティックキャッシュの時間は測定していないため、表示していません。
9つのAIエンジン、1つのサーバー
それぞれが、データのすぐ隣で動くコマンド群です。どれかを開くと、実際のユースケースで確認できます。
HotKVでAIを動かす理由
ベンチマークしたすべてのコマンドでRedisとValkeyを上回ったのと同じマルチスレッドコアが、検索、メモリ、ガードレールも実行します。
5つのサービスではなく、1つのエンジン
ベクトル検索、セマンティックキャッシュ、RAG、エージェントメモリ、フィーチャーストアは、すべて同じプロセス内で動作します。デプロイし、保護し、同期を保たなければならない個別のベクトルDB、キャッシュ、検索クラスターは不要です。
1ミリ秒未満のキャッシュヒット
すべてのAI基本機能は、当社のベンチマークで全12コマンドにおいてRedisとValkeyを上回ったのと同じマルチスレッドコア上で動作します。当社のLLMテストでは、完全一致のキャッシュヒットは約0.05 msで返りました（モデル呼び出しは1.4～2.9 s）。
データレイヤーでのコスト管理
セマンティックキャッシュとプロンプトキャッシュはLLM呼び出しを減らし、埋め込みの重複排除は埋め込み呼び出しを減らし、キーごとの予算は支出が発生する前に上限をかけます。削減効果は推定ではなく実測値です。
設計段階からマルチテナント
ネームスペースによって、各テナントのベクトル、メモリ、予算は分離されます。さらにScaleプランでは、チームや顧客をまたいで共有するAIインフラ向けに、テナントレジストリと監査ログが追加されます。
支払うトークンを減らしましょう
同じ3,000件のカスタマーサポートの質問を、現行のClaudeモデル4種に2回ずつ送信しました。1回はモデルに直接、もう1回はHotKVを前段に置いて送信しています。
モデルごとの処理トークン数
大規模運用での効果
- Anthropic claude-fable-5-1：HotKVなしで月$303,100、HotKVありで$91,800、毎月約$211,300の節約。
- Anthropic claude-opus-5-5：HotKVなしで月$146,000、HotKVありで$45,000、毎月約$101,000の節約。
- Anthropic claude-sonnet-5-5：HotKVなしで月$55,100、HotKVありで$16,600、毎月約$38,500の節約。
- Anthropic claude-haiku-5-5：HotKVなしで月$2,700、HotKVありで$800、毎月約$1,900の節約。
1日100万リクエストの場合の値で、測定したリクエストあたりのコストから外挿し、同じトラフィックパターンを仮定しています。4つのClaudeモデルは短い回答で実行し、Fable 5.1とOpus 5.5は最も低い推論レベル（reasoning effort）で実行しました。そのため、より長い回答や推論の多い回答では、回避した呼び出し1回あたりの価値はさらに大きくなります。
すべての数値トークン、コスト、回答の品質、類似度しきい値のトレードオフ表示非表示
Claude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5のそれぞれで、同じ3,000件のリクエストをHotKVあり・なしで実行しました。すべての実行でプロバイダー自身のプロンプトキャッシュを有効にしており、トークンとコストは各応答のusageから取得しています（thinkingトークンを含む）。
| モデル | 削減トークン | HotKVなしのコスト | HotKVありのコスト | 削減率 | モデル呼び出し数 | 応答時間の中央値 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 → 896 | 2.7 s → 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 → 898 | 2.9 s → 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 → 897 | 1.8 s → 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 → 897 | 1.4 s → 125 ms |
キャッシュされた回答の品質は？
キャッシュから応答した言い換え質問のそれぞれについて、別のモデルが、キャッシュされた回答と、同じモデルがまさにその質問に返した新規の回答とを、ランダムな順序で比較しました。どのモデルも自身の出力を採点していません。これは人間によるレビューではなく言語モデルによる判定であり、その厳しさはモデルによって異なります。そのため、キャッシュ回答と新規回答の比較は同じモデル内でのみ行ってください。
| モデル | 評価した言い換え質問 | キャッシュ回答が適合 | 新規回答が適合 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
類似度しきい値で、削減効果と回答の品質のバランスが変わる
各行は、同じ3,000件のリクエストに対するClaude Sonnet 5.5の個別の実行です（HotKVなしのコスト：$5.51）。
| しきい値 | コスト | 削減率 | キャッシュ回答が適合 | 新規回答が適合 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
これらの数値が示すこと、示さないこと
- 上記の結果で使用したしきい値0.81では、キャッシュ回答が元の質問に適合する頻度は、新規回答より6～11パーセントポイント低くなります。言い換え質問はリクエストの約31%なので、全応答では概ね2～3ポイントに相当します。しきい値を変えた実行では、0.88以上のキャッシュ回答は新規回答に劣らず、それでもコストの61%～64%を削減しました。
- 上記の「同じインテント」の数値は、「同じ正しい回答」を意味するものではありません。入金と出金のように1つの細部によって正しい回答が変わる、意図的に似せた119組の質問ペアを用いたテストでは、変更された質問のうち、しきい値0.81では62%、0.90では25%、0.95では10%にキャッシュ回答が返されることになります。これらのペアは意図的に難しく作られており、最悪のケースを示すもので、実際のトラフィックでの発生頻度を示すものではありません。誤った回答のコストが高いユースケースでは、しきい値を上げてください。
- 短い銀行関連の質問からなる1つの公開データセット、1つの埋め込みモデル、自動判定による結果です。しきい値の影響は1つのモデルで測定し、他の3つは0.81でのみ実行しました。お使いの環境での繰り返し率や質問によって、数値は異なります。
Banking77のテスト分割から固定シードで抽出した、3,000件のカスタマーサポートの質問を使用しました（インテントの人気度はZipf分布（s=1.0）に従い、各インテント内では質問を一様に、重複ありでサンプリング）。各質問は、同じサポートポリシーをシステムプロンプトとしてモデルに送信しました。ベースライン：すべてのリクエストでモデルを呼び出し、プロバイダー自身のプロンプトキャッシュを有効化。HotKV：完全一致のルックアップ（正規化した質問のSHA-256キーに対するGET）、次にセマンティックルックアップ（質問の埋め込みを用いたSCACHE.GET）を行い、ミスした場合のみモデルを呼び出します。トークン数は各API応答のusageブロックから取得し、コストは定価に基づき、埋め込み呼び出しも含みます。類似度しきい値は、別途Banking77の訓練分割を用いて、セマンティックヒットで同一インテントの適合率が98%以上となる最小値として選択しました。
埋め込みモデル：OpenAI text-embedding-3-small。セマンティック一致のしきい値：0.81。データセット：PolyAIによるBanking77（テスト分割）（ライセンス：CC BY 4.0）。77インテントにわたる3,000件のリクエスト。
2026年10月11日に測定。削減効果は、トラフィックがどの程度繰り返されるかによって異なります。繰り返しや類似の質問がないワークロードでは、削減効果はありません。
インフラではなく、AI機能をリリースしましょう
AIコマンドセットは、HotKV CloudのすべてのPerformanceインスタンスとScaleインスタンスに含まれています。アーリーアクセスに申し込んで、検索、メモリ、コスト管理の構築を始めましょう。