LLMのトークン支出を削減し、繰り返されるAIリクエストにはキャッシュから1ミリ秒未満で応答します。それを、マルチスレッドのRedis互換ストアを運用しながら実現します。
HotKVは、1つのRedis互換エンジンとしてLLM呼び出しの前段に配置されます。すでに回答したプロンプトを完全一致または近似で認識し、新たなAPI呼び出しの代わりに、キャッシュ済みの応答をアプリケーションに返します。
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # 一字一句同じ質問が過去にあった：モデル呼び出しなし cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answer結果の例（サンプルデータ）
シナリオ：ask("How do I reset my password?")を2回実行
両方の呼び出しが返す値："Use the password-reset link on the sign-in page."
1回目の呼び出し：キャッシュミス → call_llm → 回答を保存
2回目の呼び出し：キャッシュ済みの回答 → モデル呼び出しなし同じ3,000件のカスタマーサポートの質問を、現行のClaudeモデル4種に2回ずつ送信しました。1回はモデルに直接、もう1回はHotKVを前段に置いて送信しています。
1日100万リクエストの場合の値で、測定したリクエストあたりのコストから外挿し、同じトラフィックパターンを仮定しています。4つのClaudeモデルは短い回答で実行し、Fable 5.1とOpus 5.5は最も低い推論レベル（reasoning effort）で実行しました。そのため、より長い回答や推論の多い回答では、回避した呼び出し1回あたりの価値はさらに大きくなります。
Claude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5のそれぞれで、同じ3,000件のリクエストをHotKVあり・なしで実行しました。すべての実行でプロバイダー自身のプロンプトキャッシュを有効にしており、トークンとコストは各応答のusageから取得しています（thinkingトークンを含む）。
| モデル | 削減トークン | HotKVなしのコスト | HotKVありのコスト | 削減率 | モデル呼び出し数 | 応答時間の中央値 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 → 896 | 2.7 s → 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 → 898 | 2.9 s → 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 → 897 | 1.8 s → 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 → 897 | 1.4 s → 125 ms |
キャッシュから応答した言い換え質問のそれぞれについて、別のモデルが、キャッシュされた回答と、同じモデルがまさにその質問に返した新規の回答とを、ランダムな順序で比較しました。どのモデルも自身の出力を採点していません。これは人間によるレビューではなく言語モデルによる判定であり、その厳しさはモデルによって異なります。そのため、キャッシュ回答と新規回答の比較は同じモデル内でのみ行ってください。
| モデル | 評価した言い換え質問 | キャッシュ回答が適合 | 新規回答が適合 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
各行は、同じ3,000件のリクエストに対するClaude Sonnet 5.5の個別の実行です（HotKVなしのコスト：$5.51）。
| しきい値 | コスト | 削減率 | キャッシュ回答が適合 | 新規回答が適合 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
Banking77のテスト分割から固定シードで抽出した、3,000件のカスタマーサポートの質問を使用しました（インテントの人気度はZipf分布（s=1.0）に従い、各インテント内では質問を一様に、重複ありでサンプリング）。各質問は、同じサポートポリシーをシステムプロンプトとしてモデルに送信しました。ベースライン：すべてのリクエストでモデルを呼び出し、プロバイダー自身のプロンプトキャッシュを有効化。HotKV：完全一致のルックアップ（正規化した質問のSHA-256キーに対するGET）、次にセマンティックルックアップ（質問の埋め込みを用いたSCACHE.GET）を行い、ミスした場合のみモデルを呼び出します。トークン数は各API応答のusageブロックから取得し、コストは定価に基づき、埋め込み呼び出しも含みます。類似度しきい値は、別途Banking77の訓練分割を用いて、セマンティックヒットで同一インテントの適合率が98%以上となる最小値として選択しました。
埋め込みモデル：OpenAI text-embedding-3-small。セマンティック一致のしきい値：0.81。データセット：PolyAIによるBanking77（テスト分割）（ライセンス：CC BY 4.0）。77インテントにわたる3,000件のリクエスト。
2026年10月11日に測定。削減効果は、トラフィックがどの程度繰り返されるかによって異なります。繰り返しや類似の質問がないワークロードでは、削減効果はありません。
同じOpenAIの埋め込みをHotKVとRedis 8に読み込み、それぞれに対して同じ1,000件のクエリを、1～100の同時クライアント接続で、1台のマシン上で実行しました。どちらも同じインデックス設定で、全精度のベクトルを保持しています。
両エンジンとも全精度のfloat32ベクトルを格納しました。999,000ベクトルの読み込み後、HotKVのプロセスは6.77 GB、Redisは7.01 GBを使用していました。
未測定の項目：Redisのデフォルトである8ビット量子化モード、Redis Query Engine、その他のデータセット、その他のハードウェア。HotKVのビルドは未リリースの開発ビルドです。 Redisは4つのvCPUに固定して読み込み、再読み込みしたインデックスに対して検索しました（記事を参照）。
| ef | HotKV再現率 | Redis再現率 | HotKVクエリ/秒 | Redisクエリ/秒 | 倍率 |
|---|---|---|---|---|---|
| 40 | 0.940 | 0.923 | 63,897 | 8,061 | 7.9x |
| 80 | 0.970 | 0.962 | 37,508 | 6,825 | 5.5x |
| 150 | 0.987 | 0.980 | 21,912 | 5,241 | 4.2x |
| 300 | 0.993 | 0.990 | 12,393 | 3,454 | 3.6x |
| 500 | 0.997 | 0.994 | 7,688 | 2,483 | 3.1x |
HotKVビルドc8dafd37とRedis 8.10.2、コサイン類似度、両方ともM=16、ef_construction=200のHNSW、両方ともfloat32（Redis NOQUANT）。再現率は、総当たりによる正確な結果に対するrecall@10です。Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs上での3回の実行の中央値。サーバーは128個のvCPUを共有し、負荷生成マシンは別の32個のvCPU上で、両方に同じクライアントコードを使用して実行しました。
データセット：Kumar Shivendu and Nirant Kasliwalによるdbpedia-entities-openai-1Mの埋め込み（OpenAI text-embedding-ada-002、1,536次元）、ライセンス：MIT、および1,000件のホールドアウトクエリ。完全な手法、スクリプト、生データ。 2026年10月14日に測定。
HotKVは商用ソフトウェアです。運用を当社に任せることも、自社で管理するインフラ上でご自身で運用することもできます。
当社がGoogle Cloudの42リージョンでホストし運用する、フルマネージドのHotKVインスタンスです。段階的に提供を開始しています。アーリーアクセスにお申し込みください。
ライセンスファイルを使って、自社のサーバーや自社のクラウドアカウントでHotKVを運用できます。データレジデンシーとネットワークアクセスを完全に管理できます。
12の公式クライアントライブラリ。HotKVはRESP2とRESP3にも対応しているため、既存のRedisクライアントやツールは、ホスト名を変えるだけでそのまま接続できます。
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}GitHubから（hotkv-perl-client）libhotkv（CMake、GitHubリリース）hotkv-cpp（CMake、GitHubリリース）PythonとNode.jsのSDKには、チームがすでに使っているフレームワーク向けに、1行で導入できる統合機能が付属しています。LangGraph、MCP、OpenAI互換APIには、別のオープンソースツールで対応しています。
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
完全一致キャッシュ用のHotKVCacheに加え、HotKVVectorStoreとHotKVChatMessageHistoryも含まれます。
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
HotKVKVStoreとHotKVChatStoreも含まれます。
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
LiteLLMの組み込みRedisキャッシュは、変更なしでHotKVでも動作します。セマンティックキャッシュも使いたい場合は、この統合をご利用ください。
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });npmパッケージ@hotkv/clientに含まれています。
import { HotKVCache } from "@hotkv/client/langchain";npmパッケージ@hotkv/clientに含まれています。
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
グラフ状態のチェックポインターと、セマンティック検索付きの長期メモリストア。HotKVのライセンスは不要です。
ドキュメントを読むpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Claude、Cursorなどのアシスタントが、キー、エージェントメモリ、プロンプト、ドキュメント検索を利用できるようにします。読み取り専用モードとネームスペースで、エージェントの操作範囲を制限します。
ドキュメントを読むgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
OpenAI互換APIとAnthropic APIの呼び出しを、ストリーミングも含めてキャッシュするドロップインプロキシ。URLを1つ変えるだけで、コードの変更は不要です。
ドキュメントを読むHotKVが高速な理由、適した用途、導入の方法を詳しくご紹介します。
最初からマルチスレッド。スループットはコア数に逆らわず、コア数とともに伸びます。
詳しく見るセマンティックキャッシュ、RAG、エージェントメモリ、LLMのコスト管理をエンジンに組み込み。
詳しく見るキャッシュ、セッション、キュー、リーダーボード。Redisと同じワークロードを、より高いスループットで。
詳しく見るキーのタグ付け、ナノ秒単位のTTL、ベクトル検索、組み込みメトリクスを、コアエンジンの一部として提供。
詳しく見るすべてのコアが並列にコマンドを読み取り、パースし、実行するマルチスレッドエンジン。
詳しく見るHotKV CloudのStarter、Performance、Scaleプラン。トラフィック込みで、年間契約の縛りはありません。
詳しく見る