タグ

セマンティックキャッシュ

エンジニアリング。
測定し、解説する。

HotKVによる完全一致キャッシュとセマンティックキャッシュ。類似度しきい値、キャッシュヒット率、回答品質の評価方法を解説します。

2件の記事 「セマンティックキャッシュ」に分類

記事

アイデア。実験。アップデート。
プロンプトキャッシュとセマンティックキャッシュを、質問とモデルの間に置かれた層として描いたイラスト。
ガイド16分で読めます

プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか

プロンプトキャッシュは繰り返される先頭部分を安くし、セマンティックキャッシュはモデル呼び出しそのものをなくします。仕組み、実測結果、使い分けを解説します。

Norbert E. Boros記事を読む プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか
HotKVのセマンティックキャッシュ：トークン削減と回答の品質を、キャッシュのルックアップで表したイラスト。
エンジニアリング13分で読めます

Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減

4つのClaudeモデルに3,000件ずつサポートリクエストを送信。HotKVのキャッシュでモデル呼び出し、トークン、APIコストを約70%削減しました。結果と回答の品質のトレードオフを紹介します。

Norbert E. Boros記事を読む Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減

興味の赴くままに

タグから探す

ベンチマークベクトル検索RedisパフォーマンスLLMセマンティックキャッシュコスト最適化リリースアーキテクチャAI エージェントプロンプトキャッシュエージェントメモリMCP

ニュースレター

HotKVの新しい記事を、公開時にメールでお届けします。確認は1回だけ、配信停止はワンクリックで可能です。フィードがお好みならRSSをご利用ください。