タグ

LLM

エンジニアリング。
測定し、解説する。

言語モデルを使うアプリケーションでのHotKVの活用：モデル呼び出し、トークンの集計、応答の再利用、セマンティックキャッシュにおける品質のトレードオフ。

4件の記事 「LLM」に分類

記事

アイデア。実験。アップデート。
プロンプトキャッシュとセマンティックキャッシュを、質問とモデルの間に置かれた層として描いたイラスト。
ガイド16分で読めます

プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか

プロンプトキャッシュは繰り返される先頭部分を安くし、セマンティックキャッシュはモデル呼び出しそのものをなくします。仕組み、実測結果、使い分けを解説します。

Norbert E. Boros記事を読む プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか
HotKVのセマンティックキャッシュ：トークン削減と回答の品質を、キャッシュのルックアップで表したイラスト。
エンジニアリング13分で読めます

Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減

4つのClaudeモデルに3,000件ずつサポートリクエストを送信。HotKVのキャッシュでモデル呼び出し、トークン、APIコストを約70%削減しました。結果と回答の品質のトレードオフを紹介します。

Norbert E. Boros記事を読む Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減

興味の赴くままに

タグから探す

ベンチマークベクトル検索RedisパフォーマンスLLMセマンティックキャッシュコスト最適化リリースアーキテクチャAI エージェントプロンプトキャッシュエージェントメモリMCP

ニュースレター

HotKVの新しい記事を、公開時にメールでお届けします。確認は1回だけ、配信停止はワンクリックで可能です。フィードがお好みならRSSをご利用ください。