プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか
プロンプトキャッシュは繰り返される先頭部分を安くし、セマンティックキャッシュはモデル呼び出しそのものをなくします。仕組み、実測結果、使い分けを解説します。
Norbert E. Boros記事を読む プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか
タグ
プロンプトキャッシュ
エンジニアリング。測定し、解説する。
LLM アプリ向けのプロバイダー側プロンプトキャッシュと応答キャッシュについて、それぞれがトークンとコストをどれだけ節約し、どこで効果がなくなるかを解説します。
2件の記事 「プロンプトキャッシュ」に分類
記事
アイデア。実験。アップデート。
Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減
4つのClaudeモデルに3,000件ずつサポートリクエストを送信。HotKVのキャッシュでモデル呼び出し、トークン、APIコストを約70%削減しました。結果と回答の品質のトレードオフを紹介します。
Norbert E. Boros記事を読む Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減
興味の赴くままに