HotKVの内側

HotKVブログ

エンジニアリング。
測定し、解説する。

HotKVを開発するメンバーによるエンジニアリングノート、ベンチマーク、製品ニュース。結果と手法、そしてそこから得た知見をお届けします。

6件の記事 HotKV Ltdより

HotKVのその他の記事

アイデア。実験。アップデート。
プロンプトキャッシュとセマンティックキャッシュを、質問とモデルの間に置かれた層として描いたイラスト。
ガイド16分で読めます

プロンプトキャッシュとセマンティックキャッシュ、それぞれで何が節約できるか

プロンプトキャッシュは繰り返される先頭部分を安くし、セマンティックキャッシュはモデル呼び出しそのものをなくします。仕組み、実測結果、使い分けを解説します。

HotKVのセマンティックキャッシュ:トークン削減と回答の品質を、キャッシュのルックアップで表したイラスト。
エンジニアリング13分で読めます

Banking77ベンチマークで、HotKVはClaudeのトークン使用量を70%削減

4つのClaudeモデルに3,000件ずつサポートリクエストを送信。HotKVのキャッシュでモデル呼び出し、トークン、APIコストを約70%削減しました。結果と回答の品質のトレードオフを紹介します。

HotKVのご紹介:ホットに動くキーバリューストア。
お知らせ11分で読めます

HotKVのご紹介

モダンC++でゼロから書いた、マルチスレッドのRedis互換データストアHotKVを私が作った理由。その成り立ち、現在提供している機能、ベンチマークの結果をご紹介します。

Norbert E. Boros記事を読む HotKVのご紹介

興味の赴くままに

タグから探す

ニュースレター

HotKVの新しい記事を、公開時にメールでお届けします。確認は1回だけ、配信停止はワンクリックで可能です。フィードがお好みならRSSをご利用ください。