旅行と予約のエージェント
天気、通貨、空き状況の照会は、旅行者や計画のステップをまたいで繰り返されます。各結果はTTLごとに一度だけ取得されます。
AIとLLMエージェントPerformanceプランとScaleプラン
エージェントのツール呼び出しキャッシュ
エージェントは同じツールを同じ引数で何度も呼び出します。結果をメモ化して、同じAPI呼び出しに二度支払うのをやめましょう。
- ツール呼び出し前のルックアップ
- 1
- ネームスペースまたはエントリーごと
- TTL
- STATSで報告される節約額
- $
ステップ 1 / 5
ネームスペースを作成
天気はゆっくり変わるため、結果は15分間保持します。
サンプルセッションplaying
# ネームスペースを作成
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
エージェントはループします。1回の実行の中で同じ天気、同じ為替レート、同じSQLの結果、同じWebページを何度も調べ、次の実行でもまた調べます。呼び出しのたびにレイテンシとレート制限の枠を消費し、多くの場合は費用もかかります。ツールが遅ければ、エージェントのすべてのステップが遅くなります。
HotKVでの解決方法
ツールキャッシュは、ツール名と引数から作ったキーで決定的なツール呼び出しをメモ化します。エージェントはツールを呼び出す前にキャッシュに問い合わせます。ヒットすれば保存済みの結果がすぐに返り、ミスならツールを一度だけ呼び出し、必要な鮮度に合わせたTTLで結果を保存します。
ステップごとに
コマンドごとに何が起きるか
- 01
ネームスペースを作成
天気はゆっくり変わるため、結果は15分間保持します。
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
最初の呼び出しはミス
この引数ではまだ何もキャッシュされていません。
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
ツールを一度呼び出して保存
実際のAPIが呼び出され、結果は次の15分間キャッシュされます。
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
繰り返しはすべてヒット
エージェントが2日目の日帰り旅行を計画して、再び問い合わせます。他の旅行者のための別のエージェントも同様です。
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
節約額を数える
ヒット、ミス、節約した使用量がネームスペースごとに報告されます。
TOOL.CACHE.STATS tools
活用シーン
実際のシナリオ
データエージェント
読み取り専用のSQLクエリやダッシュボードの指標をメモ化するため、データを探索するエージェントがデータウェアハウスに負荷をかけ続けることはありません。
ブラウジングエージェント
取得して解析したWebページをキャッシュするため、同じページを実行のたびにダウンロードし直すことはありません。
標準搭載
得られるもの
引数でメモ化
キーはツール名と引数から作られるため、異なる呼び出しはそれぞれ別にキャッシュされます。
TOOL.CACHE.GETTOOL.CACHE.SET鮮度の制御
ネームスペースごとのデフォルトTTLと、エントリーごとの任意のTTL。
TTL上限のあるメモリ
ネームスペースごとのエントリー上限があり、いっぱいになるとエビクションが行われます。
MAX_ENTRIES節約レポート
ヒット、ミス、エビクション、メモリ、節約した使用量。
TOOL.CACHE.STATSよくある質問
どのツールをキャッシュすべきですか？
照会、検索、クエリなど、結果が引数だけで決まる決定的で読み取り専用の呼び出しです。メール送信のように何かを変更するツールは決してキャッシュしないでください。
キャッシュ済みの結果を早めに削除できますか？
はい。TOOL.CACHE.DELで1つのエントリーを削除し、TOOL.CACHE.FLUSHでネームスペースを空にできます。
どのプランに含まれますか？
ツールキャッシュは、PerformanceプランとScaleプランに含まれます。
関連するユースケース
ご自身のワークロードで試してみましょう
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。