AI SaaS製品
各プランには月間のトークン割り当てがあります。予算は請求書で気づくのではなく、呼び出しのたびにその場で適用されます。
AIとLLMLLM運用PerformanceプランとScaleプラン
LLMコストガバナンス
ユーザーやテナントごとにトークンと支出の予算を適用し、バケットごとの実際の支出を確認し、同一のテキストは一度だけ埋め込みます。
- 引き落としか拒否
- アトミック
- 期間ごとの上限
- トークン + $
- 一意のテキストごとの埋め込み
- 1x
ステップ 1 / 6
予算を設定
1つのテナントに、30日間で200万トークンと50 USDを設定します。
サンプルセッションplaying
# 予算を設定
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
実際のHotKVコマンドと応答例を使ったアニメーションのウォークスルーです。任意のステップをクリックすると、そこに移動します。 コマンドと応答は、HotKVで実際に入力し表示されるとおり英語のままです。
課題
LLMのコストは使用量に応じて決まり、エージェントのループ1つで1か月分の予算を午後のうちに使い切ることもあります。事後に使用量を確認しても、すでに失った額がわかるだけです。そしてアトミックでない予算チェックは、同時リクエストによって超過されるおそれがあります。
HotKVでの解決方法
HotKVはユーザーやテナントごとに予算を保持し、アトミックに引き落とします。そのためリクエストは、許可されて引き落とされるか、モデルを呼び出す前に拒否されるかのどちらかです。別の統計がバケットごとの実際のトークン、コスト、レイテンシを記録し、埋め込みはコンテンツハッシュで保存されるため、同一のテキストは一度だけ埋め込まれます。
ステップごとに
コマンドごとに何が起きるか
- 01
予算を設定
1つのテナントに、30日間で200万トークンと50 USDを設定します。
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
呼び出す前に引き落とす
許可と引き落としを1ステップで行います。その後でモデルを呼び出します。
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
実際の使用量を記録
呼び出しの入力、出力、キャッシュ済みのトークン、コスト、レイテンシをバケットごとに記録します。
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
暴走したループが上限に達する
テナントのエージェントが動き続けます。次の呼び出しで上限を超える時点で、その呼び出しは拒否され、引き落としも行われません。
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
他のテナントには影響なし
テナントごとに独自の予算があります。
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
テナントの状況を確認
使用量、上限、期間の残り時間、拒否されたリクエスト数がわかります。
LLMBUDGET.STATUS tenant:acme
活用シーン
実際のシナリオ
社内AIプラットフォーム
チームごとに予算があります。一晩中ループし続ける放置されたノートブックも、上限で止まります。
ドキュメント処理
契約書のチャンクはバージョンをまたいで繰り返されます。埋め込みを重複排除すれば、改訂版のドキュメントで費用がかかるのは変更された段落だけです。
標準搭載
得られるもの
アトミックな予算チェック
リクエストは1ステップで引き落とされるか拒否されるため、同時に動くエージェントが一緒に上限を超えることはありません。
LLMBUDGET.CONSUMEトークンと金額
設定した期間で、トークン数、コスト、またはその両方で制限します。
LLMBUDGET.SETLLMBUDGET.STATUSバケットごとの実際の支出
入力、出力、キャッシュ済みのトークン、コスト、レイテンシを記録し、読み出せます。
LLMSTATS.RECORDLLMSTATS.GET埋め込みは一度だけ保存
コンテンツハッシュによる重複排除で、同一のテキストは一度だけ埋め込まれます。
EMBED.DEDUP.PUTEMBED.DEDUP.GETよくある質問
テナントが予算を超えるとどうなりますか？
LLMBUDGET.CONSUMEは0を返し、引き落としは行いません。その後、アプリケーションがリクエストを断るか、より安価な経路に切り替えます。
トークンだけでなくコストでも制限できますか？
はい。予算には、選んだ期間でのトークンの上限と米ドル建てのコストの上限があります。
どのプランに含まれますか？
LLM予算、統計、埋め込みの重複排除は、PerformanceプランとScaleプランに含まれます。
関連するユースケース
ご自身のワークロードで試してみましょう
HotKVはRedisプロトコルに対応しているため、既存のクライアントを向けるだけで、これらと同じコマンドを実行できます。