KI-SaaS-Produkte
Jeder Tarif enthält ein monatliches Token-Kontingent. Das Budget wird im Moment jedes Aufrufs durchgesetzt, nicht erst auf der Rechnung entdeckt.
KI und LLMLLM-BetriebPerformance- und Scale-Tarife
LLM-Kostensteuerung
Setzen Sie ein Token- und Ausgabenbudget pro Benutzer oder Mandant durch, sehen Sie die echten Ausgaben pro Bucket und erzeugen Sie Embeddings für identischen Text nur einmal.
- belasten oder ablehnen
- Atomar
- Limits pro Zeitfenster
- Tokens + $
- Embedding pro eindeutigem Text
- 1x
Schritt 1 von 6
Ein Budget festlegen
2 Millionen Tokens und 50 USD über 30 Tage für einen Mandanten.
Beispielsitzungplaying
# Ein Budget festlegen
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Ein animierter Durchlauf mit echten HotKV-Befehlen und Beispielantworten. Klicken Sie auf einen Schritt, um direkt dorthin zu springen. Befehle und Antworten bleiben auf Englisch, genau so, wie Sie sie in HotKV eingeben und sehen.
Das Problem
LLM-Kosten richten sich nach dem Verbrauch, und eine einzige Schleife in einem Agenten kann an einem Nachmittag das Budget eines Monats ausgeben. Den Verbrauch im Nachhinein zu prüfen, zeigt Ihnen nur, was Sie schon verloren haben, und eine Budgetprüfung, die nicht atomar ist, kann von gleichzeitigen Anfragen überrannt werden.
So löst HotKV es
HotKV führt für jeden Benutzer oder Mandanten ein Budget und belastet es atomar, sodass eine Anfrage entweder erlaubt und belastet oder abgelehnt wird, bevor das Modell aufgerufen wird. Separate Statistiken erfassen echte Tokens, Kosten und Latenz pro Bucket, und Embeddings werden nach Content-Hash gespeichert, sodass identischer Text nur einmal eingebettet wird.
Schritt für Schritt
Was passiert, Befehl für Befehl
- 01
Ein Budget festlegen
2 Millionen Tokens und 50 USD über 30 Tage für einen Mandanten.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Vor dem Aufruf belasten
In einem Schritt erlaubt und belastet. Dann wird das Modell aufgerufen.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Den echten Verbrauch erfassen
Eingabe-, Ausgabe- und gecachte Tokens, Kosten und Latenz des Aufrufs, pro Bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Eine außer Kontrolle geratene Schleife erreicht das Limit
Der Agent des Mandanten macht immer weiter. Sobald der nächste Aufruf das Limit überschreiten würde, wird er abgelehnt und nicht belastet.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Andere Mandanten sind nicht betroffen
Jeder Mandant hat sein eigenes Budget.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Den Stand eines Mandanten prüfen
Verbrauch, Limits, verbleibende Zeit im Fenster und wie viele Anfragen abgelehnt wurden.
LLMBUDGET.STATUS tenant:acme
Wo es passt
Szenarien aus der Praxis
Interne KI-Plattformen
Jedes Team hat ein Budget. Ein vergessenes Notebook, das über Nacht in einer Schleife läuft, stoppt am Limit.
Dokumentenverarbeitung
Vertragsabschnitte wiederholen sich über Versionen hinweg. Deduplizierte Embeddings bedeuten, dass ein überarbeitetes Dokument nur für die geänderten Absätze bezahlt.
Integriert
Was Sie bekommen
Atomare Budgetprüfungen
Eine Anfrage wird in einem Schritt belastet oder abgelehnt, sodass gleichzeitige Agenten das Limit nicht gemeinsam überschreiten können.
LLMBUDGET.CONSUMETokens und Dollar
Begrenzen Sie nach Token-Anzahl, nach Kosten oder beidem, über ein Zeitfenster Ihrer Wahl.
LLMBUDGET.SETLLMBUDGET.STATUSEchte Ausgaben pro Bucket
Erfassen Sie Eingabe-, Ausgabe- und gecachte Tokens, Kosten und Latenz und lesen Sie sie wieder aus.
LLMSTATS.RECORDLLMSTATS.GETEmbeddings nur einmal gespeichert
Die Deduplizierung per Content-Hash sorgt dafür, dass identischer Text nur einmal eingebettet wird.
EMBED.DEDUP.PUTEMBED.DEDUP.GETHäufige Fragen
Was passiert, wenn ein Mandant über dem Budget liegt?
LLMBUDGET.CONSUME gibt 0 zurück und belastet nichts. Ihre Anwendung lehnt die Anfrage dann ab oder weicht auf einen günstigeren Weg aus.
Kann ich zusätzlich zu Tokens auch nach Kosten begrenzen?
Ja. Ein Budget hat ein Token-Limit und ein Kostenlimit in US-Dollar, über das Zeitfenster Ihrer Wahl.
Welche Tarife enthalten sie?
LLM-Budgets, Statistiken und Embedding-Deduplizierung sind Teil der Tarife Performance und Scale.
Verwandte Anwendungsfälle
Probieren Sie es mit Ihrer eigenen Workload
HotKV spricht das Redis-Protokoll, sodass Sie einen bestehenden Client darauf richten und genau diese Befehle ausführen können.