AI-SaaS-produkter
Varje plan innehåller en månatlig tokenkvot. Budgeten upprätthålls i samma stund som varje anrop görs, den upptäcks inte först på fakturan.
AI och LLMLLM-driftPlanerna Performance och Scale
Styrning av LLM-kostnader
Upprätthåll en token- och utgiftsbudget per användare eller tenant, se verkliga utgifter per bucket och bädda in identisk text bara en gång.
- debitera eller neka
- Atomärt
- gränser per fönster
- Tokens + $
- embedding per unik text
- 1x
Steg 1 av 6
Sätt en budget
2 miljoner tokens och 50 USD under 30 dagar för en tenant.
Exempelsessionplaying
# Sätt en budget
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.
Problemet
LLM-kostnader är användningsbaserade, och en enda loop i en agent kan göra av med en månads budget på en eftermiddag. Att kontrollera användningen i efterhand visar bara vad du redan har förlorat, och en budgetkontroll som inte är atomär kan överskridas av samtidiga förfrågningar.
Så löser HotKV det
HotKV håller en budget för varje användare eller tenant och debiterar den atomärt, så att en förfrågan antingen tillåts och debiteras eller nekas innan modellen anropas. Separat statistik registrerar verkliga tokens, kostnad och latens per bucket, och embeddings lagras via innehållshash så att identisk text bäddas in en gång.
Steg för steg
Vad som händer, kommando för kommando
- 01
Sätt en budget
2 miljoner tokens och 50 USD under 30 dagar för en tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Debitera innan du anropar
Tillåts och debiteras i ett enda steg. Därefter anropas modellen.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Registrera den verkliga användningen
Indata-, utdata- och cachade tokens, kostnad och latens för anropet, per bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
En skenande loop når taket
Tenantens agent fortsätter. När nästa anrop skulle gå över gränsen nekas det och debiteras inte.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Andra tenants påverkas inte
Varje tenant har sin egen budget.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Kontrollera var en tenant står
Användning, gränser, tid kvar i fönstret och hur många förfrågningar som nekades.
LLMBUDGET.STATUS tenant:acme
Där det passar
Verkliga scenarier
Interna AI-plattformar
Varje team har en budget. En bortglömd notebook som loopar över natten stoppas vid taket.
Dokumentbearbetning
Avtalsbitar upprepas mellan versioner. Deduplicerade embeddings innebär att ett reviderat dokument bara betalar för de stycken som ändrats.
Inbyggt
Det här får du
Atomära budgetkontroller
En förfrågan debiteras eller nekas i ett enda steg, så att samtidiga agenter inte kan överskrida taket tillsammans.
LLMBUDGET.CONSUMETokens och dollar
Begränsa efter antal tokens, efter kostnad eller båda, över ett fönster du anger.
LLMBUDGET.SETLLMBUDGET.STATUSVerkliga utgifter per bucket
Registrera indata-, utdata- och cachade tokens, kostnad och latens, och läs tillbaka dem.
LLMSTATS.RECORDLLMSTATS.GETEmbeddings lagras en gång
Deduplicering via innehållshash innebär att identisk text bara bäddas in en gång.
EMBED.DEDUP.PUTEMBED.DEDUP.GETVanliga frågor
Vad händer när en tenant är över budget?
LLMBUDGET.CONSUME returnerar 0 och debiterar inte. Din applikation avslår då förfrågan eller faller tillbaka på en billigare väg.
Kan jag begränsa efter kostnad och inte bara tokens?
Ja. En budget har en tokengräns och en kostnadsgräns i amerikanska dollar, över det fönster du väljer.
Vilka planer innehåller den?
LLM-budgetar, statistik och deduplicering av embeddings ingår i planerna Performance och Scale.
Relaterade användningsfall
Prova på din egen arbetslast
HotKV talar Redis-protokollet, så du kan peka en befintlig klient mot det och köra samma kommandon.