AI-SaaS-producten
Elk plan bevat een maandelijkse hoeveelheid tokens. Het budget wordt afgedwongen op het moment van elke aanroep, niet ontdekt op de factuur.
AI en LLMLLM-operatiesPlannen Performance en Scale
Beheersing van LLM-kosten
Dwing een token- en uitgavenbudget af per gebruiker of tenant, zie de echte uitgaven per bucket en embed identieke tekst maar één keer.
- in rekening brengen of weigeren
- Atomair
- limieten per venster
- Tokens + $
- embedding per unieke tekst
- 1x
Stap 1 van 6
Een budget instellen
2 miljoen tokens en 50 USD over 30 dagen voor één tenant.
Voorbeeldsessieplaying
# Een budget instellen
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Een geanimeerde walkthrough met echte HotKV-commando's en voorbeeldantwoorden. Klik op een stap om ernaartoe te springen. Commando's en antwoorden blijven Engels, precies zoals je ze in HotKV typt en ziet.
Het probleem
LLM-kosten zijn gebruiksafhankelijk, en één lus in een agent kan in een middag een maandbudget uitgeven. Het gebruik achteraf controleren vertelt je alleen wat je al hebt verloren, en een budgetcontrole die niet atomair is, kan door gelijktijdige verzoeken worden overschreden.
Hoe HotKV het aanpakt
HotKV houdt een budget bij voor elke gebruiker of tenant en brengt het atomair in rekening, zodat een verzoek ofwel wordt toegestaan en in rekening gebracht, ofwel wordt geweigerd voordat het model wordt aangeroepen. Aparte statistieken leggen de echte tokens, kosten en latentie per bucket vast, en embeddings worden op contenthash opgeslagen zodat identieke tekst eenmaal wordt geëmbed.
Stap voor stap
Wat er gebeurt, commando voor commando
- 01
Een budget instellen
2 miljoen tokens en 50 USD over 30 dagen voor één tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Afboeken vóór je aanroept
Toegestaan en in rekening gebracht in één stap. Daarna wordt het model aangeroepen.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Het echte gebruik vastleggen
Invoer-, uitvoer- en gecachete tokens, kosten en latentie van de aanroep, per bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Een op hol geslagen lus raakt de limiet
De agent van de tenant gaat door. Zodra de volgende aanroep over de limiet zou gaan, wordt hij geweigerd en niet in rekening gebracht.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Andere tenants worden niet geraakt
Elke tenant heeft zijn eigen budget.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Bekijk waar een tenant staat
Gebruik, limieten, resterende tijd in het venster en hoeveel verzoeken zijn geweigerd.
LLMBUDGET.STATUS tenant:acme
Waar het past
Praktijkscenario's
Interne AI-platforms
Elk team heeft een budget. Een vergeten notebook dat 's nachts in een lus draait, stopt bij de limiet.
Documentverwerking
Contractchunks herhalen zich over versies heen. Gededupliceerde embeddings betekenen dat een herzien document alleen betaalt voor de alinea's die zijn veranderd.
Ingebouwd
Wat je krijgt
Atomaire budgetcontroles
Een verzoek wordt in één stap in rekening gebracht of geweigerd, zodat gelijktijdige agents de limiet niet samen kunnen overschrijden.
LLMBUDGET.CONSUMETokens en dollars
Beperk op aantal tokens, op kosten of beide, over een venster dat je instelt.
LLMBUDGET.SETLLMBUDGET.STATUSEchte uitgaven per bucket
Leg invoer-, uitvoer- en gecachete tokens, kosten en latentie vast en lees ze terug.
LLMSTATS.RECORDLLMSTATS.GETEmbeddings eenmaal opgeslagen
Deduplicatie op contenthash betekent dat identieke tekst maar één keer wordt geëmbed.
EMBED.DEDUP.PUTEMBED.DEDUP.GETVeelgestelde vragen
Wat gebeurt er als een tenant over budget is?
LLMBUDGET.CONSUME geeft 0 terug en brengt niets in rekening. Je applicatie wijst het verzoek dan af of valt terug op een goedkoper pad.
Kan ik ook op kosten beperken en niet alleen op tokens?
Ja. Een budget heeft een tokenlimiet en een kostenlimiet in Amerikaanse dollars, over het venster dat je kiest.
Welke plannen bevatten het?
LLM-budgetten, statistieken en embedding-deduplicatie maken deel uit van de plannen Performance en Scale.
Verwante use cases
Probeer het op je eigen workload
HotKV spreekt het Redis-protocol, dus je kunt een bestaande client erop richten en dezelfde commando's uitvoeren.