Produkty AI SaaS
Každý plán zahrnuje měsíční příděl tokenů. Rozpočet se vynucuje v okamžiku každého volání, ne až zjištěním na faktuře.
AI a LLMProvoz LLMPlány Performance a Scale
Řízení nákladů na LLM
Vynucujte rozpočet tokenů a výdajů pro každého uživatele nebo tenanta, sledujte skutečné výdaje pro každý bucket a embedding identického textu vytvářejte jen jednou.
- strhnout, nebo odmítnout
- Atomicky
- limity pro každé okno
- Tokeny + $
- embedding na unikátní text
- 1x
Krok 1 z 6
Nastavení rozpočtu
2 miliony tokenů a 50 USD na 30 dní pro jednoho tenanta.
Ukázková relaceplaying
# Nastavení rozpočtu
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Animovaný průvodce se skutečnými příkazy HotKV a ukázkovými odpověďmi. Kliknutím na kterýkoli krok na něj přeskočíte. Příkazy a odpovědi zůstávají anglicky, přesně tak, jak je v HotKV zadáváte a vidíte.
Problém
Náklady na LLM se odvíjejí od spotřeby a jediná smyčka v agentovi dokáže utratit měsíční rozpočet za odpoledne. Kontrola spotřeby až po faktu vám řekne jen to, o co jste už přišli, a kontrola rozpočtu, která není atomická, může být souběžnými požadavky překročena.
Jak to řeší HotKV
HotKV drží rozpočet pro každého uživatele nebo tenanta a strhává z něj atomicky, takže je požadavek buď povolen a strhnut, nebo odmítnut dřív, než se zavolá model. Samostatné statistiky zaznamenávají skutečné tokeny, náklady a latenci pro každý bucket a embeddingy se ukládají podle hashe obsahu, takže se identický text převádí na embedding jednou.
Krok za krokem
Co se děje, příkaz po příkazu
- 01
Nastavení rozpočtu
2 miliony tokenů a 50 USD na 30 dní pro jednoho tenanta.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Strhnutí před voláním
Povoleno a strhnuto v jednom kroku. Poté se zavolá model.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Zaznamenání skutečné spotřeby
Vstupní, výstupní a cachované tokeny, náklady a latence volání, pro každý bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Splašená smyčka narazí na limit
Agent tenanta pokračuje. Jakmile by další volání překročilo limit, je odmítnuto a nestrhne se.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Ostatní tenanti nejsou ovlivněni
Každý tenant má vlastní rozpočet.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Kontrola, jak na tom tenant je
Spotřeba, limity, zbývající čas v okně a kolik požadavků bylo odmítnuto.
LLMBUDGET.STATUS tenant:acme
Kam to zapadá
Scénáře z praxe
Interní AI platformy
Každý tým má rozpočet. Zapomenutý notebook, který se přes noc točí ve smyčce, se zastaví na limitu.
Zpracování dokumentů
Chunky smluv se napříč verzemi opakují. Deduplikované embeddingy znamenají, že revidovaný dokument platí jen za odstavce, které se změnily.
Zabudováno
Co dostanete
Atomické kontroly rozpočtu
Požadavek se strhne, nebo odmítne v jednom kroku, takže souběžní agenti nemohou limit společně překročit.
LLMBUDGET.CONSUMETokeny i dolary
Limitujte podle počtu tokenů, podle nákladů, nebo obojího, v okně, které nastavíte.
LLMBUDGET.SETLLMBUDGET.STATUSSkutečné výdaje pro každý bucket
Zaznamenávejte vstupní, výstupní a cachované tokeny, náklady a latenci a čtěte je zpět.
LLMSTATS.RECORDLLMSTATS.GETEmbeddingy uložené jednou
Deduplikace podle hashe obsahu znamená, že se identický text převádí na embedding jen jednou.
EMBED.DEDUP.PUTEMBED.DEDUP.GETČasté otázky
Co se stane, když je tenant nad rozpočtem?
LLMBUDGET.CONSUME vrátí 0 a nic nestrhne. Vaše aplikace pak požadavek odmítne nebo přejde na levnější cestu.
Mohu limitovat i podle nákladů, ne jen podle tokenů?
Ano. Rozpočet má limit tokenů a limit nákladů v amerických dolarech, v okně, které zvolíte.
Které plány ho zahrnují?
Rozpočty LLM, statistiky a deduplikace embeddingů jsou součástí plánů Performance a Scale.
Související případy použití
Vyzkoušejte to na své zátěži
HotKV mluví protokolem Redisu, takže na něj můžete nasměrovat stávajícího klienta a spustit tytéž příkazy.