Prodotti SaaS di IA
Ogni piano include una quota mensile di token. Il budget viene applicato al momento di ogni chiamata, non scoperto in fattura.
IA e LLMOperazioni LLMPiani Performance e Scale
Governance dei costi LLM
Applica un budget di token e di spesa per utente o tenant, guarda la spesa reale per bucket e crea l'embedding di un testo identico una sola volta.
- addebito o rifiuto
- Atomico
- limiti per finestra
- Token + $
- embedding per testo unico
- 1x
Passo 1 di 6
Imposta un budget
2 milioni di token e 50 USD su 30 giorni per un tenant.
Sessione di esempioplaying
# Imposta un budget
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Una dimostrazione animata con comandi HotKV reali e risposte di esempio. Clicca su un passo qualsiasi per andarci. Comandi e risposte restano in inglese, esattamente come li digiti e li vedi in HotKV.
Il problema
I costi degli LLM dipendono dall'utilizzo, e un solo loop in un agente può spendere il budget di un mese in un pomeriggio. Controllare l'utilizzo a posteriori ti dice solo quanto hai già perso, e un controllo del budget non atomico può essere superato da richieste concorrenti.
Come lo gestisce HotKV
HotKV mantiene un budget per ogni utente o tenant e lo addebita in modo atomico, quindi una richiesta viene autorizzata e addebitata oppure rifiutata prima di chiamare il modello. Statistiche separate registrano token, costi e latenza reali per bucket, e gli embedding vengono salvati per hash del contenuto, così per un testo identico l'embedding si crea una sola volta.
Passo dopo passo
Cosa succede, comando per comando
- 01
Imposta un budget
2 milioni di token e 50 USD su 30 giorni per un tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Addebita prima di chiamare
Autorizzata e addebitata in un solo passo. Poi viene chiamato il modello.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Registra l'utilizzo reale
Token di input, di output e in cache, costo e latenza della chiamata, per bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Un loop fuori controllo raggiunge il limite
L'agente del tenant continua. Appena la chiamata successiva supererebbe il limite, viene rifiutata e non addebitata.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Gli altri tenant non ne risentono
Ogni tenant ha il proprio budget.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Controlla la situazione di un tenant
Utilizzo, limiti, tempo rimasto nella finestra e quante richieste sono state rifiutate.
LLMBUDGET.STATUS tenant:acme
Dove si usa
Scenari reali
Piattaforme IA interne
Ogni team ha un budget. Un notebook dimenticato che gira in loop tutta la notte si ferma al limite.
Elaborazione di documenti
I chunk dei contratti si ripetono tra le versioni. Con gli embedding deduplicati, un documento rivisto paga solo i paragrafi cambiati.
Integrato
Cosa ottieni
Controlli atomici del budget
Una richiesta viene addebitata o rifiutata in un solo passo, così agenti concorrenti non possono superare il limite insieme.
LLMBUDGET.CONSUMEToken e dollari
Limita per numero di token, per costo o per entrambi, su una finestra che imposti tu.
LLMBUDGET.SETLLMBUDGET.STATUSSpesa reale per bucket
Registra token di input, di output e in cache, costo e latenza, e rileggili.
LLMSTATS.RECORDLLMSTATS.GETEmbedding salvati una volta
Con la deduplicazione per hash del contenuto, l'embedding di un testo identico si crea una sola volta.
EMBED.DEDUP.PUTEMBED.DEDUP.GETDomande frequenti
Cosa succede quando un tenant supera il budget?
LLMBUDGET.CONSUME restituisce 0 e non addebita nulla. La tua applicazione allora rifiuta la richiesta o ripiega su un percorso più economico.
Posso limitare per costo oltre che per token?
Sì. Un budget ha un limite di token e un limite di costo in dollari USA, sulla finestra che scegli.
Quali piani la includono?
Budget LLM, statistiche e deduplicazione degli embedding fanno parte dei piani Performance e Scale.
Casi d'uso correlati
Provalo sul tuo carico di lavoro
HotKV parla il protocollo Redis, quindi puoi puntarci un client esistente ed eseguire questi stessi comandi.