Productos SaaS de IA
Cada plan incluye una asignación mensual de tokens. El presupuesto se aplica en el momento de cada llamada, no se descubre en la factura.
IA y LLMOperaciones de LLMPlanes Performance y Scale
Control de costos de LLM
Aplica un presupuesto de tokens y de gasto por usuario o tenant, mira el gasto real por bucket y genera el embedding de cada texto idéntico una sola vez.
- cobrar o rechazar
- Atómico
- límites por ventana
- Tokens + $
- embedding por texto único
- 1x
Paso 1 de 6
Fija un presupuesto
2 millones de tokens y 50 USD en 30 días para un tenant.
Sesión de ejemploplaying
# Fija un presupuesto
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Un recorrido animado con comandos reales de HotKV y respuestas de ejemplo. Haz clic en cualquier paso para saltar a él. Los comandos y las respuestas se quedan en inglés, tal como los escribes y los ves en HotKV.
El problema
Los costos de los LLM dependen del uso, y un solo bucle en un agente puede gastar en una tarde el presupuesto de un mes. Revisar el uso a posteriori solo te dice lo que ya perdiste, y una comprobación de presupuesto que no es atómica puede superarse con solicitudes concurrentes.
Cómo lo resuelve HotKV
HotKV mantiene un presupuesto para cada usuario o tenant y lo descuenta de forma atómica, así que una solicitud se permite y se cobra, o se rechaza antes de llamar al modelo. Unas estadísticas aparte registran los tokens, el costo y la latencia reales por bucket, y los embeddings se guardan por hash del contenido para que el texto idéntico se procese una sola vez.
Paso a paso
Qué ocurre, comando a comando
- 01
Fija un presupuesto
2 millones de tokens y 50 USD en 30 días para un tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Cobra antes de llamar
Permitido y cobrado en un solo paso. Después se llama al modelo.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Registra el uso real
Tokens de entrada, de salida y en caché, costo y latencia de la llamada, por bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Un bucle descontrolado llega al límite
El agente del tenant sigue y sigue. En cuanto la siguiente llamada supera el límite, se rechaza y no se cobra.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Los demás tenants no se ven afectados
Cada tenant tiene su propio presupuesto.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Consulta cómo va un tenant
Uso, límites, tiempo restante de la ventana y cuántas solicitudes se rechazaron.
LLMBUDGET.STATUS tenant:acme
Dónde encaja
Escenarios reales
Plataformas internas de IA
Cada equipo tiene un presupuesto. Un notebook olvidado que se queda en bucle toda la noche se detiene en el límite.
Procesamiento de documentos
Los fragmentos de los contratos se repiten entre versiones. Con los embeddings deduplicados, un documento revisado solo paga los párrafos que cambiaron.
Integrado
Qué obtienes
Comprobaciones de presupuesto atómicas
Una solicitud se cobra o se rechaza en un solo paso, así que varios agentes concurrentes no pueden superar juntos el límite.
LLMBUDGET.CONSUMETokens y dólares
Limita por número de tokens, por costo o por ambos, en la ventana que fijes.
LLMBUDGET.SETLLMBUDGET.STATUSGasto real por bucket
Registra los tokens de entrada, de salida y en caché, el costo y la latencia, y vuelve a leerlos.
LLMSTATS.RECORDLLMSTATS.GETEmbeddings guardados una vez
La deduplicación por hash del contenido hace que el embedding de un texto idéntico se genere una sola vez.
EMBED.DEDUP.PUTEMBED.DEDUP.GETPreguntas frecuentes
¿Qué pasa cuando un tenant supera su presupuesto?
LLMBUDGET.CONSUME devuelve 0 y no cobra. Tu aplicación entonces rechaza la solicitud o recurre a una ruta más barata.
¿Puedo limitar por costo además de por tokens?
Sí. Un presupuesto tiene un límite de tokens y un límite de costo en dólares estadounidenses, en la ventana que elijas.
¿Qué planes lo incluyen?
Los presupuestos de LLM, las estadísticas y la deduplicación de embeddings forman parte de los planes Performance y Scale.
Casos de uso relacionados
Pruébalo con tu propia carga de trabajo
HotKV habla el protocolo de Redis, así que puedes apuntar un cliente que ya usas hacia él y ejecutar estos mismos comandos.