Produtos SaaS de IA
Cada plano inclui uma cota mensal de tokens. O orçamento é aplicado no momento de cada chamada, e não descoberto na fatura.
IA e LLMOperações de LLMPlanos Performance e Scale
Governança de custos de LLM
Imponha um orçamento de tokens e de gastos por usuário ou tenant, veja o gasto real por bucket e gere o embedding de um texto idêntico uma única vez.
- débito ou recusa
- Atômico
- limites por janela
- Tokens + $
- embedding por texto único
- 1x
Etapa 1 de 6
Defina um orçamento
2 milhões de tokens e 50 USD em 30 dias para um tenant.
Sessão de exemploplaying
# Defina um orçamento
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Uma demonstração animada com comandos reais do HotKV e respostas de exemplo. Clique em qualquer etapa para ir direto a ela. Os comandos e as respostas ficam em inglês, exatamente como você os digita e vê no HotKV.
O problema
Os custos de LLM dependem do uso, e um único loop em um agente pode gastar o orçamento de um mês em uma tarde. Verificar o uso depois só mostra o que você já perdeu, e uma verificação de orçamento que não é atômica pode ser estourada por requisições simultâneas.
Como o HotKV resolve
O HotKV mantém um orçamento para cada usuário ou tenant e o debita de forma atômica, então uma requisição ou é permitida e debitada, ou é recusada antes de o modelo ser chamado. Estatísticas separadas registram os tokens reais, o custo e a latência por bucket, e os embeddings são armazenados por hash de conteúdo, então um texto idêntico só vira embedding uma vez.
Passo a passo
O que acontece, comando por comando
- 01
Defina um orçamento
2 milhões de tokens e 50 USD em 30 dias para um tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Debite antes de chamar
Permitido e debitado em uma etapa. Depois o modelo é chamado.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Registre o uso real
Tokens de entrada, de saída e em cache, custo e latência da chamada, por bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Um loop descontrolado atinge o limite
O agente do tenant continua. Assim que a próxima chamada passaria do limite, ela é recusada e não é debitada.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Os outros tenants não são afetados
Cada tenant tem o próprio orçamento.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Veja a situação de um tenant
Uso, limites, tempo restante na janela e quantas requisições foram recusadas.
LLMBUDGET.STATUS tenant:acme
Onde se encaixa
Cenários reais
Plataformas internas de IA
Cada time tem um orçamento. Um notebook esquecido que fica em loop a noite toda para no limite.
Processamento de documentos
Trechos de contratos se repetem entre versões. Com embeddings deduplicados, um documento revisado só paga pelos parágrafos que mudaram.
Integrado
O que você ganha
Verificações atômicas de orçamento
Uma requisição é debitada ou recusada em uma etapa, então agentes simultâneos não conseguem estourar o limite juntos.
LLMBUDGET.CONSUMETokens e dólares
Limite por contagem de tokens, por custo ou pelos dois, em uma janela que você define.
LLMBUDGET.SETLLMBUDGET.STATUSGasto real por bucket
Registre tokens de entrada, de saída e em cache, custo e latência, e leia tudo de volta.
LLMSTATS.RECORDLLMSTATS.GETEmbeddings armazenados uma vez
Com a deduplicação por hash de conteúdo, um texto idêntico só vira embedding uma vez.
EMBED.DEDUP.PUTEMBED.DEDUP.GETPerguntas frequentes
O que acontece quando um tenant passa do orçamento?
LLMBUDGET.CONSUME retorna 0 e não debita nada. A sua aplicação então recusa a requisição ou recorre a um caminho mais barato.
Posso limitar por custo além de tokens?
Sim. Um orçamento tem um limite de tokens e um limite de custo em dólares americanos, na janela que você escolher.
Quais planos incluem o recurso?
Os orçamentos de LLM, as estatísticas e a deduplicação de embeddings fazem parte dos planos Performance e Scale.
Casos de uso relacionados
Experimente com a sua própria carga de trabalho
O HotKV fala o protocolo Redis, então você pode apontar um cliente existente para ele e executar estes mesmos comandos.