Relatórios agendados
Os mesmos resumos são gerados para cada pessoa que abre um dashboard. Uma chamada ao modelo por relatório por dia, em vez de uma por visualização.
IA e LLMAplicações de LLMPlanos Performance e Scale
Cache exato de prompts
Nunca pague duas vezes pelo mesmo prompt. Um cache de LLM de correspondência exata que conta os tokens e os dólares que você economizou.
- correspondência, zero acertos falsos
- Exato
- latência de consulta no STATS
- p50
- economia registrada por namespace
- $
Etapa 1 de 4
Crie um namespace
Dê a ele um TTL para que as respostas se renovem, e quanto um acerto economiza em média.
Sessão de exemploplaying
# Crie um namespace
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Uma demonstração animada com comandos reais do HotKV e respostas de exemplo. Clique em qualquer etapa para ir direto a ela. Os comandos e as respostas ficam em inglês, exatamente como você os digita e vê no HotKV.
O problema
Jobs em lote, novas tentativas, relatórios agendados e perguntas populares enviam o mesmo prompt ao modelo várias vezes. Cada um é cobrado por inteiro, e ninguém sabe dizer quanto um cache teria economizado, porque nada mede isso.
Como o HotKV resolve
O cache de prompts armazena a resposta de cada prompt exato, junto com o modelo e as contagens de tokens da chamada que a gerou. Cada acerto posterior é contado, então o HotKV consegue informar as requisições, os tokens e os dólares que você não gastou.
Passo a passo
O que acontece, comando por comando
- 01
Crie um namespace
Dê a ele um TTL para que as respostas se renovem, e quanto um acerto economiza em média.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Miss, depois armazene com o uso
A primeira chamada vai ao modelo. A resposta é armazenada com o modelo e as contagens de tokens que a geraram.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Toda repetição é grátis
O job noturno e cada visualização do dashboard pedem a mesma coisa. Todos são acertos.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Veja o que você economizou
As estatísticas incluem a taxa de acerto, a latência de consulta e o uso pelo qual você não pagou.
PCACHE.STATS reports
Onde se encaixa
Cenários reais
Tradução e localização
Textos de interface e descrições de produtos são traduzidos uma vez por idioma e servidos a partir do cache em todas as requisições seguintes.
Pipelines de classificação
Tickets, avaliações e e-mails com texto idêntico recebem o mesmo rótulo sem outra chamada ao modelo.
Integrado
O que você ganha
Correspondência exata
Só há acerto para o prompt idêntico, então uma resposta em cache nunca é servida para outra pergunta.
PCACHE.GETPCACHE.SETCiente do uso
Armazene o modelo e as contagens de tokens com cada resposta para que a economia seja calculada a partir do uso real.
MODELINPUTOUTPUTMetadados e contagem de acertos
PCACHE.GETEX retorna a resposta com os seus metadados e quantas vezes ela já foi servida.
PCACHE.GETEXTaxa de acerto e latência
PCACHE.STATS informa acertos, misses, remoções, memória, latência de consulta e economia.
PCACHE.STATSPerguntas frequentes
Quando devo usar o cache de prompts em vez do cache semântico?
Use o cache de prompts quando os prompts se repetem exatamente, como em jobs em lote e templates fixos. Use o cache semântico quando as pessoas escrevem a mesma pergunta de jeitos diferentes. Muitas aplicações consultam os dois.
Isso é o mesmo que o prompt caching do provedor?
Não. O prompt caching do provedor dá desconto em prefixos repetidos do lado dele. Um acerto no HotKV nem chega ao provedor, então os dois se somam.
Quais planos incluem o recurso?
O cache de prompts faz parte dos planos Performance e Scale.
Casos de uso relacionados
Experimente com a sua própria carga de trabalho
O HotKV fala o protocolo Redis, então você pode apontar um cliente existente para ele e executar estes mesmos comandos.