Extração estruturada
Faturas e formulários são convertidos em JSON validado. Reprocessar o mesmo documento devolve o resultado validado sem outra chamada ao modelo.
IA e LLMOperações de LLMPlanos Performance e Scale
Cache de guardrails e moderação
Reproduza respostas que já passaram pelos seus validadores e recuse quem repete prompts proibidos sem chamar a moderação ou o modelo de novo.
- caches, bom e ruim
- 2
- revalidações em um acerto
- 0
- TTLs para recusas
- Curtos
Etapa 1 de 5
Gere e valide
Os namespaces foram criados uma vez com GUARD.CREATE e NCACHE.CREATE. O modelo produz JSON, e o seu validador o confere com o schema antes de qualquer coisa ser armazenada.
Sessão de exemploplaying
# Gere e valide
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Uma demonstração animada com comandos reais do HotKV e respostas de exemplo. Clique em qualquer etapa para ir direto a ela. Os comandos e as respostas ficam em inglês, exatamente como você os digita e vê no HotKV.
O problema
A saída estruturada e as verificações de segurança são lentas e custam dinheiro. Há uma chamada ao modelo, uma validação de JSON schema e talvez um segundo modelo para julgar a resposta. As requisições repetidas pagam tudo isso de novo. E o mesmo prompt abusivo, enviado mil vezes por um script, vai para a moderação mil vezes.
Como o HotKV resolve
O guard cache armazena apenas respostas que já passaram pela sua validação de schema ou pelas suas verificações de guardrail, então se sabe que um acerto é seguro para reproduzir como está. O cache negativo lembra recusas como "recusado pela moderação" com um TTL curto, então requisições ruins repetidas são barradas antes de chegarem ao serviço de moderação ou ao modelo.
Passo a passo
O que acontece, comando por comando
- 01
Gere e valide
Os namespaces foram criados uma vez com GUARD.CREATE e NCACHE.CREATE. O modelo produz JSON, e o seu validador o confere com o schema antes de qualquer coisa ser armazenada.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Reproduza sem verificar de novo
A mesma requisição outra vez. A resposta armazenada já passou na validação, então é devolvida como está.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
A moderação recusa um prompt
Um prompt nocivo é recusado. A recusa fica lembrada por cinco minutos.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
O script tenta de novo
O mesmo prompt, um instante depois, é barrado pelo cache. A moderação e o modelo não são chamados.
NCACHE.GET refused "prompt:9f31c2" - 05
Meça os dois caches
Cada namespace informa acertos, misses, remoções e memória.
GUARD.STATS validated
Onde se encaixa
Cenários reais
Apps de chat para consumidores
Scripts de abuso que martelam o mesmo prompt são recusados pelo cache negativo, o que mantém os custos de moderação estáveis.
Consultas que falham
"Usuário não encontrado" e outras respostas negativas ficam em cache por pouco tempo, então as novas tentativas não chegam ao backend.
Integrado
O que você ganha
Guard cache
Só ficam armazenadas as respostas que passaram nas suas verificações, então um acerto é seguro para reproduzir.
GUARD.SETGUARD.GETCache negativo
Lembre recusas e resultados não encontrados por pouco tempo.
NCACHE.SETNCACHE.GETTTLs e limites
TTLs padrão e limites de entradas por namespace, com remoção quando ele enche.
GUARD.CREATENCACHE.CREATEEstatísticas
Acertos, misses, remoções, memória e economia por namespace.
GUARD.STATSNCACHE.STATSPerguntas frequentes
O próprio HotKV valida a saída?
Não. Quem decide é o seu validador ou guardrail. O HotKV armazena apenas o que você coloca no guard cache depois que passou.
Por quanto tempo as recusas devem ficar em cache?
Em geral por pouco tempo, minutos e não dias, para que uma mudança de política ou um falso positivo não fique preso. Defina o TTL por namespace ou por entrada.
Quais planos incluem o recurso?
O guard cache e o cache negativo fazem parte dos planos Performance e Scale.
Casos de uso relacionados
Experimente com a sua própria carga de trabalho
O HotKV fala o protocolo Redis, então você pode apontar um cliente existente para ele e executar estes mesmos comandos.