Atendimento ao cliente
Redefinição de senha, segunda via de fatura e prazos de entrega são perguntados sem parar. Cada variação depois da primeira é servida a partir do cache.
IA e LLMAplicações de LLMPlanos Performance e Scale
Cache semântico de respostas
Armazene em cache as respostas de LLM pelo significado, não pelo texto exato, para que perguntas reformuladas acertem o cache e evitem a chamada ao modelo.
- consulta antes de cada chamada ao modelo
- 1
- métricas de similaridade
- 3
- ajuste do limiar
- Por chamada
Etapa 1 de 6
Crie um namespace
Defina o tamanho do embedding e a similaridade que conta como acerto.
Sessão de exemploplaying
# Crie um namespace
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Uma demonstração animada com comandos reais do HotKV e respostas de exemplo. Clique em qualquer etapa para ir direto a ela. Os comandos e as respostas ficam em inglês, exatamente como você os digita e vê no HotKV.
O problema
Um assistente de suporte recebe a mesma pergunta escrita de cem jeitos diferentes. Um cache de correspondência exata erra quase todas, então cada reformulação paga uma chamada completa ao modelo e espera a resposta inteira.
Como o HotKV resolve
Um cache semântico armazena cada resposta ao lado do embedding da sua pergunta e procura as perguntas novas por similaridade. Se um prompt novo estiver perto o bastante de um que você já respondeu, a resposta armazenada é devolvida e o modelo nunca é chamado. O limiar decide o quanto é perto o bastante.
Passo a passo
O que acontece, comando por comando
- 01
Crie um namespace
Defina o tamanho do embedding e a similaridade que conta como acerto.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Um miss, então chame o modelo uma vez
Na primeira vez que uma pergunta é feita, não há nada parecido no cache, então o modelo responde.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Guarde a resposta
Armazene a pergunta, a resposta e o embedding da pergunta por um dia.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Uma reformulação acerta
"esqueci a senha do login" fica perto da pergunta armazenada. A resposta e a sua similaridade são devolvidas, e o modelo é ignorado.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Mais rigor em uma consulta
Uma consulta pode pedir uma correspondência mais próxima que o padrão do namespace, para respostas em que quase acertar não basta.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Meça a economia
As estatísticas por namespace mostram quantas vezes o cache respondeu no lugar do modelo.
SCACHE.STATS support_bot
Onde se encaixa
Cenários reais
Bots de conhecimento interno
Os funcionários perguntam sobre férias, despesas e acesso à VPN com as próprias palavras. Uma resposta atende a todos até expirar.
Ferramentas para desenvolvedores
"Como faço paginação?" e "como percorrer os resultados por página" recebem a mesma resposta documentada sem uma segunda chamada ao modelo.
Integrado
O que você ganha
Correspondência pelo significado
Perguntas parecidas compartilham uma resposta em cache, não importa como estejam escritas.
SCACHE.GETSCACHE.SETVocê controla o rigor
Defina o limiar por namespace e substitua-o em uma única consulta.
SCACHE.THRESHOLDEconomia mensurável
As estatísticas por namespace mostram acertos, misses e entradas.
SCACHE.STATSCosseno, L2 ou produto interno
Escolha a métrica adequada ao seu modelo de embedding ao criar o namespace.
SCACHE.CREATEPerguntas frequentes
Quanto custa um acerto de cache?
Uma chamada de embedding e uma consulta ao cache. A chamada ao modelo e o tempo de geração são evitados.
Como evito respostas erradas por uma correspondência frouxa?
Aumente o limiar. Um limiar mais alto exige uma correspondência mais próxima, então menos perguntas acertam e cada acerto é mais confiável.
Quais planos incluem o recurso?
O cache semântico faz parte dos planos Performance e Scale.
Casos de uso relacionados
Experimente com a sua própria carga de trabalho
O HotKV fala o protocolo Redis, então você pode apontar um cliente existente para ele e executar estes mesmos comandos.