Help desk de SaaS
Milhares de clientes perguntam sobre senhas, faturas e limites de plano. Muitas perguntas são repetições ou reformulações e são respondidas a partir do cache. Só as realmente novas chegam ao modelo.
IA e LLMAplicações de LLMPlanos Performance e Scale
Assistente de atendimento ao cliente com IA
Um bot de suporte que responde repetições na hora, reconhece reformulações pelo significado, fundamenta respostas novas na sua central de ajuda e nunca gasta além do orçamento.
- motores de IA em um servidor
- 5
- chamada ao modelo por pergunta nova
- 1
- bancos de dados extras para operar
- 0
Etapa 1 de 6
Verificar o orçamento do tenant
O orçamento de cada tenant foi definido uma vez com LLMBUDGET.SET. Antes de qualquer trabalho do modelo, ele é debitado de forma atômica. Um tenant acima do limite é recusado aqui, antes de qualquer gasto.
Sessão de exemploplaying
# Verificar o orçamento do tenant
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Uma demonstração animada com comandos reais do HotKV e respostas de exemplo. Clique em qualquer etapa para ir direto a ela. Os comandos e as respostas ficam em inglês, exatamente como você os digita e vê no HotKV.
O problema
Um assistente de suporte de verdade é mais do que um prompt. Ele precisa de um cache para não pagar duas vezes pela mesma pergunta, de recuperação na central de ajuda, de memória da conversa e de um orçamento para que um cliente não estoure a conta. Isso costuma significar quatro ou cinco serviços, e mais tempo gasto com código de integração do que com o produto.
Como o HotKV resolve
O HotKV executa cada uma dessas peças como comandos em um único servidor. O assistente verifica o orçamento do tenant, responde repetições exatas a partir do cache de prompts e reformulações a partir do cache semântico, recupera trechos da central de ajuda para tudo o que é novo, guarda a conversa e coloca cada resposta nova em cache para o próximo cliente que perguntar.
Passo a passo
O que acontece, comando por comando
- 01
Verificar o orçamento do tenant
O orçamento de cada tenant foi definido uma vez com LLMBUDGET.SET. Antes de qualquer trabalho do modelo, ele é debitado de forma atômica. Um tenant acima do limite é recusado aqui, antes de qualquer gasto.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Repetição exata, respondida na hora
A mesma pergunta feita palavra por palavra é um acerto no cache de prompts. Nenhum embedding, nenhuma chamada ao modelo.
PCACHE.GET support "How do I reset my password?" - 03
Uma reformulação, reconhecida pelo significado
"Esqueci minha senha de login" está escrito de outro jeito. O embedding dela fica perto o bastante de uma pergunta no cache semântico, criado uma vez com SCACHE.CREATE, então a resposta armazenada é devolvida.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Algo novo, então recupere contexto
Uma pergunta que ninguém fez ainda. A busca híbrida na central de ajuda ingerida retorna os trechos de que o modelo precisa.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Uma chamada ao modelo, lembrada
O modelo responde com os trechos como contexto. O turno é anexado à conversa, aberta com AMEM.CONV.CREATE quando o chat começou, para que a próxima mensagem tenha o histórico.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Colocar em cache para o próximo cliente
A resposta nova vai para o cache semântico, então toda reformulação posterior desta pergunta é um acerto.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Onde se encaixa
Cenários reais
Bot de devoluções de e-commerce
As políticas de devolução e de entrega são ingeridas uma vez como um pipeline de RAG. As respostas se baseiam no texto atual da política, e cada loja da plataforma tem o próprio orçamento.
Assistente interno de TI
Os funcionários fazem as mesmas perguntas sobre VPN e notebook toda semana. O assistente guarda cada conversa, recupera turnos anteriores e interrompe um loop descontrolado antes que ele consuma a cota do mês.
Integrado
O que você ganha
Duas camadas de cache
Um cache exato de prompts para repetições palavra por palavra e um cache semântico para reformulações, cada um com as próprias estatísticas de acertos.
PCACHE.GETSCACHE.GETRespostas fundamentadas
Os artigos da central de ajuda são divididos em chunks e indexados em um pipeline de RAG com busca híbrida vetorial e por palavras-chave.
RAG.INGESTRAG.SEARCHMemória da conversa
Cada chat mantém uma janela deslizante de turnos para o próximo prompt.
AMEM.CONV.APPENDAMEM.CONV.WINDOWOrçamentos por cliente
Limites de tokens e de dólares por tenant, debitados de forma atômica antes de o modelo ser chamado.
LLMBUDGET.CONSUMEPerguntas frequentes
Também preciso de um banco de dados vetorial?
Não. O cache semântico, o pipeline de RAG e a memória de agentes rodam dentro do HotKV, ao lado do resto dos dados da sua aplicação.
Quais modelos de embedding e de chat posso usar?
Qualquer um. O HotKV armazena e pesquisa os vetores que você fornece e nunca chama um modelo por conta própria, então você mantém controle total dos provedores.
Quais planos incluem estes comandos?
O cache de prompts, o cache semântico, os pipelines de RAG, a memória de agentes e os orçamentos de LLM fazem parte dos planos Performance e Scale.
Casos de uso relacionados
Experimente com a sua própria carga de trabalho
O HotKV fala o protocolo Redis, então você pode apontar um cliente existente para ele e executar estes mesmos comandos.