Agentes de viagem e reservas
Consultas de clima, câmbio e disponibilidade se repetem entre viajantes e etapas de planejamento. Cada resultado é buscado uma vez por TTL.
IA e LLMAgentesPlanos Performance e Scale
Cache de chamadas de ferramentas de agentes
Os agentes chamam as mesmas ferramentas com os mesmos argumentos sem parar. Memoize os resultados e pare de pagar duas vezes pela mesma chamada de API.
- consulta antes de cada ferramenta
- 1
- por namespace ou entrada
- TTL
- economizados, no STATS
- $
Etapa 1 de 5
Crie o namespace
O clima muda devagar, então os resultados duram 15 minutos.
Sessão de exemploplaying
# Crie o namespace
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Uma demonstração animada com comandos reais do HotKV e respostas de exemplo. Clique em qualquer etapa para ir direto a ela. Os comandos e as respostas ficam em inglês, exatamente como você os digita e vê no HotKV.
O problema
Os agentes entram em loop. Eles consultam o mesmo clima, a mesma cotação, o mesmo resultado SQL e a mesma página web várias vezes em uma execução e de novo na seguinte. Cada chamada custa latência, limite de taxa e muitas vezes dinheiro, e ferramentas lentas deixam cada etapa do agente lenta.
Como o HotKV resolve
O cache de ferramentas memoiza chamadas determinísticas de ferramentas sob uma chave formada pelo nome da ferramenta e seus argumentos. Antes de chamar uma ferramenta, o agente consulta o cache. Um acerto devolve o resultado armazenado na hora, e um miss chama a ferramenta uma vez e armazena o resultado com um TTL compatível com o quanto ele precisa estar atualizado.
Passo a passo
O que acontece, comando por comando
- 01
Crie o namespace
O clima muda devagar, então os resultados duram 15 minutos.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Primeira chamada, um miss
Ainda não há nada em cache para estes argumentos.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Chame a ferramenta uma vez e armazene
A API real é chamada, e o resultado fica em cache pelos próximos 15 minutos.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Toda repetição é um acerto
O agente planeja um segundo passeio de um dia e pergunta de novo. Outros agentes fazem o mesmo para outros viajantes.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Conte a economia
Acertos, misses e o uso economizado são informados por namespace.
TOOL.CACHE.STATS tools
Onde se encaixa
Cenários reais
Agentes de dados
Consultas SQL somente leitura e métricas de dashboard são memoizadas, então um agente explorando os dados não sobrecarrega o data warehouse.
Agentes de navegação
As páginas web baixadas e processadas ficam em cache, então a mesma página não é baixada de novo a cada execução.
Integrado
O que você ganha
Memoização por argumentos
As chaves são formadas pelo nome da ferramenta e seus argumentos, então cada chamada distinta fica em cache separadamente.
TOOL.CACHE.GETTOOL.CACHE.SETControle de atualização
Um TTL padrão por namespace e um TTL opcional por entrada.
TTLMemória limitada
Um limite de entradas por namespace, com remoção quando ele enche.
MAX_ENTRIESRelatório de economia
Acertos, misses, remoções, memória e uso economizado.
TOOL.CACHE.STATSPerguntas frequentes
Quais ferramentas devo colocar em cache?
Chamadas determinísticas e somente leitura, como consultas, buscas e queries cujo resultado depende só dos argumentos. Nunca coloque em cache ferramentas que mudam algo, como enviar um e-mail.
Um resultado em cache pode ser removido antes?
Sim. TOOL.CACHE.DEL remove uma entrada e TOOL.CACHE.FLUSH esvazia um namespace.
Quais planos incluem o recurso?
O cache de ferramentas faz parte dos planos Performance e Scale.
Casos de uso relacionados
Experimente com a sua própria carga de trabalho
O HotKV fala o protocolo Redis, então você pode apontar um cliente existente para ele e executar estes mesmos comandos.