Agents de voyage et de réservation
Les recherches de météo, de devises et de disponibilités se répètent d'un voyageur et d'une étape de planification à l'autre. Chaque résultat est récupéré une fois par TTL.
IA et LLMAgentsOffres Performance et Scale
Cache des appels d'outils des agents
Les agents appellent sans cesse les mêmes outils avec les mêmes arguments. Mémoïsez les résultats et cessez de payer deux fois le même appel d'API.
- recherche avant chaque appel d'outil
- 1
- par namespace ou par entrée
- TTL
- économisés, indiqués par STATS
- $
Étape 1 sur 5
Créer le namespace
La météo change lentement, les résultats vivent donc 15 minutes.
Session d’exempleplaying
# Créer le namespace
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.
Le problème
Les agents tournent en boucle. Ils consultent la même météo, le même taux de change, le même résultat SQL et la même page web plusieurs fois dans une exécution, puis encore dans la suivante. Chaque appel coûte de la latence, du quota et souvent de l'argent, et des outils lents ralentissent chaque étape de l'agent.
Comment HotKV s'en charge
Le cache d'outils mémoïse les appels d'outils déterministes sous une clé construite à partir du nom de l'outil et de ses arguments. Avant d'appeler un outil, l'agent interroge le cache. Un succès renvoie aussitôt le résultat enregistré. Un échec appelle l'outil une fois et enregistre le résultat avec un TTL adapté à la fraîcheur requise.
Étape par étape
Ce qui se passe, commande par commande
- 01
Créer le namespace
La météo change lentement, les résultats vivent donc 15 minutes.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Premier appel, un échec
Rien n'est encore en cache pour ces arguments.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Appeler l'outil une fois et enregistrer
La vraie API est appelée, et le résultat est mis en cache pour les 15 minutes suivantes.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Chaque répétition est un succès
L'agent prépare une deuxième excursion et repose la question. D'autres agents font de même pour d'autres voyageurs.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Compter les économies
Les succès, les échecs et l'usage économisé sont indiqués par namespace.
TOOL.CACHE.STATS tools
Où cela s'applique
Scénarios concrets
Agents de données
Les requêtes SQL en lecture seule et les métriques de tableaux de bord sont mémoïsées, et un agent qui explore les données ne submerge pas l'entrepôt.
Agents de navigation
Les pages web récupérées et analysées sont mises en cache, et la même page n'est pas téléchargée à nouveau à chaque exécution.
Intégré
Ce que vous obtenez
Mémoïsation par arguments
Les clés sont construites à partir du nom de l'outil et de ses arguments, et chaque appel distinct est mis en cache séparément.
TOOL.CACHE.GETTOOL.CACHE.SETContrôle de la fraîcheur
Un TTL par défaut par namespace et un TTL facultatif par entrée.
TTLMémoire bornée
Une limite d'entrées par namespace, avec éviction quand elle est atteinte.
MAX_ENTRIESRapport d'économies
Succès, échecs, évictions, mémoire et usage économisé.
TOOL.CACHE.STATSQuestions fréquentes
Quels outils mettre en cache ?
Les appels déterministes en lecture seule, comme les consultations, recherches et requêtes dont le résultat ne dépend que des arguments. Ne mettez jamais en cache des outils qui modifient quelque chose, comme l'envoi d'un e-mail.
Peut-on supprimer un résultat en cache avant son expiration ?
Oui. TOOL.CACHE.DEL supprime une entrée et TOOL.CACHE.FLUSH vide un namespace.
Quelles offres l'incluent ?
Le cache d'outils fait partie des offres Performance et Scale.
Cas d'usage associés
Essayez-le sur votre propre charge de travail
HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.