Agenti di viaggio e prenotazione
Le ricerche di meteo, valute e disponibilità si ripetono tra viaggiatori e passi di pianificazione. Ogni risultato viene recuperato una volta per TTL.
IA e LLMAgentiPiani Performance e Scale
Cache delle chiamate agli strumenti degli agenti
Gli agenti chiamano gli stessi strumenti con gli stessi argomenti ancora e ancora. Memoizza i risultati e smetti di pagare due volte la stessa chiamata API.
- lookup prima di ogni chiamata
- 1
- per namespace o per voce
- TTL
- risparmiati, riportati da STATS
- $
Passo 1 di 5
Crea il namespace
Il meteo cambia lentamente, quindi i risultati vivono 15 minuti.
Sessione di esempioplaying
# Crea il namespace
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Una dimostrazione animata con comandi HotKV reali e risposte di esempio. Clicca su un passo qualsiasi per andarci. Comandi e risposte restano in inglese, esattamente come li digiti e li vedi in HotKV.
Il problema
Gli agenti girano in loop. Cercano lo stesso meteo, lo stesso tasso di cambio, lo stesso risultato SQL e la stessa pagina web più volte in un'esecuzione e di nuovo in quella dopo. Ogni chiamata costa latenza, rate limit e spesso denaro, e gli strumenti lenti rendono lento ogni passo dell'agente.
Come lo gestisce HotKV
La cache degli strumenti memoizza le chiamate deterministiche agli strumenti sotto una chiave costruita dal nome dello strumento e dai suoi argomenti. Prima di chiamare uno strumento, l'agente interroga la cache. Un hit restituisce subito il risultato salvato, un miss chiama lo strumento una volta e salva il risultato con un TTL adatto a quanto deve essere fresco.
Passo dopo passo
Cosa succede, comando per comando
- 01
Crea il namespace
Il meteo cambia lentamente, quindi i risultati vivono 15 minuti.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Prima chiamata, un miss
Ancora niente in cache per questi argomenti.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Chiama lo strumento una volta e salva
Viene chiamata l'API reale, e il risultato resta in cache per i 15 minuti successivi.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Ogni ripetizione è un hit
L'agente pianifica una seconda gita giornaliera e chiede di nuovo. Lo fanno anche altri agenti per altri viaggiatori.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Conta i risparmi
Hit, miss e utilizzo risparmiato vengono riportati per namespace.
TOOL.CACHE.STATS tools
Dove si usa
Scenari reali
Agenti sui dati
Le query SQL in sola lettura e le metriche delle dashboard vengono memoizzate, così un agente che esplora i dati non martella il data warehouse.
Agenti di navigazione
Le pagine web recuperate e analizzate vengono messe in cache, così la stessa pagina non viene scaricata di nuovo a ogni esecuzione.
Integrato
Cosa ottieni
Memoizzazione per argomenti
Le chiavi sono costruite dal nome dello strumento e dai suoi argomenti, quindi ogni chiamata distinta viene messa in cache separatamente.
TOOL.CACHE.GETTOOL.CACHE.SETControllo della freschezza
Un TTL predefinito per namespace e un TTL opzionale per voce.
TTLMemoria limitata
Un limite di voci per namespace, con eviction quando è pieno.
MAX_ENTRIESReport dei risparmi
Hit, miss, eviction, memoria e utilizzo risparmiato.
TOOL.CACHE.STATSDomande frequenti
Quali strumenti dovrei mettere in cache?
Le chiamate deterministiche in sola lettura, come lookup, ricerche e query il cui risultato dipende solo dagli argomenti. Non mettere mai in cache strumenti che modificano qualcosa, come l'invio di un'email.
Posso rimuovere prima un risultato in cache?
Sì. TOOL.CACHE.DEL rimuove una voce e TOOL.CACHE.FLUSH svuota un namespace.
Quali piani la includono?
La cache degli strumenti fa parte dei piani Performance e Scale.
Casi d'uso correlati
Provalo sul tuo carico di lavoro
HotKV parla il protocollo Redis, quindi puoi puntarci un client esistente ed eseguire questi stessi comandi.