Agenți de călătorii și rezervări
Căutările de vreme, valută și disponibilitate se repetă între călători și pașii de planificare. Fiecare rezultat este preluat o dată pe TTL.
IA și LLMAgențiPlanurile Performance și Scale
Caching pentru apelurile de unelte ale agenților
Agenții apelează aceleași unelte cu aceleași argumente iar și iar. Memoizați rezultatele și nu mai plătiți de două ori același apel API.
- căutare înainte de fiecare apel de unealtă
- 1
- pe spațiu de nume sau pe intrare
- TTL
- economisiți, raportat de STATS
- $
Pasul 1 din 5
Creați spațiul de nume
Vremea se schimbă încet, deci rezultatele trăiesc 15 minute.
Sesiune de exempluplaying
# Creați spațiul de nume
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.
Problema
Agenții intră în bucle. Caută aceeași vreme, același curs valutar, același rezultat SQL și aceeași pagină web de mai multe ori într-o rulare și din nou în următoarea. Fiecare apel costă latență, limită de rată și adesea bani, iar uneltele lente fac lent fiecare pas al agentului.
Cum o rezolvă HotKV
Cache-ul de unelte memoizează apelurile deterministe de unelte sub o cheie construită din numele uneltei și argumentele ei. Înainte de a apela o unealtă, agentul întreabă cache-ul. Un succes returnează imediat rezultatul stocat, o ratare apelează unealta o dată și stochează rezultatul cu un TTL potrivit cât de proaspăt trebuie să fie.
Pas cu pas
Ce se întâmplă, comandă cu comandă
- 01
Creați spațiul de nume
Vremea se schimbă încet, deci rezultatele trăiesc 15 minute.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Primul apel, o ratare
Încă nimic în cache pentru aceste argumente.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Apelați unealta o dată și stocați
API-ul real este apelat, iar rezultatul este pus în cache pentru următoarele 15 minute.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Fiecare repetare este un succes
Agentul planifică o a doua excursie de o zi și întreabă din nou. La fel fac și alți agenți pentru alți călători.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Numărați economiile
Succesele, ratările și utilizarea economisită sunt raportate pe spațiu de nume.
TOOL.CACHE.STATS tools
Unde se potrivește
Scenarii din lumea reală
Agenți de date
Interogările SQL numai-citire și metricile din dashboard-uri sunt memoizate, deci un agent care explorează datele nu bombardează data warehouse-ul.
Agenți de navigare
Paginile web preluate și parsate sunt păstrate în cache, ca aceeași pagină să nu fie descărcată din nou la fiecare rulare.
Integrat
Ce primiți
Memoizare după argumente
Cheile sunt construite din numele uneltei și argumentele ei, deci fiecare apel distinct este pus în cache separat.
TOOL.CACHE.GETTOOL.CACHE.SETControlul prospețimii
Un TTL implicit pe spațiu de nume și un TTL opțional pe intrare.
TTLMemorie limitată
O limită de intrări pe spațiu de nume, cu evacuare când este plin.
MAX_ENTRIESRaport de economii
Succese, ratări, evacuări, memorie și utilizare economisită.
TOOL.CACHE.STATSÎntrebări frecvente
Ce unelte ar trebui să pun în cache?
Apeluri deterministe, numai-citire, precum căutările, interogările și regăsirile al căror rezultat depinde doar de argumente. Nu puneți niciodată în cache unelte care schimbă ceva, cum ar fi trimiterea unui e-mail.
Se poate elimina un rezultat din cache mai devreme?
Da. TOOL.CACHE.DEL elimină o intrare, iar TOOL.CACHE.FLUSH golește un spațiu de nume.
Ce planuri îl includ?
Cache-ul de unelte face parte din planurile Performance și Scale.
Cazuri de utilizare înrudite
Încercați pe propria sarcină de lucru
HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.