Cestovní a rezervační agenti
Dotazy na počasí, měny a dostupnost se opakují napříč cestovateli a kroky plánování. Každý výsledek se načte jednou za TTL.
AI a LLMAgentiPlány Performance a Scale
Cachování volání nástrojů agenta
Agenti volají stejné nástroje se stejnými argumenty znovu a znovu. Memoizujte výsledky a přestaňte platit za totéž volání API dvakrát.
- vyhledání před každým voláním nástroje
- 1
- pro jmenný prostor nebo položku
- TTL
- ušetřeno, hlášeno příkazem STATS
- $
Krok 1 z 5
Vytvoření jmenného prostoru
Počasí se mění pomalu, takže výsledky žijí 15 minut.
Ukázková relaceplaying
# Vytvoření jmenného prostoru
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Animovaný průvodce se skutečnými příkazy HotKV a ukázkovými odpověďmi. Kliknutím na kterýkoli krok na něj přeskočíte. Příkazy a odpovědi zůstávají anglicky, přesně tak, jak je v HotKV zadáváte a vidíte.
Problém
Agenti se točí v kruhu. V jednom běhu i v dalším několikrát zjišťují stejné počasí, stejný směnný kurz, stejný výsledek SQL i stejnou webovou stránku. Každé volání stojí latenci, limit a často peníze a pomalé nástroje zpomalují každý krok agenta.
Jak to řeší HotKV
Cache nástrojů memoizuje deterministická volání nástrojů pod klíčem sestaveným z názvu nástroje a jeho argumentů. Před voláním nástroje se agent zeptá cache. Zásah vrátí uložený výsledek okamžitě, minutí zavolá nástroj jednou a uloží výsledek s TTL, které odpovídá tomu, jak čerstvý má být.
Krok za krokem
Co se děje, příkaz po příkazu
- 01
Vytvoření jmenného prostoru
Počasí se mění pomalu, takže výsledky žijí 15 minut.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
První volání, minutí
Pro tyto argumenty zatím nic v cache není.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Jedno volání nástroje a uložení
Zavolá se skutečné API a výsledek se uloží do cache na dalších 15 minut.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Každé opakování je zásah
Agent plánuje druhý výlet na den a ptá se znovu. Stejně tak jiní agenti pro jiné cestovatele.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Spočítání úspor
Zásahy, minutí a ušetřená spotřeba se hlásí pro každý jmenný prostor.
TOOL.CACHE.STATS tools
Kam to zapadá
Scénáře z praxe
Datoví agenti
Dotazy SQL jen pro čtení a metriky dashboardů se memoizují, takže agent zkoumající data nebombarduje datový sklad.
Agenti procházející web
Stažené a naparsované webové stránky se cachují, takže se stejná stránka nestahuje znovu v každém běhu.
Zabudováno
Co dostanete
Memoizace podle argumentů
Klíče se sestavují z názvu nástroje a jeho argumentů, takže se každé odlišné volání cachuje zvlášť.
TOOL.CACHE.GETTOOL.CACHE.SETŘízení čerstvosti
Výchozí TTL pro jmenný prostor a volitelné TTL pro každou položku.
TTLOmezená paměť
Limit položek na jmenný prostor s vytěsňováním, když je plný.
MAX_ENTRIESReport úspor
Zásahy, minutí, vytěsnění, paměť a ušetřená spotřeba.
TOOL.CACHE.STATSČasté otázky
Které nástroje bych měl cachovat?
Deterministická volání jen pro čtení, například vyhledávání, hledání a dotazy, jejichž výsledek závisí pouze na argumentech. Nikdy necachujte nástroje, které něco mění, například odeslání e-mailu.
Lze výsledek z cache odstranit předčasně?
Ano. TOOL.CACHE.DEL odstraní jednu položku a TOOL.CACHE.FLUSH vyprázdní jmenný prostor.
Které plány ji zahrnují?
Cache nástrojů je součástí plánů Performance a Scale.
Související případy použití
Vyzkoušejte to na své zátěži
HotKV mluví protokolem Redisu, takže na něj můžete nasměrovat stávajícího klienta a spustit tytéž příkazy.