Utazási és foglalási ügynökök
Az időjárás-, árfolyam- és elérhetőség-lekérdezések ismétlődnek az utazók és a tervezési lépések között. Minden eredményt TTL-enként egyszer kérnek le.
AI és LLMÜgynökökPerformance és Scale csomagok
Ügynök-eszközhívások gyorsítótárazása
Az ügynökök újra és újra ugyanazokat az eszközöket hívják ugyanazokkal az argumentumokkal. Memoizálja az eredményeket, és ne fizessen kétszer ugyanazért az API-hívásért.
- keresés minden eszközhívás előtt
- 1
- névterenként vagy bejegyzésenként
- TTL
- megtakarítás, a STATS jelentésében
- $
Lépés 1 / 5
A névtér létrehozása
Az időjárás lassan változik, így az eredmények 15 percig élnek.
Példa munkamenetplaying
# A névtér létrehozása
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.
A probléma
Az ügynökök ciklusokban dolgoznak. Ugyanazt az időjárást, ugyanazt az árfolyamot, ugyanazt az SQL-eredményt és ugyanazt a weboldalt többször is lekérik egy futtatáson belül, majd a következőben újra. Minden hívás késleltetésbe, sebességkorlátba és gyakran pénzbe kerül, a lassú eszközök pedig lassúvá teszik az ügynök minden lépését.
Hogyan kezeli a HotKV
Az eszköz-gyorsítótár memoizálja a determinisztikus eszközhívásokat az eszköz nevéből és argumentumaiból képzett kulcs alatt. Eszközhívás előtt az ügynök megkérdezi a gyorsítótárat. A találat azonnal visszaadja a tárolt eredményt, a tévesztés egyszer hívja az eszközt, és az eredményt olyan TTL-lel tárolja, amely megfelel annak, mennyire frissnek kell lennie.
Lépésről lépésre
Mi történik, parancsról parancsra
- 01
A névtér létrehozása
Az időjárás lassan változik, így az eredmények 15 percig élnek.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Az első hívás, tévesztés
Ezekre az argumentumokra még nincs semmi gyorsítótárazva.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Az eszköz egyszeri hívása és tárolás
A valódi API-t meghívja, az eredmény pedig a következő 15 percre gyorsítótárazódik.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Minden ismétlés találat
Az ügynök egy második egynapos kirándulást tervez, és újra rákérdez. Más ügynökök is így tesznek más utazóknak.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
A megtakarítás számolása
A találatok, tévesztések és a megtakarított használat névterenként jelentve vannak.
TOOL.CACHE.STATS tools
Hol használható
Valós helyzetek
Adatügynökök
A csak olvasható SQL-lekérdezések és az irányítópult-metrikák memoizálva vannak, így az adatokat felfedező ügynök nem terheli agyon az adattárházat.
Böngésző ügynökök
A letöltött és feldolgozott weboldalak gyorsítótárazva vannak, így ugyanazt az oldalt nem töltik le újra minden futtatásnál.
Beépítve
Amit kap
Memoizálás argumentumok szerint
A kulcsok az eszköz nevéből és argumentumaiból épülnek, így minden külön hívás külön gyorsítótárazódik.
TOOL.CACHE.GETTOOL.CACHE.SETFrissesség szabályozása
Alapértelmezett TTL névterenként és opcionális TTL bejegyzésenként.
TTLKorlátos memória
Bejegyzéskorlát névterenként, kiürítéssel, ha megtelt.
MAX_ENTRIESMegtakarítási jelentés
Találatok, tévesztések, kiürítések, memória és megtakarított használat.
TOOL.CACHE.STATSGyakori kérdések
Mely eszközöket érdemes gyorsítótárazni?
A determinisztikus, csak olvasó hívásokat, például azokat a kereséseket, lekérdezéseket, amelyek eredménye csak az argumentumoktól függ. Soha ne gyorsítótárazza azokat az eszközöket, amelyek valamit megváltoztatnak, például e-mailt küldenek.
Eltávolítható korán egy gyorsítótárazott eredmény?
Igen. A TOOL.CACHE.DEL egy bejegyzést töröl, a TOOL.CACHE.FLUSH pedig kiüríti a névteret.
Mely csomagok tartalmazzák?
Az eszköz-gyorsítótár a Performance és a Scale csomag része.
Kapcsolódó felhasználási esetek
Próbálja ki a saját munkaterhelésén
A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.