AI och LLMAgenterPlanerna Performance och Scale

Cache för agenters verktygsanrop

Agenter anropar samma verktyg med samma argument om och om igen. Memoisera resultaten och sluta betala för samma API-anrop två gånger.

uppslag före varje verktygsanrop: 1
per namnrymd eller post: TTL
sparat, redovisat av STATS: $

Steg 1 av 5

Skapa namnrymden

Vädret ändras långsamt, så resultaten lever i 15 minuter.

Exempelsessionplaying

# Skapa namnrymden

hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900

En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.

Problemet

Agenter går i loopar. De slår upp samma väder, samma växelkurs, samma SQL-resultat och samma webbsida flera gånger i en körning och igen i nästa. Varje anrop kostar latens, hastighetsgräns och ofta pengar, och långsamma verktyg gör varje agentsteg långsamt.

Så löser HotKV det

Verktygscachen memoiserar deterministiska verktygsanrop under en nyckel som byggs av verktygets namn och dess argument. Innan agenten anropar ett verktyg frågar den cachen. En träff returnerar det lagrade resultatet direkt, en miss anropar verktyget en gång och lagrar resultatet med en TTL som motsvarar hur färskt det behöver vara.

Steg för steg

Vad som händer, kommando för kommando

01
Skapa namnrymden
Vädret ändras långsamt, så resultaten lever i 15 minuter.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
02
Första anropet, en miss
Inget är cachat för de här argumenten än.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
03
Anropa verktyget en gång och lagra
Det riktiga API:et anropas och resultatet cachas de följande 15 minuterna.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900
04
Varje upprepning är en träff
Agenten planerar en andra dagsutflykt och frågar igen. Det gör andra agenter också, åt andra resenärer.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
05
Räkna besparingarna
Träffar, missar och sparad användning redovisas per namnrymd.
TOOL.CACHE.STATS tools

Där det passar

Verkliga scenarier

Rese- och bokningsagenter

Uppslag av väder, valuta och tillgänglighet upprepas över resenärer och planeringssteg. Varje resultat hämtas en gång per TTL.

Dataagenter

Skrivskyddade SQL-frågor och mätvärden från instrumentpaneler memoiseras, så att en agent som utforskar datan inte hamrar på datalagret.

Surfande agenter

Hämtade och tolkade webbsidor cachas, så att samma sida inte laddas ned igen i varje körning.

Inbyggt

Det här får du

Memoisera efter argument

Nycklar byggs av verktygets namn och dess argument, så varje distinkt anrop cachas separat.

TOOL.CACHE.GETTOOL.CACHE.SET

Kontroll över färskhet

En standard-TTL per namnrymd och en valfri TTL per post.

TTL

Begränsat minne

En postgräns per namnrymd, med borttagning när den är full.

MAX_ENTRIES

Besparingsrapport

Träffar, missar, borttagningar, minne och sparad användning.

TOOL.CACHE.STATS

Referens:TOOL.CACHE.CREATE TOOL.CACHE.GET TOOL.CACHE.SET TOOL.CACHE.STATS

Vanliga frågor

Vilka verktyg ska jag cacha?

Deterministiska, skrivskyddade anrop, som uppslag, sökningar och frågor vars resultat bara beror på argumenten. Cacha aldrig verktyg som ändrar något, som att skicka ett e-postmeddelande.

Kan ett cachat resultat tas bort i förtid?

Ja. TOOL.CACHE.DEL tar bort en post och TOOL.CACHE.FLUSH tömmer en namnrymd.

Vilka planer innehåller den?

Verktygscachen ingår i planerna Performance och Scale.