AI en LLMAgentsPlannen Performance en Scale

Caching van toolaanroepen van agents

Agents roepen steeds dezelfde tools aan met dezelfde argumenten. Memoïseer de resultaten en betaal niet langer twee keer voor dezelfde API-aanroep.

opzoeking vóór elke toolaanroep: 1
per namespace of item: TTL
bespaard, gerapporteerd door STATS: $

Stap 1 van 5

De namespace aanmaken

Het weer verandert langzaam, dus resultaten leven 15 minuten.

Voorbeeldsessieplaying

# De namespace aanmaken

hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900

Een geanimeerde walkthrough met echte HotKV-commando's en voorbeeldantwoorden. Klik op een stap om ernaartoe te springen. Commando's en antwoorden blijven Engels, precies zoals je ze in HotKV typt en ziet.

Het probleem

Agents herhalen zichzelf. Ze zoeken meerdere keren in één run, en opnieuw in de volgende, hetzelfde weer, dezelfde wisselkoers, hetzelfde SQL-resultaat en dezelfde webpagina op. Elke aanroep kost latentie, ratelimit en vaak geld, en trage tools maken elke agentstap traag.

Hoe HotKV het aanpakt

De toolcache memoïseert deterministische toolaanroepen onder een sleutel die is opgebouwd uit de toolnaam en de argumenten. Voordat de agent een tool aanroept, vraagt hij het aan de cache. Een hit geeft direct het opgeslagen resultaat terug, een miss roept de tool eenmaal aan en slaat het resultaat op met een TTL die past bij hoe vers het moet zijn.

Stap voor stap

Wat er gebeurt, commando voor commando

01
De namespace aanmaken
Het weer verandert langzaam, dus resultaten leven 15 minuten.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
02
Eerste aanroep, een miss
Voor deze argumenten is nog niets gecachet.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
03
De tool eenmaal aanroepen en opslaan
De echte API wordt aangeroepen en het resultaat wordt de komende 15 minuten gecachet.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900
04
Elke herhaling is een hit
De agent plant een tweede dagtrip en vraagt het opnieuw. Dat doen andere agents voor andere reizigers ook.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
05
De besparing tellen
Hits, misses en het bespaarde gebruik worden per namespace gerapporteerd.
TOOL.CACHE.STATS tools

Waar het past

Praktijkscenario's

Reis- en boekingsagents

Opzoekingen van weer, valuta en beschikbaarheid herhalen zich over reizigers en planningsstappen heen. Elk resultaat wordt eenmaal per TTL opgehaald.

Data-agents

SQL-queries die alleen lezen en dashboardmetrics worden gememoïseerd, zodat een agent die de data verkent het datawarehouse niet bestookt.

Browsende agents

Opgehaalde en geparseerde webpagina's worden gecachet, zodat dezelfde pagina niet bij elke run opnieuw wordt gedownload.

Ingebouwd

Wat je krijgt

Memoïseren op argumenten

Sleutels worden opgebouwd uit de toolnaam en de argumenten, zodat elke afzonderlijke aanroep apart wordt gecachet.

TOOL.CACHE.GETTOOL.CACHE.SET

Controle over versheid

Een standaard-TTL per namespace en een optionele TTL per item.

TTL

Begrensd geheugen

Een itemlimiet per namespace, met verwijdering wanneer hij vol is.

MAX_ENTRIES

Besparingsrapport

Hits, misses, verwijderingen, geheugen en bespaard gebruik.

TOOL.CACHE.STATS

Referentie:TOOL.CACHE.CREATE TOOL.CACHE.GET TOOL.CACHE.SET TOOL.CACHE.STATS

Veelgestelde vragen

Welke tools moet ik cachen?

Deterministische aanroepen die alleen lezen, zoals opzoekingen, zoekopdrachten en queries waarvan het resultaat alleen van de argumenten afhangt. Cache nooit tools die iets wijzigen, zoals het versturen van een e-mail.

Kan een gecachet resultaat eerder worden verwijderd?

Ja. TOOL.CACHE.DEL verwijdert één item en TOOL.CACHE.FLUSH leegt een namespace.

Welke plannen bevatten het?

De toolcache maakt deel uit van de plannen Performance en Scale.