Reise- und Buchungsagenten
Abfragen zu Wetter, Währung und Verfügbarkeit wiederholen sich über Reisende und Planungsschritte hinweg. Jedes Ergebnis wird einmal pro TTL geholt.
KI und LLMAgentenPerformance- und Scale-Tarife
Caching von Agent-Tool-Aufrufen
Agenten rufen dieselben Tools immer wieder mit denselben Argumenten auf. Memoisieren Sie die Ergebnisse und zahlen Sie nicht mehr zweimal für denselben API-Aufruf.
- Lookup vor jedem Tool-Aufruf
- 1
- pro Namespace oder Eintrag
- TTL
- gespart, von STATS gemeldet
- $
Schritt 1 von 5
Den Namespace anlegen
Das Wetter ändert sich langsam, also leben Ergebnisse 15 Minuten.
Beispielsitzungplaying
# Den Namespace anlegen
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Ein animierter Durchlauf mit echten HotKV-Befehlen und Beispielantworten. Klicken Sie auf einen Schritt, um direkt dorthin zu springen. Befehle und Antworten bleiben auf Englisch, genau so, wie Sie sie in HotKV eingeben und sehen.
Das Problem
Agenten drehen Schleifen. Sie fragen dasselbe Wetter, denselben Wechselkurs, dasselbe SQL-Ergebnis und dieselbe Webseite mehrmals in einem Lauf ab und im nächsten wieder. Jeder Aufruf kostet Latenz, Rate-Limit und oft Geld, und langsame Tools machen jeden Agentenschritt langsam.
So löst HotKV es
Der Tool-Cache memoisiert deterministische Tool-Aufrufe unter einem Key, der aus dem Tool-Namen und seinen Argumenten gebildet wird. Vor einem Tool-Aufruf fragt der Agent den Cache. Ein Treffer liefert das gespeicherte Ergebnis sofort, ein Miss ruft das Tool einmal auf und speichert das Ergebnis mit einer TTL, die dazu passt, wie aktuell es sein muss.
Schritt für Schritt
Was passiert, Befehl für Befehl
- 01
Den Namespace anlegen
Das Wetter ändert sich langsam, also leben Ergebnisse 15 Minuten.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Erster Aufruf, ein Miss
Für diese Argumente ist noch nichts gecacht.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Das Tool einmal aufrufen und speichern
Die echte API wird aufgerufen, und das Ergebnis wird für die nächsten 15 Minuten gecacht.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Jede Wiederholung ist ein Treffer
Der Agent plant einen zweiten Tagesausflug und fragt erneut. Andere Agenten für andere Reisende tun dasselbe.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Die Einsparungen zählen
Treffer, Misses und der eingesparte Verbrauch werden pro Namespace gemeldet.
TOOL.CACHE.STATS tools
Wo es passt
Szenarien aus der Praxis
Daten-Agenten
Lesende SQL-Abfragen und Dashboard-Metriken werden memoisiert, sodass ein Agent, der die Daten erkundet, das Data Warehouse nicht überlastet.
Browsing-Agenten
Abgerufene und geparste Webseiten werden gecacht, sodass dieselbe Seite nicht in jedem Lauf erneut heruntergeladen wird.
Integriert
Was Sie bekommen
Memoisierung nach Argumenten
Keys werden aus dem Tool-Namen und seinen Argumenten gebildet, sodass jeder unterschiedliche Aufruf separat gecacht wird.
TOOL.CACHE.GETTOOL.CACHE.SETKontrolle über die Aktualität
Eine Standard-TTL pro Namespace und eine optionale TTL pro Eintrag.
TTLBegrenzter Speicher
Ein Eintragslimit pro Namespace, mit Eviction, wenn er voll ist.
MAX_ENTRIESBericht über Einsparungen
Treffer, Misses, Evictions, Speicher und eingesparter Verbrauch.
TOOL.CACHE.STATSHäufige Fragen
Welche Tools sollte ich cachen?
Deterministische, nur lesende Aufrufe, etwa Lookups, Suchen und Abfragen, deren Ergebnis nur von den Argumenten abhängt. Cachen Sie nie Tools, die etwas verändern, etwa das Senden einer E-Mail.
Kann ein gecachtes Ergebnis vorzeitig entfernt werden?
Ja. TOOL.CACHE.DEL entfernt einen Eintrag, und TOOL.CACHE.FLUSH leert einen Namespace.
Welche Tarife enthalten ihn?
Der Tool-Cache ist Teil der Tarife Performance und Scale.
Verwandte Anwendungsfälle
Probieren Sie es mit Ihrer eigenen Workload
HotKV spricht das Redis-Protokoll, sodass Sie einen bestehenden Client darauf richten und genau diese Befehle ausführen können.