AI i LLMAgenciplany Performance i Scale

Cache wywołań narzędzi agenta

Agenci wywołują te same narzędzia z tymi samymi argumentami raz po raz. Zapamiętuj wyniki i przestań płacić dwa razy za to samo wywołanie API.

wyszukiwanie przed każdym wywołaniem narzędzia: 1
na przestrzeń nazw lub wpis: TTL
zaoszczędzone, raportowane przez STATS: $

Krok 1 z 5

Utwórz przestrzeń nazw

Pogoda zmienia się powoli, więc wyniki żyją 15 minut.

Przykładowa sesjaplaying

# Utwórz przestrzeń nazw

hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900

Animowany przegląd z prawdziwymi poleceniami HotKV i przykładowymi odpowiedziami. Kliknij dowolny krok, aby do niego przejść. Polecenia i odpowiedzi pozostają po angielsku, dokładnie tak, jak je wpisujesz i widzisz w HotKV.

Problem

Agenci chodzą w pętli. Szukają tej samej pogody, tego samego kursu walut, tego samego wyniku SQL i tej samej strony kilka razy w jednym uruchomieniu i znów w następnym. Każde wywołanie kosztuje opóźnienie, limit zapytań i często pieniądze, a wolne narzędzia spowalniają każdy krok agenta.

Jak radzi sobie z tym HotKV

Cache narzędzi zapamiętuje deterministyczne wywołania narzędzi pod kluczem zbudowanym z nazwy narzędzia i jego argumentów. Przed wywołaniem narzędzia agent pyta cache. Trafienie od razu zwraca zapisany wynik, a pudło wywołuje narzędzie raz i zapisuje wynik z TTL odpowiadającym temu, jak świeży ma być.

Krok po kroku

Co się dzieje, polecenie po poleceniu

01
Utwórz przestrzeń nazw
Pogoda zmienia się powoli, więc wyniki żyją 15 minut.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
02
Pierwsze wywołanie, pudło
Dla tych argumentów nic jeszcze nie ma w cache.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
03
Wywołaj narzędzie raz i zapisz
Prawdziwe API jest wywoływane, a wynik trafia do cache na następne 15 minut.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900
04
Każde powtórzenie to trafienie
Agent planuje drugą jednodniową wycieczkę i pyta ponownie. Tak samo inni agenci dla innych podróżnych.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
05
Policz oszczędności
Trafienia, pudła i zaoszczędzone zużycie są raportowane dla każdej przestrzeni nazw.
TOOL.CACHE.STATS tools

Gdzie się sprawdza

Scenariusze z życia

Agenci podróży i rezerwacji

Wyszukiwania pogody, walut i dostępności powtarzają się u różnych podróżnych i w krokach planowania. Każdy wynik jest pobierany raz na TTL.

Agenci danych

Zapytania SQL tylko do odczytu i metryki dashboardów są zapamiętywane, więc agent eksplorujący dane nie przeciąża hurtowni.

Agenci przeglądający sieć

Pobrane i sparsowane strony są buforowane, więc ta sama strona nie jest pobierana ponownie przy każdym uruchomieniu.

Wbudowane

Co dostajesz

Zapamiętywanie według argumentów

Klucze są budowane z nazwy narzędzia i jego argumentów, więc każde odrębne wywołanie jest buforowane osobno.

TOOL.CACHE.GETTOOL.CACHE.SET

Kontrola świeżości

Domyślny TTL na przestrzeń nazw i opcjonalny TTL na wpis.

TTL

Ograniczona pamięć

Limit wpisów na przestrzeń nazw, z wywłaszczaniem po zapełnieniu.

MAX_ENTRIES

Raport oszczędności

Trafienia, pudła, wywłaszczenia, pamięć i zaoszczędzone zużycie.

TOOL.CACHE.STATS

Opis:TOOL.CACHE.CREATE TOOL.CACHE.GET TOOL.CACHE.SET TOOL.CACHE.STATS

Częste pytania

Które narzędzia powinienem buforować?

Deterministyczne wywołania tylko do odczytu, takie jak wyszukiwania i zapytania, których wynik zależy tylko od argumentów. Nigdy nie buforuj narzędzi, które coś zmieniają, jak wysyłanie e-maila.

Czy buforowany wynik można usunąć wcześniej?

Tak. TOOL.CACHE.DEL usuwa jeden wpis, a TOOL.CACHE.FLUSH opróżnia przestrzeń nazw.

Które plany to zawierają?

Cache narzędzi jest częścią planów Performance i Scale.