Yapay zeka ve LLMAjanlarPerformance ve Scale planları

Ajan Araç Çağrısı Önbellekleme

Ajanlar aynı araçları aynı argümanlarla tekrar tekrar çağırır. Sonuçları önbelleğe alın ve aynı API çağrısı için iki kez ödemeyi bırakın.

her araç çağrısından önce arama: 1
ad alanı veya girdi başına: TTL
tasarruf, STATS tarafından bildirilir: $

Adım 1 / 5

Ad alanını oluşturun

Hava durumu yavaş değişir, bu yüzden sonuçlar 15 dakika yaşar.

Örnek oturumplaying

# Ad alanını oluşturun

hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900

Gerçek HotKV komutları ve örnek yanıtlarla animasyonlu bir anlatım. Herhangi bir adıma atlamak için üzerine tıklayın. Komutlar ve yanıtlar, HotKV'de yazdığınız ve gördüğünüz haliyle İngilizce kalır.

Sorun

Ajanlar döngüye girer. Aynı hava durumunu, aynı döviz kurunu, aynı SQL sonucunu ve aynı web sayfasını bir çalıştırmada birkaç kez, bir sonrakinde yine arar. Her çağrı gecikmeye, hız sınırına ve çoğu zaman paraya mal olur; yavaş araçlar da her ajan adımını yavaşlatır.

HotKV bunu nasıl ele alır

Araç önbelleği, belirlenimci araç çağrılarını araç adından ve argümanlarından oluşan bir anahtar altında önbelleğe alır. Bir aracı çağırmadan önce ajan önbelleğe sorar. Bir isabet, saklanan sonucu hemen döndürür; bir ıskalama aracı bir kez çağırır ve sonucu, ne kadar taze olması gerektiğine uyan bir TTL ile saklar.

Adım adım

Ne olur, komut komut

01
Ad alanını oluşturun
Hava durumu yavaş değişir, bu yüzden sonuçlar 15 dakika yaşar.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
02
İlk çağrı, bir ıskalama
Bu argümanlar için henüz önbellekte bir şey yok.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
03
Aracı bir kez çağırın ve saklayın
Gerçek API çağrılır ve sonuç sonraki 15 dakika için önbelleğe alınır.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900
04
Her tekrar bir isabettir
Ajan ikinci bir günübirlik gezi planlar ve yine sorar. Diğer yolcular için diğer ajanlar da öyle.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)"
05
Tasarrufu sayın
İsabetler, ıskalamalar ve tasarruf edilen kullanım ad alanı başına bildirilir.
TOOL.CACHE.STATS tools

Nereye uyar

Gerçek dünya senaryoları

Seyahat ve rezervasyon ajanları

Hava durumu, döviz ve müsaitlik aramaları yolcular ve planlama adımları arasında tekrarlanır. Her sonuç TTL başına bir kez getirilir.

Veri ajanları

Salt okunur SQL sorguları ve pano metrikleri önbelleğe alınır; böylece veriyi keşfeden bir ajan veri ambarını yormaz.

Gezinti ajanları

Getirilen ve ayrıştırılan web sayfaları önbelleğe alınır; böylece aynı sayfa her çalıştırmada yeniden indirilmez.

Yerleşik

Neler elde edersiniz

Argümanlara göre önbelleğe alma

Anahtarlar araç adından ve argümanlarından oluşturulur; böylece her farklı çağrı ayrı ayrı önbelleğe alınır.

TOOL.CACHE.GETTOOL.CACHE.SET

Tazelik denetimi

Ad alanı başına varsayılan bir TTL ve girdi başına isteğe bağlı bir TTL.

TTL

Sınırlı bellek

Ad alanı başına bir girdi sınırı; dolduğunda tahliye.

MAX_ENTRIES

Tasarruf raporu

İsabetler, ıskalamalar, tahliyeler, bellek ve tasarruf edilen kullanım.

TOOL.CACHE.STATS

Başvuru:TOOL.CACHE.CREATE TOOL.CACHE.GET TOOL.CACHE.SET TOOL.CACHE.STATS

Sık sorulan sorular

Hangi araçları önbelleğe almalıyım?

Belirlenimci, salt okunur çağrıları; yani sonucu yalnızca argümanlara bağlı olan aramalar, sorgular ve sorgulamalar. Bir şeyi değiştiren araçları, örneğin e-posta göndermeyi, asla önbelleğe almayın.

Önbellekteki bir sonuç erken silinebilir mi?

Evet. TOOL.CACHE.DEL bir girdiyi kaldırır, TOOL.CACHE.FLUSH bir ad alanını boşaltır.

Hangi planlara dahil?

Araç önbelleği Performance ve Scale planlarının parçasıdır.