Agent du lịch và đặt chỗ
Các lần tra cứu thời tiết, tiền tệ và tình trạng còn chỗ lặp lại giữa các du khách và các bước lập kế hoạch. Mỗi kết quả được lấy một lần cho mỗi TTL.
AI và LLMAgentCác gói Performance và Scale
Cache lệnh gọi công cụ của agent
Agent gọi cùng các công cụ với cùng đối số hết lần này đến lần khác. Hãy ghi nhớ kết quả và thôi trả tiền hai lần cho cùng một lệnh gọi API.
- lần tra cứu trước mỗi lệnh gọi công cụ
- 1
- theo namespace hoặc theo mục
- TTL
- tiết kiệm, do STATS báo cáo
- $
Bước 1 trên 5
Tạo namespace
Thời tiết thay đổi chậm, nên kết quả tồn tại 15 phút.
Phiên ví dụplaying
# Tạo namespace
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.
Vấn đề
Agent lặp vòng. Chúng tra cứu cùng thời tiết, cùng tỷ giá, cùng kết quả SQL và cùng trang web nhiều lần trong một lần chạy và lại lặp lại ở lần sau. Mỗi lệnh gọi tốn độ trễ, hạn mức tốc độ và thường là tiền, và các công cụ chậm làm mọi bước của agent chậm theo.
HotKV xử lý như thế nào
Tool cache ghi nhớ các lệnh gọi công cụ mang tính xác định dưới một khóa được tạo từ tên công cụ và đối số của nó. Trước khi gọi một công cụ, agent hỏi cache. Một lần trúng trả về kết quả đã lưu ngay lập tức, một lần trượt gọi công cụ một lần và lưu kết quả với TTL phù hợp với mức độ mới cần có.
Từng bước một
Điều gì xảy ra, từng lệnh một
- 01
Tạo namespace
Thời tiết thay đổi chậm, nên kết quả tồn tại 15 phút.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
Lần gọi đầu, trượt cache
Chưa có gì được cache cho các đối số này.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
Gọi công cụ một lần và lưu lại
API thật được gọi, và kết quả được cache trong 15 phút tiếp theo.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
Mỗi lần lặp lại đều trúng
Agent lên kế hoạch cho chuyến đi trong ngày thứ hai và hỏi lại. Các agent khác cho những du khách khác cũng vậy.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
Đếm khoản tiết kiệm
Số lần trúng, trượt và mức sử dụng tiết kiệm được báo cáo theo từng namespace.
TOOL.CACHE.STATS tools
Phù hợp ở đâu
Các tình huống thực tế
Agent dữ liệu
Các truy vấn SQL chỉ đọc và số liệu dashboard được ghi nhớ, nên một agent khám phá dữ liệu không dồn dập vào kho dữ liệu.
Agent duyệt web
Các trang web đã tải và phân tích được cache, nên cùng một trang không bị tải lại ở mỗi lần chạy.
Tích hợp sẵn
Bạn nhận được gì
Ghi nhớ theo đối số
Khóa được tạo từ tên công cụ và đối số của nó, nên mỗi lệnh gọi khác nhau được cache riêng.
TOOL.CACHE.GETTOOL.CACHE.SETKiểm soát độ mới
Một TTL mặc định cho mỗi namespace và một TTL tùy chọn cho mỗi mục.
TTLBộ nhớ có giới hạn
Một giới hạn số mục cho mỗi namespace, với việc loại bỏ khi đầy.
MAX_ENTRIESBáo cáo tiết kiệm
Số lần trúng, trượt, loại bỏ, bộ nhớ và mức sử dụng tiết kiệm được.
TOOL.CACHE.STATSCâu hỏi thường gặp
Tôi nên cache những công cụ nào?
Các lệnh gọi mang tính xác định, chỉ đọc, như tra cứu, tìm kiếm và truy vấn mà kết quả chỉ phụ thuộc vào đối số. Không bao giờ cache những công cụ làm thay đổi thứ gì, như gửi email.
Một kết quả đã cache có thể bị xóa sớm không?
Có. TOOL.CACHE.DEL xóa một mục và TOOL.CACHE.FLUSH làm rỗng một namespace.
Gói nào bao gồm nó?
Tool cache là một phần của các gói Performance và Scale.
Trường hợp sử dụng liên quan
Thử trên khối lượng công việc của chính bạn
HotKV nói giao thức Redis, nên bạn có thể trỏ một client hiện có tới nó và chạy chính những lệnh này.