여행 및 예약 에이전트
날씨, 환율, 예약 가능 여부 조회는 여행자와 계획 단계 전반에서 반복됩니다. 각 결과는 TTL마다 한 번만 가져옵니다.
AI 및 LLM에이전트Performance 및 Scale 플랜
에이전트 도구 호출 캐싱
에이전트는 같은 도구를 같은 인수로 계속 호출합니다. 결과를 메모이제이션해 같은 API 호출에 두 번 비용을 내지 마십시오.
- 도구 호출 전 조회 횟수
- 1
- 네임스페이스 또는 항목별
- TTL
- STATS가 보고하는 절감액
- $
단계 1 / 5
네임스페이스 생성
날씨는 천천히 바뀌므로 결과를 15분 동안 보관합니다.
예시 세션playing
# 네임스페이스 생성
hotkv> TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900
OK
실제 HotKV 명령과 예시 응답으로 구성된 애니메이션 안내입니다. 원하는 단계를 클릭하면 해당 단계로 이동합니다. 명령과 응답은 HotKV에서 입력하고 보는 그대로 영어로 표시됩니다.
문제
에이전트는 반복합니다. 한 번의 실행에서 같은 날씨, 같은 환율, 같은 SQL 결과, 같은 웹 페이지를 여러 번 조회하고, 다음 실행에서도 또 조회합니다. 호출마다 지연 시간과 속도 제한 할당량, 그리고 흔히 비용이 들며, 느린 도구는 에이전트의 모든 단계를 느리게 만듭니다.
HotKV의 해결 방식
도구 캐시는 도구 이름과 인수로 만든 키로 결정적인 도구 호출을 메모이제이션합니다. 에이전트는 도구를 호출하기 전에 캐시에 묻습니다. 히트하면 저장된 결과가 즉시 반환되고, 미스하면 도구를 한 번 호출해 필요한 신선도에 맞는 TTL로 결과를 저장합니다.
단계별 설명
명령 하나하나, 무슨 일이 일어나는가
- 01
네임스페이스 생성
날씨는 천천히 바뀌므로 결과를 15분 동안 보관합니다.
TOOL.CACHE.CREATE tools MAX_ENTRIES 100000 TTL 900 - 02
첫 호출은 미스
이 인수에 대해 아직 캐시된 것이 없습니다.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 03
도구를 한 번 호출하고 저장
실제 API를 호출하고, 결과를 다음 15분 동안 캐시합니다.
TOOL.CACHE.SET tools "get_weather(city=Lisbon)" "{\"temp_c\":21,\"sky\":\"clear\"}" TTL 900 - 04
모든 반복은 히트
에이전트가 두 번째 당일 여행을 계획하며 다시 묻습니다. 다른 여행자를 위한 다른 에이전트도 마찬가지입니다.
TOOL.CACHE.GET tools "get_weather(city=Lisbon)" - 05
절감액 집계
히트, 미스, 절약한 사용량을 네임스페이스별로 보고합니다.
TOOL.CACHE.STATS tools
적용 분야
실제 시나리오
데이터 에이전트
읽기 전용 SQL 쿼리와 대시보드 지표를 메모이제이션하므로, 데이터를 탐색하는 에이전트가 웨어하우스를 마구 두드리지 않습니다.
브라우징 에이전트
가져와서 파싱한 웹 페이지를 캐시하므로 실행할 때마다 같은 페이지를 다시 다운로드하지 않습니다.
내장 기능
제공되는 기능
인수 기준 메모이제이션
키는 도구 이름과 인수로 만들어지므로 서로 다른 호출은 각각 따로 캐시됩니다.
TOOL.CACHE.GETTOOL.CACHE.SET신선도 제어
네임스페이스별 기본 TTL과 선택적인 항목별 TTL을 제공합니다.
TTL제한된 메모리
네임스페이스별 항목 한도가 있으며, 가득 차면 제거가 일어납니다.
MAX_ENTRIES절감 보고서
히트, 미스, 제거, 메모리, 절약한 사용량을 보고합니다.
TOOL.CACHE.STATS자주 묻는 질문
어떤 도구를 캐시해야 합니까?
결과가 인수에만 의존하는 조회, 검색, 쿼리 같은 결정적이고 읽기 전용인 호출입니다. 이메일 전송처럼 무언가를 변경하는 도구는 절대 캐시하지 마십시오.
캐시된 결과를 미리 삭제할 수 있습니까?
예. TOOL.CACHE.DEL은 항목 하나를 삭제하고 TOOL.CACHE.FLUSH는 네임스페이스를 비웁니다.
어떤 플랜에 포함됩니까?
도구 캐시는 Performance 및 Scale 플랜에 포함됩니다.
관련 사용 사례
직접 워크로드로 사용해 보십시오
HotKV는 Redis 프로토콜을 사용하므로 기존 클라이언트를 연결해 같은 명령을 그대로 실행할 수 있습니다.