예약 보고서
대시보드를 보는 모든 사람에게 같은 요약이 생성됩니다. 조회마다가 아니라 보고서당 하루 한 번만 모델을 호출합니다.
AI 및 LLMLLM 애플리케이션Performance 및 Scale 플랜
정확 일치 프롬프트 캐싱
같은 프롬프트에 두 번 비용을 내지 마십시오. 절약한 토큰과 금액을 집계하는 정확 일치 LLM 캐시입니다.
- 일치, 잘못된 히트 0건
- 정확
- STATS의 조회 지연 시간
- p50
- 네임스페이스별 절감액 추적
- $
단계 1 / 4
네임스페이스 생성
답변이 갱신되도록 TTL을 지정하고, 히트 한 번이 평균적으로 절약하는 양을 설정합니다.
예시 세션playing
# 네임스페이스 생성
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
실제 HotKV 명령과 예시 응답으로 구성된 애니메이션 안내입니다. 원하는 단계를 클릭하면 해당 단계로 이동합니다. 명령과 응답은 HotKV에서 입력하고 보는 그대로 영어로 표시됩니다.
문제
배치 작업, 재시도, 예약 보고서, 자주 묻는 질문은 같은 프롬프트를 모델에 계속 보냅니다. 매번 전액이 청구되지만, 측정하는 곳이 없으니 캐시가 얼마를 절약했을지 아무도 알 수 없습니다.
HotKV의 해결 방식
프롬프트 캐시는 정확한 프롬프트마다 응답을 저장하며, 그 응답을 만든 호출의 모델과 토큰 수도 함께 저장합니다. 이후의 모든 히트가 집계되므로 HotKV는 쓰지 않은 요청, 토큰, 금액을 보고할 수 있습니다.
단계별 설명
명령 하나하나, 무슨 일이 일어나는가
- 01
네임스페이스 생성
답변이 갱신되도록 TTL을 지정하고, 히트 한 번이 평균적으로 절약하는 양을 설정합니다.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
미스 후 사용량과 함께 저장
첫 호출은 모델로 갑니다. 답변은 그것을 만든 모델 및 토큰 수와 함께 저장됩니다.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
모든 반복은 무료
야간 작업과 모든 대시보드 조회가 같은 것을 묻습니다. 모두 히트입니다.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
절감액 확인
통계에는 히트율, 조회 지연 시간, 지불하지 않은 사용량이 포함됩니다.
PCACHE.STATS reports
적용 분야
실제 시나리오
번역 및 현지화
UI 문자열과 상품 설명은 언어별로 한 번 번역되고, 그 이후 모든 요청은 캐시에서 제공됩니다.
분류 파이프라인
텍스트가 동일한 티켓, 리뷰, 이메일은 모델을 다시 호출하지 않고 같은 레이블을 받습니다.
내장 기능
제공되는 기능
정확 일치
완전히 동일한 프롬프트에만 히트하므로 다른 질문에 캐시된 답변이 제공되는 일이 없습니다.
PCACHE.GETPCACHE.SET사용량 인식
각 답변에 모델과 토큰 수를 함께 저장하므로 절감액이 실제 사용량에서 계산됩니다.
MODELINPUTOUTPUT메타데이터와 히트 수
PCACHE.GETEX는 답변과 함께 메타데이터와 제공된 횟수를 반환합니다.
PCACHE.GETEX히트율과 지연 시간
PCACHE.STATS는 히트, 미스, 제거, 메모리, 조회 지연 시간, 절감액을 보고합니다.
PCACHE.STATS자주 묻는 질문
시맨틱 캐시 대신 프롬프트 캐시는 언제 사용해야 합니까?
배치 작업이나 고정 템플릿처럼 프롬프트가 정확히 반복될 때는 프롬프트 캐시를 사용하십시오. 사람들이 같은 질문을 다르게 표현할 때는 시맨틱 캐시를 사용하십시오. 많은 애플리케이션이 둘 다 확인합니다.
공급자의 프롬프트 캐싱과 같은 것입니까?
아닙니다. 공급자의 프롬프트 캐싱은 공급자 측에서 반복되는 프리픽스를 할인해 줍니다. HotKV 히트는 공급자에 전혀 도달하지 않으므로 두 효과가 합산됩니다.
어떤 플랜에 포함됩니까?
프롬프트 캐시는 Performance 및 Scale 플랜에 포함됩니다.