HotKV, 자체 Banking77 벤치마크에서 Claude 토큰 사용량 70% 절감

시맨틱 캐시는 반복되거나 유사한 질문에 모델을 호출하는 대신 메모리에서 답변함으로써 LLM 지출을 줄여 준다고 약속합니다. 저희는 이를 처음부터 끝까지 측정했습니다: 동일한 고객 지원 요청 3,000개를 Claude 모델 4개에 각각 두 번씩 보냈으며, 한 번은 모델에 직접, 한 번은 HotKV를 앞에 두고 보냈고, 두 실행 모두 Anthropic 자체의 프롬프트 캐싱을 켜 두었습니다. 다음은 저희가 실행한 내용과 그 결과를, 부족한 부분까지 포함해 정확히 정리한 것입니다.

요약. HotKV는 네 모델 각각에서 모델 호출, 입력과 출력을 합한 토큰, API 비용을 약 70% 줄였습니다. 그 대부분은 정확히 똑같이 반복되는 질문에서 나오며, 시맨틱 계층이 그 위에 약 12포인트를 더합니다. 기본 유사도 임계값 0.81에서, 캐시된 답변이 정확한 질문에 맞는다고 판정된 비율은 새 답변보다 5.8~10.7퍼센트포인트 낮았습니다. 임계값을 바꿔 가며 측정한 유일한 모델(Sonnet 5.5)에서는 0.88 이상의 임계값에서 이러한 격차가 나타나지 않았습니다.

2026년 10월 12일 업데이트: 이 글은 이제 현재의 Claude 모델 4개로 수행한 더 큰 규모의 실행 결과를 다룹니다. 이 결과는 GPT 및 Claude Sonnet 5 기반으로 수행한 이전의 요청 1,500건 실행을 대체하며, 약 60% 적은 토큰을 측정했던 그 실행은 더 이상 제시하지 않습니다.

테스트 내용

워크로드

77개 인텐트로 레이블이 지정된 짧은 은행 업무 질문의 공개 데이터셋인 Banking77(PolyAI, CC BY 4.0)의 테스트 분할에서 고객 지원 질문을 재생했습니다. 이 데이터셋은 Casanueva et al., 2020에서 소개되었습니다. 요청 3,000개는 고정 시드로 추출했습니다. 인텐트 인기도는 소수의 인텐트가 나머지보다 훨씬 자주 등장하는 합성 편향인 지수 1.0의 Zipf 분포를 따르며, 인텐트 안의 질문은 중복을 허용해 균일하게 선택합니다. 77개 인텐트가 모두 등장하며, 요청 3,000개 중 1,264개가 서로 다른 질문입니다(시드를 고정한 요청 생성기를 다시 실행하여 집계). 은행과 그 지원 정책은 가상입니다. 약 2,200토큰 분량의 정책을 작성하여 모든 요청에 시스템 프롬프트로 보냈으며, 이 정책은 짧은 문장 2~4개로 답변하도록 요구합니다.

모델과 설정

claude-fable-5-1, claude-opus-5-5, claude-sonnet-5-5, claude-haiku-5-5 모델을 실행했습니다. Fable 5.1 및 Opus 5.5는 사고(thinking)를 끌 수 없으므로 가장 낮은 추론 수준(effort) 설정으로 실행했습니다. Sonnet 5.5는 가장 낮은 설정인 사전 사고(up-front thinking)를 끈 상태로, Haiku 5.5는 사고를 비활성화한 상태로 실행했습니다. 최대 출력은 Fable 및 Opus 모델이 2,000토큰, Sonnet 및 Haiku 모델이 400토큰이었으며, 모든 답변은 잘리지 않고 정상적으로 끝났습니다. 두 모드 모두 한 번에 8개의 요청을 실행했고, 호출은 스트리밍하지 않았으며, 각 조건은 한 번씩 실행했습니다.

두 가지 실행

• 기준선: 모든 요청이 모델로 직접 전달되며, Anthropic의 프롬프트 캐싱이 켜져 있습니다(시스템 프롬프트에 cache_control 적용, 기본 5분 수명). 이는 이 테스트에서 사용하도록 구성한 기준선이며, 공급자 측의 모든 최적화를 다 적용했다는 주장이 아닙니다.
• HotKV 사용: HotKV가 동일한 트래픽과 동일한 시스템 프롬프트 앞단에 위치하며, 캐시는 빈 상태에서 시작합니다.

집계 항목

모든 토큰 수는 API 응답의 usage 블록에서 가져왔습니다: 캐시되지 않은 입력, 캐시 읽기 및 쓰기, 출력(사고 포함). 임베딩 토큰은 별도입니다. 비용은 2026년 10월 11일 기준 Anthropic 정가를 사용했으며, 시맨틱 조회를 위한 임베딩 호출을 포함하고 HotKV 호스팅 및 운영 비용은 제외했습니다. 현재 요금에 대한 견적이 아닙니다.

캐시 작동 방식

각 질문에 대해 HotKV는 모델을 호출하기 전에 두 가지 조회를 시도합니다:

1. 완전 일치: 모델, 시스템 프롬프트 버전, 정규화된 질문(소문자 변환, 공백 축약)으로 만든 SHA-256 키에 대한 GET입니다. 똑같은 단어로 한 질문을 잡아냅니다.
2. 시맨틱 일치: 질문의 임베딩(OpenAI text-embedding-3-small, 코사인 유사도)을 사용한 SCACHE.GET 호출입니다. 유사한 질문을 찾지만, 유사도 점수만으로는 캐시된 답변이 적합하다고 보장할 수 없습니다.

두 조회 모두 미스일 때만 모델에 요청이 전달되며, 그 답변은 SET 및 SCACHE.SET 명령으로 다시 기록됩니다. 시맨틱 적중의 유사도 임계값은 실행 전에 0.81 값으로 고정했습니다. 이 값은 별도의 Banking77 학습 분할에서 0.01 단위로 탐색하여, 시맨틱 적중이 98% 이상 동일한 인텐트를 가리키는 가장 낮은 값으로 선택했습니다(학습 분할에서는 98.2%). 사용하지 않고 남겨 둔 테스트 분할로 진행한 이번 실행에서는 시맨틱 적중의 96.7%~96.8%가 질문한 내용의 인텐트와 일치했습니다: 모델별로 적중 926~936개 중 인텐트가 틀린 적중은 30개 또는 31개였습니다.

결과

호출, 토큰, 비용

네 모델 전체에서 호출은 12,000건에서 3,588건으로 줄었고, 토큰은 70.1%, 비용은 69.6% 감소했습니다. 모든 모델에서 요청의 약 70%가 캐시로 응답되었습니다: 약 39%는 완전 일치, 31%는 시맨틱 일치로 응답했습니다.

HotKV는 호출 자체를 없애므로 호출, 토큰, 비용(달러)이 함께 줄어듭니다. 토큰 수치는 주의해서 읽으십시오: 집계된 토큰의 90%~93%는 동일한 2,200토큰 정책 프롬프트의 캐시 읽기이며, Anthropic은 이를 일반 입력 가격의 극히 일부로 청구합니다. 출력 토큰은 전체 토큰의 6%~9%에 불과하지만 기준선 비용의 73%~92%를 차지합니다.

속도

전체 실행의 응답 시간 중앙값은 Fable 5.1의 경우 2.7초에서 127 ms로, Opus 5.5의 경우 2.9초에서 126 ms로, Sonnet 5.5의 경우 1.8초에서 128 ms로, Haiku 5.5의 경우 1.4초에서 125 ms로 줄어 11~23배 빨라졌습니다. 반복된 질문은 중앙값 약 0.05 ms 만에 응답이 돌아왔으며, 이는 HotKV와 같은 머신에서 루프백을 통해 Python 클라이언트로 측정한 값이므로 네트워크 수치가 아니라 로컬 수치입니다. 시맨틱 캐시에서 제공된 바꿔 말한 질문은 약 130 ms가 걸렸으며, 그중 거의 전부가 임베딩 API 호출 시간이었습니다.

전체 실행 중앙값이 시맨틱 적중 구간 안에 있는 이유는, 완전 일치 적중(요청의 약 39%)만으로는 중앙값을 결정하기에 부족하지만 완전 일치 적중과 시맨틱 적중을 합하면(70%) 절반을 넘기 때문입니다. 느린 쪽은 덜 움직입니다: 요청의 30%는 여전히 모델을 호출합니다. Fable 5.1에서 99번째 백분위수는 HotKV 사용 시 약 6.4초, 미사용 시 6.6초였으며, Haiku 5.5에서도 거의 같았습니다. Opus 5.5(4.7초 대 약 6초) 및 Sonnet 5.5(2.7초 대 3.3초)에서는 더 낮았습니다. 호출을 스트리밍하지 않았으므로, 이는 첫 토큰까지가 아니라 완전한 답변까지의 시간입니다.

워밍업

캐시는 빈 상태에서 시작하므로 초기 요청은 여전히 모델에 도달합니다. 캐시로 응답한 요청의 비율은 처음 천 건에서 약 52%, 마지막 천 건에서 약 81%였습니다.

절감 효과는 어디에서 오는가

절감 효과의 대부분은 단순한 반복에서 나옵니다. 완전 일치 캐시만 사용했다면 서로 다른 질문마다 한 번씩, 3,000건 중 최대 1,264건의 모델 호출이 필요했을 것이며, 이는 약 58% 적은 수치입니다. 시맨틱 계층이 이를 약 70%로 끌어올렸으므로, 이 워크로드에서 시맨틱 계층의 기여분은 약 12포인트입니다. 다음 섹션에서 보듯이, 답변 품질 위험을 안고 있는 부분도 바로 이 계층입니다. 이는 요청 순서와 로그에서 도출한 것이며, 별도로 측정한 실행이 아닙니다.

답변 품질

시맨틱 적중은 동일한 인텐트를 뜻하며, 동일한 정답을 뜻하지 않습니다. 정확성을 측정하기 위해 다른 Claude 모델에게 모든 시맨틱 적중을 평가하게 했습니다. 평가 모델은 고객의 질문과 두 답변을 무작위 순서로 보았습니다: HotKV가 제공한 캐시된 답변, 그리고 기준선 실행에서 같은 모델이 바로 그 질문에 내놓은 새 답변입니다. 평가 모델은 각 답변이 바로 그 질문에 올바르게 답했는지를 판정했습니다. Opus 5.5 모델이 Fable 5.1, Sonnet 5.5, Haiku 5.5의 답변을 평가했고, Fable 5.1 모델이 Opus 5.5의 답변을 평가했으므로 어떤 모델도 자신의 출력을 평가하지 않았습니다.

기본 임계값에서

0.81에서 캐시된 답변이 정확한 질문에 맞은 비율은 같은 모델의 새 답변보다 5.8~10.7퍼센트포인트 낮았습니다. 시맨틱 적중은 요청의 약 31%이므로, 전체 응답 기준으로 완전 일치 적중을 중립으로 계산하면 대략 2~3포인트(1.8~3.3)입니다. 평가 모델마다 엄격도가 다르므로 캐시 답변과 새 답변은 한 모델 안에서만 비교하십시오.

임계값 높이기

Sonnet 5.5를 네 가지 임계값에서 추가로 다시 실행했으며, 각각 빈 캐시에서 시작하고 같은 평가 모델을 사용했습니다. 기준선 비용은 $5.51입니다.

0.88 이상에서는 캐시된 답변이 새 답변에 비해 부족한 모습을 보이지 않았으며, 그러면서도 비용을 0.88에서 64%, 0.90에서 61% 절감했습니다. 근거는 빈약합니다. 0.90에서 차이에 대한 95% 구간은 약 4포인트 더 나쁜 쪽부터 7포인트 더 좋은 쪽까지 걸쳐 있고, 0.95 행에는 적중이 50개뿐이며, 각 행은 서로 다른 적중 부분집합을 평가합니다. 임계값마다 모델 하나, 평가 모델 하나, 실행 한 번이므로, 이는 동등한 품질이나 보편적으로 안전한 임계값을 증명하지 않습니다.

거의 동일한 질문

진짜 위험은 입금과 출금처럼 거의 똑같아 보이지만 다른 답이 필요한 질문입니다. Opus 5.5 모델에게 실제 학습 분할 질문과 결정적인 세부 사항 하나를 바꾼 버전으로 이루어진 질문 쌍 119개를 작성하게 한 뒤, 원래 질문만 들어 있는 캐시를 대상으로 변경된 질문 중 몇 개가 임계값을 통과하는지 셌습니다. 이 쌍들은 일부러 어렵게 만들었고, 사람이 검토하지 않았으며, 실제 트래픽에서 얼마나 자주 발생하는지가 아니라 최악의 경우를 보여 줍니다.

임계값을 높이면 위험이 줄어들지만 사라지지는 않습니다. 0.90에서도 일부러 비슷하게 만든 쌍의 25%가 일치로 처리되며, 진짜 바꿔 말한 질문이 일치하는 비율도 줄어듭니다.

대규모 환경에서의 의미

측정된 요청당 비용을 30일 기준 한 달 동안 하루 100만 건의 요청으로 외삽하고 동일한 트래픽 패턴을 가정하면, 월간 수치는 다음과 같습니다:

• claude-fable-5-1: HotKV 없이 약 $303,100, HotKV 사용 시 $91,800, 약 $211,300 절감.
• claude-opus-5-5: HotKV 없이 약 $146,000, HotKV 사용 시 $45,000, 약 $101,000 절감.
• claude-sonnet-5-5: HotKV 없이 약 $55,100, HotKV 사용 시 $16,600, 약 $38,500 절감.
• claude-haiku-5-5: HotKV 없이 약 $2,700, HotKV 사용 시 $800, 약 $1,900 절감.

이는 측정된 요청당 비용에 대한 계산이며, 별도로 측정한 실행이 아닙니다. 호스팅 비용은 제외했으며, 이 정도 규모에 필요한 용량은 측정하지 않았습니다. 저희가 실행한 요청 3,000건에서는 절감액이 Haiku 5.5의 경우 $0.19, Fable 5.1의 경우 $21.12에 불과합니다. 네 모델은 짧은 답변으로 실행했고 Fable 5.1 및 Opus 5.5는 가장 낮은 추론 수준으로 실행했으므로, 답변이 더 길거나 추론 비중이 크면 회피한 호출 하나하나의 가치가 더 커질 것입니다.

한계

이는 "HotKV가 70%를 절감해 준다"는 일반적인 주장이 아닙니다. 이 워크로드에서 저희가 측정한 결과이며, 결과의 대부분은 워크로드 자체가 만들어 냅니다.

• 절감액은 반복률을 따라갑니다. Zipf 편향 대신 모든 인텐트가 같은 확률로 나오게 하면 Sonnet 5.5 및 Haiku 5.5에서 비용이 56% 감소했습니다. 모두 다른 질문 3,000개로는 38% 감소했으며, 이는 전적으로 같은 인텐트에 속한 서로 다른 질문 간의 시맨틱 일치에서 나온 것으로, Banking77에는 그런 질문이 많습니다. 반복되거나 유사한 질문이 없는 워크로드는 아무것도 절감하지 못합니다.
• 합성 트래픽. 각 추출은 독립적입니다: 버스트, 세션, 멀티턴 컨텍스트가 없습니다. 짧은 은행 업무 질문으로 구성된 공개 데이터셋 하나, 이 테스트를 위해 작성한 가상의 정책, 약 3,080개의 테스트 질문으로 이루어진 한정된 풀을 사용했습니다.
• 모델이 답변을 평가합니다. 사람이 검토하지 않았고, 두 번째 평가 모델도 없었으며, 모든 평가 모델이 Claude 모델입니다. 새 답변이 평가 모델의 "적합" 기준을 통과하지 못한 비율은 1%~21%였으므로, 엄격한 기준입니다.
• 동일한 인텐트가 동일한 답변은 아닙니다. 0.81 임계값은 답변 품질이 아니라 인텐트 레이블로 보정했습니다. 임계값 스윕과 거의 동일한 질문 테스트는 모델 하나와 임베딩 모델 하나를 대상으로 합니다.
• 소규모 테스트 환경. 조건마다 실행 1회, 클라이언트가 같은 머신에 있는 vCPU 4개짜리 서버 한 대, 그리고 HotKV 실행 전에 워밍하지 않은 캐시를 사용했습니다.
• 비용은 API 비용입니다. HotKV 호스팅 및 운영 비용은 제외됩니다. 직접 보유한 질문으로 답변 품질을 검증하고, 시맨틱 재사용이 적합하지 않은 곳에서는 완전 일치 캐싱이나 새 답변을 사용하십시오.

모델별 수치는 AI 페이지에서도 확인할 수 있습니다.

직접 사용해 보십시오

이 테스트의 완전 일치 캐시는 모든 HotKV 플랜에 포함된 일반 GET 및 SET 명령을 사용합니다. 시맨틱 캐시(SCACHE.*)는 Performance 플랜 이상에서 제공됩니다(요금). HotKV Cloud에서 시작하여 기존 트래픽을 연결하거나, 자체 워크로드의 수치를 먼저 검토하고 싶다면 영업팀에 문의하십시오.