AI 스택을 위해 설계되었습니다
대부분의 팀은 LLM 앱에 벡터 데이터베이스, 캐시, 검색 엔진, 그리고 수많은 연결 코드를 덧붙입니다. HotKV는 이러한 기본 구성 요소를 하나의 인메모리 엔진에 내장하므로 검색, 메모리, 비용 제어가 데이터 바로 옆에서 실행됩니다.
질문을 하나 고르십시오. 어디에서 답변되는지, 그리고 스택의 얼마나 많은 부분을 전혀 거치지 않는지 확인하십시오.
- 00질문통과
- LLMBUDGETLLM 예산통과
- PCACHE프롬프트 캐시답변됨
- SCACHE시맨틱 캐시
- RAGRAG 파이프라인
- 05LLM
프롬프트 캐시에서 답변합니다. 모델은 전혀 호출되지 않습니다.
시간은 아래 토큰 절감 벤치마크에서 측정한 중앙값입니다. 시맨틱 캐시 시간은 측정하지 않았으므로 표시하지 않습니다.
9개의 AI 엔진, 하나의 서버
각 엔진은 데이터 바로 옆에서 동작하는 명령 모음입니다. 어느 것이든 열어 실제 사용 사례에서 확인하십시오.
AI를 HotKV에서 실행해야 하는 이유
당사가 벤치마크한 모든 명령에서 Redis와 Valkey를 앞선 바로 그 멀티스레드 코어가 검색, 메모리, 가드레일도 실행합니다.
다섯 개의 서비스가 아닌 하나의 엔진
벡터 검색, 시맨틱 캐시, RAG, 에이전트 메모리, 피처 스토어가 모두 같은 프로세스 안에 있습니다. 별도의 벡터 DB, 캐시, 검색 클러스터를 배포하고 보호하고 동기화할 필요가 없습니다.
1밀리초 미만의 캐시 적중
모든 AI 기본 구성 요소는 당사 벤치마크에서 12개 명령 전부에서 Redis와 Valkey를 앞선 바로 그 멀티스레드 코어에서 실행됩니다. 당사 LLM 테스트에서 완전 일치 캐시 적중은 약 0.05 ms 만에 응답했으며, 모델 호출은 1.4~2.9 s가 걸렸습니다.
데이터 계층에서의 비용 제어
시맨틱 캐싱과 프롬프트 캐싱은 LLM 호출을, 임베딩 중복 제거는 임베딩 호출을 줄이며, 키별 예산은 지출이 발생하기 전에 상한을 둡니다. 절감액은 추정치가 아니라 측정값입니다.
설계부터 멀티 테넌트
네임스페이스가 각 테넌트의 벡터, 메모리, 예산을 분리하며, Scale 플랜은 여러 팀과 고객이 공유하는 AI 인프라를 위해 테넌트 레지스트리와 감사 로그를 추가합니다.
더 적은 토큰에만 비용을 지불하십시오
동일한 고객 지원 질문 3,000개를 현재의 Claude 모델 네 개에 두 번씩 보냈습니다: 한 번은 모델에 직접, 한 번은 HotKV를 앞에 두고 보냈습니다.
모델별 처리 토큰 수
대규모 환경에서의 의미
- Anthropic claude-fable-5-1: HotKV 없이 월 $303,100, HotKV 사용 시 $91,800, 매월 약 $211,300 절감.
- Anthropic claude-opus-5-5: HotKV 없이 월 $146,000, HotKV 사용 시 $45,000, 매월 약 $101,000 절감.
- Anthropic claude-sonnet-5-5: HotKV 없이 월 $55,100, HotKV 사용 시 $16,600, 매월 약 $38,500 절감.
- Anthropic claude-haiku-5-5: HotKV 없이 월 $2,700, HotKV 사용 시 $800, 매월 약 $1,900 절감.
하루 100만 건의 요청 기준이며, 측정된 요청당 비용에서 외삽하고 동일한 트래픽 패턴을 가정했습니다. 네 개의 Claude 모델은 짧은 답변으로 실행했고 Fable 5.1과 Opus 5.5는 가장 낮은 추론 수준으로 실행했으므로, 답변이 더 길거나 추론 비중이 크면 회피한 호출 하나하나의 가치가 더 커집니다.
전체 수치토큰, 비용, 답변 품질, 유사도 임계값의 트레이드오프펼치기접기
Claude Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5를 각각 동일한 요청 3,000개로 HotKV 사용 및 미사용 상태에서 실행했습니다. 모든 실행에서 공급자 자체의 프롬프트 캐싱이 켜져 있었으며, 토큰과 비용은 사고(thinking) 토큰을 포함하여 각 응답의 usage에서 가져왔습니다.
| 모델 | 절감 토큰 | 미사용 시 비용 | 사용 시 비용 | 절감률 | 모델 호출 | 응답 시간 중앙값 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 → 896 | 2.7 s → 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 → 898 | 2.9 s → 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 → 897 | 1.8 s → 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 → 897 | 1.4 s → 125 ms |
캐시된 답변은 얼마나 좋습니까?
캐시에서 제공된 모든 바꿔 말한 질문에 대해, 다른 모델이 캐시된 답변과 같은 모델이 바로 그 질문에 내놓은 새 답변을 무작위 순서로 비교했습니다. 어떤 모델도 자신의 출력을 평가하지 않았습니다. 이는 사람의 검토가 아니라 언어 모델의 판정이며, 판정의 엄격도는 모델마다 다르므로 캐시 답변과 새 답변은 한 모델 안에서만 비교하십시오.
| 모델 | 평가한 바꿔 말한 질문 | 캐시 답변 적합 | 새 답변 적합 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
유사도 임계값은 절감액과 답변 품질을 맞바꿉니다
각 행은 동일한 요청 3,000개에 대한 Claude Sonnet 5.5의 개별 실행입니다 (HotKV 미사용 시 비용: $5.51).
| 임계값 | 비용 | 절감률 | 캐시 답변 적합 | 새 답변 적합 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
이 수치가 보여 주는 것과 보여 주지 않는 것
- 위 결과에 사용한 0.81 임계값에서, 캐시된 답변이 정확한 질문에 맞는 비율은 새 답변보다 6~11퍼센트포인트 낮습니다. 바꿔 말한 질문은 요청의 약 31%이므로, 전체 응답 기준으로는 대략 2~3포인트입니다. 임계값 실행에서 0.88 이상의 캐시 답변은 새 답변보다 나쁘지 않았으며, 여전히 비용의 61%~64%를 절감했습니다.
- 위의 “동일 인텐트” 수치는 “동일한 정답”을 의미하지 않습니다. 입금과 출금처럼 한 가지 세부 사항이 정답을 바꾸도록 일부러 매우 비슷하게 만든 질문 쌍 119개로 테스트한 결과, 변경된 질문의 62%가 0.81에서 캐시된 답변을 받았고, 0.90에서는 25%, 0.95에서는 10%였습니다. 이 쌍들은 일부러 어렵게 만들어 최악의 경우를 보여 주며, 실제 트래픽에서 얼마나 자주 발생하는지를 나타내지는 않습니다. 잘못된 답변의 비용이 큰 사용 사례라면 임계값을 높이십시오.
- 짧은 은행 업무 질문으로 구성된 공개 데이터셋 하나, 임베딩 모델 하나, 자동화된 평가 모델을 사용했습니다. 임계값 효과는 한 모델에서만 측정했으며, 나머지 세 모델은 0.81에서만 실행했습니다. 실제 반복률과 질문에 따라 다른 수치가 나옵니다.
고정 시드로 Banking77 테스트 분할에서 추출한 고객 지원 질문 3,000개(인텐트 인기도는 s=1.0인 Zipf 분포를 따르고, 각 인텐트 안에서 질문은 중복을 허용해 균일하게 샘플링). 각 질문은 동일한 지원 정책을 시스템 프롬프트로 하여 모델에 전송했습니다. 기준선: 모든 요청이 모델을 호출하며, 공급자 자체의 프롬프트 캐싱이 활성화되어 있습니다. HotKV: 완전 일치 조회(정규화된 질문의 SHA-256 키에 대한 GET) 후 시맨틱 조회(질문 임베딩을 사용한 SCACHE.GET)를 수행하고, 미스일 때만 모델을 호출합니다. 토큰 수는 각 API 응답의 usage 블록에서 가져왔으며, 비용은 정가 기준이고 임베딩 호출을 포함합니다. 유사도 임계값은 별도의 Banking77 학습 분할에서 시맨틱 적중 시 동일 인텐트 정밀도 98% 이상을 내는 가장 낮은 값으로 선택했습니다.
임베딩 모델: OpenAI text-embedding-3-small. 시맨틱 일치 임계값: 0.81. 데이터셋: PolyAI의 Banking77 (테스트 분할), CC BY 4.0 라이선스, 77개 인텐트에 걸친 요청 3,000개.
측정일: 2026년 10월 11일. 절감액은 트래픽이 얼마나 자주 반복되는지에 따라 달라지며, 반복되거나 유사한 질문이 없는 워크로드는 아무것도 절감하지 못합니다.