고객 지원
비밀번호 재설정, 청구서 사본, 배송 기간은 계속 반복해서 묻는 질문입니다. 첫 질문 이후의 모든 변형은 캐시에서 제공됩니다.
AI 및 LLMLLM 애플리케이션Performance 및 Scale 플랜
시맨틱 응답 캐싱
LLM 답변을 정확한 텍스트가 아닌 의미로 캐시하므로, 바꿔 말한 질문도 캐시에 히트하고 모델 호출을 건너뜁니다.
- 모델 호출 전 조회 횟수
- 1
- 유사도 지표
- 3
- 임계값 재정의
- 호출별
단계 1 / 6
네임스페이스 생성
임베딩 크기와 히트로 인정할 유사도를 설정합니다.
예시 세션playing
# 네임스페이스 생성
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
실제 HotKV 명령과 예시 응답으로 구성된 애니메이션 안내입니다. 원하는 단계를 클릭하면 해당 단계로 이동합니다. 명령과 응답은 HotKV에서 입력하고 보는 그대로 영어로 표시됩니다.
문제
지원 어시스턴트는 같은 질문을 백 가지 다른 표현으로 받습니다. 정확 일치 캐시는 그중 거의 전부를 놓치므로, 바꿔 말한 질문마다 전체 모델 호출 비용을 내고 전체 응답을 기다려야 합니다.
HotKV의 해결 방식
시맨틱 캐시는 각 답변을 질문의 임베딩과 함께 저장하고, 새 질문을 유사도로 조회합니다. 새 프롬프트가 이미 답변한 질문과 충분히 가까우면 저장된 답변이 반환되고 모델은 호출되지 않습니다. 얼마나 가까워야 충분한지는 임계값이 결정합니다.
단계별 설명
명령 하나하나, 무슨 일이 일어나는가
- 01
네임스페이스 생성
임베딩 크기와 히트로 인정할 유사도를 설정합니다.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
미스이므로 모델을 한 번 호출
질문을 처음 받을 때는 캐시에 비슷한 것이 없으므로 모델이 답변합니다.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
답변 기억
질문, 답변, 질문의 임베딩을 하루 동안 저장합니다.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
바꿔 말한 질문이 히트
"로그인 비번 까먹음"은 저장된 질문과 가깝습니다. 답변과 유사도가 반환되고 모델은 건너뜁니다.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
한 번의 조회만 더 엄격하게
근소한 차이도 허용할 수 없는 답변이라면, 조회 시 네임스페이스 기본값보다 더 가까운 일치를 요구할 수 있습니다.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
절감 효과 측정
네임스페이스별 통계로 모델 대신 캐시가 얼마나 자주 답했는지 확인합니다.
SCACHE.STATS support_bot
적용 분야
실제 시나리오
사내 지식 봇
직원들은 휴가, 경비, VPN 접속을 각자의 말로 묻습니다. 답변 하나가 만료될 때까지 모두에게 제공됩니다.
개발자 도구
"페이지네이션은 어떻게 하나요?"와 "결과를 페이지별로 넘기는 방법"은 두 번째 모델 호출 없이 같은 문서 기반 답변을 받습니다.
내장 기능
제공되는 기능
의미로 매칭
비슷한 질문은 표현과 관계없이 캐시된 답변 하나를 공유합니다.
SCACHE.GETSCACHE.SET엄격도는 사용자가 결정
네임스페이스별로 임계값을 설정하고 개별 조회에서 재정의할 수 있습니다.
SCACHE.THRESHOLD측정 가능한 절감 효과
네임스페이스별 통계로 히트, 미스, 항목 수를 보여 줍니다.
SCACHE.STATS코사인, L2 또는 내적
네임스페이스를 만들 때 임베딩 모델에 맞는 지표를 선택합니다.
SCACHE.CREATE자주 묻는 질문
캐시 히트에는 어떤 비용이 듭니까?
임베딩 호출 한 번과 캐시 조회 한 번입니다. 모델 호출과 생성 시간은 건너뜁니다.
느슨한 매칭으로 인한 잘못된 답변은 어떻게 막습니까?
임계값을 높이십시오. 임계값이 높을수록 더 가까운 일치가 필요하므로 히트는 줄지만 각 히트의 확실성은 높아집니다.
어떤 플랜에 포함됩니까?
시맨틱 캐시는 Performance 및 Scale 플랜에 포함됩니다.