SaaS 헬프 데스크
수천 명의 고객이 비밀번호, 청구서, 요금제 한도를 묻습니다. 많은 질문이 반복이거나 바꿔 말한 것이어서 캐시에서 답변됩니다. 정말 새로운 질문만 모델에 도달합니다.
AI 및 LLMLLM 애플리케이션Performance 및 Scale 플랜
AI 고객 지원 어시스턴트
반복 질문에는 즉시 답하고, 바꿔 말한 질문은 의미로 매칭하며, 새 답변은 헬프 센터에 근거하고, 예산을 절대 넘기지 않는 지원 봇입니다.
- 하나의 서버에 담긴 AI 엔진
- 5
- 새 질문당 모델 호출 수
- 1
- 추가로 운영할 데이터베이스
- 0
단계 1 / 6
테넌트 예산 확인
각 테넌트의 예산은 LLMBUDGET.SET으로 한 번 설정해 둡니다. 모델 작업 전에 원자적으로 차감합니다. 한도를 넘은 테넌트는 비용이 발생하기 전에 여기서 거부됩니다.
예시 세션playing
# 테넌트 예산 확인
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
실제 HotKV 명령과 예시 응답으로 구성된 애니메이션 안내입니다. 원하는 단계를 클릭하면 해당 단계로 이동합니다. 명령과 응답은 HotKV에서 입력하고 보는 그대로 영어로 표시됩니다.
문제
실제 지원 어시스턴트는 프롬프트 하나로 끝나지 않습니다. 같은 질문에 두 번 비용을 내지 않기 위한 캐시, 헬프 센터 검색, 대화 메모리, 그리고 한 고객이 비용을 폭증시키지 못하게 하는 예산이 필요합니다. 보통 이는 네다섯 개의 서비스를 뜻하며, 제품보다 연결 코드에 더 많은 시간을 쓰게 됩니다.
HotKV의 해결 방식
HotKV는 이 모든 구성 요소를 하나의 서버에서 명령으로 실행합니다. 어시스턴트는 테넌트의 예산을 확인하고, 정확한 반복 질문은 프롬프트 캐시에서, 바꿔 말한 질문은 시맨틱 캐시에서 답합니다. 새로운 질문에는 헬프 센터 문단을 검색하고, 대화를 유지하며, 새 답변은 다음에 같은 질문을 하는 고객을 위해 캐시합니다.
단계별 설명
명령 하나하나, 무슨 일이 일어나는가
- 01
테넌트 예산 확인
각 테넌트의 예산은 LLMBUDGET.SET으로 한 번 설정해 둡니다. 모델 작업 전에 원자적으로 차감합니다. 한도를 넘은 테넌트는 비용이 발생하기 전에 여기서 거부됩니다.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
정확한 반복 질문에 즉시 답변
글자 하나까지 같은 질문은 프롬프트 캐시 히트입니다. 임베딩도, 모델 호출도 없습니다.
PCACHE.GET support "How do I reset my password?" - 03
바꿔 말한 질문을 의미로 매칭
"로그인 비밀번호를 잊어버렸어요"는 표현이 다릅니다. 하지만 그 임베딩이 SCACHE.CREATE로 한 번 생성해 둔 시맨틱 캐시의 질문과 충분히 가까우므로 저장된 답변이 반환됩니다.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
새로운 질문이므로 컨텍스트 검색
아직 아무도 하지 않은 질문입니다. 수집해 둔 헬프 센터를 하이브리드 검색하여 모델에 필요한 문단을 반환합니다.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
모델 호출 한 번, 그리고 기억
모델은 문단을 컨텍스트로 삼아 답변합니다. 이 턴은 채팅 시작 시 AMEM.CONV.CREATE로 연 대화에 추가되므로 다음 메시지에서도 기록을 이어 갑니다.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
다음 고객을 위해 캐시
새 답변은 시맨틱 캐시에 들어가므로, 이후 이 질문을 바꿔 말한 모든 질문이 히트합니다.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
적용 분야
실제 시나리오
전자상거래 반품 봇
반품 및 배송 정책은 RAG 파이프라인으로 한 번 수집됩니다. 답변은 현재 정책 문구에 근거하며, 플랫폼의 각 상점은 자체 예산을 가집니다.
사내 IT 어시스턴트
직원들은 매주 같은 VPN 및 노트북 질문을 합니다. 어시스턴트는 각 대화를 유지하고 이전 턴을 떠올리며, 폭주하는 루프가 월간 허용량을 소진하기 전에 멈춥니다.
내장 기능
제공되는 기능
두 겹의 캐싱
글자 그대로의 반복을 위한 정확 일치 프롬프트 캐시와 바꿔 말한 질문을 위한 시맨틱 캐시가 있으며, 각각 자체 히트 통계를 제공합니다.
PCACHE.GETSCACHE.GET근거 있는 답변
헬프 센터 문서는 청킹되어 벡터와 키워드 하이브리드 검색을 지원하는 RAG 파이프라인에 인덱싱됩니다.
RAG.INGESTRAG.SEARCH대화 메모리
각 채팅은 다음 프롬프트를 위해 최근 턴의 롤링 윈도우를 유지합니다.
AMEM.CONV.APPENDAMEM.CONV.WINDOW고객별 예산
테넌트별 토큰 및 달러 한도를 모델 호출 전에 원자적으로 차감합니다.
LLMBUDGET.CONSUME자주 묻는 질문
벡터 데이터베이스도 따로 필요합니까?
아닙니다. 시맨틱 캐시, RAG 파이프라인, 에이전트 메모리가 모두 HotKV 안에서 나머지 애플리케이션 데이터 바로 옆에서 실행됩니다.
어떤 임베딩 모델과 채팅 모델을 사용할 수 있습니까?
어떤 것이든 가능합니다. HotKV는 제공된 벡터를 저장하고 검색할 뿐 직접 모델을 호출하지 않으므로, 공급자 선택은 전적으로 사용자에게 달려 있습니다.
어떤 플랜에 이 명령이 포함됩니까?
프롬프트 캐시, 시맨틱 캐시, RAG 파이프라인, 에이전트 메모리, LLM 예산은 Performance 및 Scale 플랜에 포함됩니다.
관련 사용 사례
직접 워크로드로 사용해 보십시오
HotKV는 Redis 프로토콜을 사용하므로 기존 클라이언트를 연결해 같은 명령을 그대로 실행할 수 있습니다.