구조화된 추출
청구서와 양식을 검증된 JSON으로 변환합니다. 같은 문서를 다시 처리하면 모델을 다시 호출하지 않고 검증된 결과를 반환합니다.
AI 및 LLMLLM 운영Performance 및 Scale 플랜
가드레일 및 모더레이션 캐싱
이미 검증기를 통과한 답변은 다시 제공하고, 반복해서 위반하는 요청은 모더레이션이나 모델을 다시 호출하지 않고 거부합니다.
- 캐시, 통과와 거부
- 2
- 히트 시 재검증
- 0
- 거부에 대한 TTL
- 짧은
단계 1 / 5
생성하고 검증
네임스페이스는 GUARD.CREATE와 NCACHE.CREATE로 한 번 만들어 둡니다. 모델이 JSON을 생성하면, 저장하기 전에 검증기가 스키마에 맞는지 확인합니다.
예시 세션playing
# 생성하고 검증
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
실제 HotKV 명령과 예시 응답으로 구성된 애니메이션 안내입니다. 원하는 단계를 클릭하면 해당 단계로 이동합니다. 명령과 응답은 HotKV에서 입력하고 보는 그대로 영어로 표시됩니다.
문제
구조화된 출력과 안전성 검사는 느리고 비용이 듭니다. 모델 호출, JSON 스키마 검증, 때로는 답변을 판정하는 두 번째 모델까지 필요합니다. 반복 요청은 이 모든 비용을 다시 냅니다. 게다가 스크립트가 천 번 보낸 같은 악성 프롬프트는 모더레이션에도 천 번 전달됩니다.
HotKV의 해결 방식
가드 캐시는 이미 스키마 검증이나 가드레일 검사를 통과한 응답만 저장하므로, 히트는 그대로 다시 제공해도 안전하다는 것이 보장됩니다. 네거티브 캐시는 "모더레이션에서 거부됨" 같은 거부를 짧은 TTL로 기억하므로, 반복되는 나쁜 요청은 모더레이션 서비스나 모델에 도달하기 전에 돌려보내집니다.
단계별 설명
명령 하나하나, 무슨 일이 일어나는가
- 01
생성하고 검증
네임스페이스는 GUARD.CREATE와 NCACHE.CREATE로 한 번 만들어 둡니다. 모델이 JSON을 생성하면, 저장하기 전에 검증기가 스키마에 맞는지 확인합니다.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
재검사 없이 다시 제공
같은 요청이 다시 들어옵니다. 저장된 답변은 이미 검증을 통과했으므로 그대로 반환됩니다.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
모더레이션이 프롬프트를 거부
유해한 프롬프트가 거부됩니다. 이 거부는 5분 동안 기억됩니다.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
스크립트가 다시 시도
잠시 후 같은 프롬프트는 캐시에서 돌려보내집니다. 모더레이션과 모델은 호출되지 않습니다.
NCACHE.GET refused "prompt:9f31c2" - 05
두 캐시 측정
각 네임스페이스가 히트, 미스, 제거, 메모리를 보고합니다.
GUARD.STATS validated
적용 분야
실제 시나리오
소비자 채팅 앱
같은 프롬프트를 마구 보내는 악용 스크립트는 네거티브 캐시에서 거부되므로 모더레이션 비용이 늘지 않습니다.
실패하는 조회
"사용자를 찾을 수 없음" 같은 부정 응답을 잠시 캐시하므로 재시도가 백엔드에 도달하지 않습니다.
내장 기능
제공되는 기능
가드 캐시
검사를 통과한 응답만 저장하므로 히트는 다시 제공해도 안전합니다.
GUARD.SETGUARD.GET네거티브 캐시
거부와 찾을 수 없음 결과를 짧은 시간 동안 기억합니다.
NCACHE.SETNCACHE.GETTTL과 한도
네임스페이스별 기본 TTL과 항목 한도가 있으며, 가득 차면 제거가 일어납니다.
GUARD.CREATENCACHE.CREATE통계
네임스페이스별 히트, 미스, 제거, 메모리, 절감액을 제공합니다.
GUARD.STATSNCACHE.STATS자주 묻는 질문
HotKV가 출력을 직접 검증합니까?
아닙니다. 판단은 사용자의 검증기나 가드레일이 합니다. HotKV는 검사를 통과한 뒤 가드 캐시에 넣은 것만 저장합니다.
거부는 얼마나 오래 캐시해야 합니까?
보통은 며칠이 아니라 몇 분 정도로 짧게 두어, 정책 변경이나 오탐이 계속 남지 않게 합니다. TTL은 네임스페이스별 또는 항목별로 설정합니다.
어떤 플랜에 포함됩니까?
가드 캐시와 네거티브 캐시는 Performance 및 Scale 플랜에 포함됩니다.