AI SaaS 제품
각 요금제에는 월간 토큰 허용량이 포함됩니다. 예산은 청구서에서 발견되는 것이 아니라 매 호출 시점에 적용됩니다.
AI 및 LLMLLM 운영Performance 및 Scale 플랜
LLM 비용 거버넌스
사용자나 테넌트별로 토큰 및 지출 예산을 적용하고, 버킷별 실제 지출을 확인하며, 동일한 텍스트는 한 번만 임베딩합니다.
- 차감 또는 거부
- 원자적
- 기간별 한도
- 토큰 + $
- 고유 텍스트당 임베딩
- 1x
단계 1 / 6
예산 설정
한 테넌트에 30일 동안 200만 토큰과 50 USD를 설정합니다.
예시 세션playing
# 예산 설정
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
실제 HotKV 명령과 예시 응답으로 구성된 애니메이션 안내입니다. 원하는 단계를 클릭하면 해당 단계로 이동합니다. 명령과 응답은 HotKV에서 입력하고 보는 그대로 영어로 표시됩니다.
문제
LLM 비용은 사용량 기반이며, 에이전트의 루프 하나가 한 달 예산을 오후 한나절 만에 써 버릴 수 있습니다. 사후에 사용량을 확인하면 이미 잃은 것만 알 수 있고, 원자적이지 않은 예산 확인은 동시 요청에 의해 초과될 수 있습니다.
HotKV의 해결 방식
HotKV는 사용자나 테넌트마다 예산을 두고 원자적으로 차감하므로, 요청은 모델 호출 전에 허용되어 차감되거나 거부됩니다. 별도의 통계가 버킷별 실제 토큰, 비용, 지연 시간을 기록하고, 임베딩은 콘텐츠 해시로 저장되므로 동일한 텍스트는 한 번만 임베딩됩니다.
단계별 설명
명령 하나하나, 무슨 일이 일어나는가
- 01
예산 설정
한 테넌트에 30일 동안 200만 토큰과 50 USD를 설정합니다.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
호출 전에 차감
한 단계로 허용과 차감이 이뤄집니다. 그다음 모델을 호출합니다.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
실제 사용량 기록
호출의 입력, 출력, 캐시된 토큰, 비용, 지연 시간을 버킷별로 기록합니다.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
폭주 루프가 한도에 도달
테넌트의 에이전트가 멈추지 않습니다. 다음 호출이 한도를 넘게 되는 순간, 그 호출은 거부되고 차감되지 않습니다.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
다른 테넌트는 영향 없음
모든 테넌트는 자체 예산을 가집니다.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
테넌트 현황 확인
사용량, 한도, 기간의 남은 시간, 거부된 요청 수를 확인합니다.
LLMBUDGET.STATUS tenant:acme
적용 분야
실제 시나리오
사내 AI 플랫폼
팀마다 예산이 있습니다. 밤새 루프를 도는 잊힌 노트북은 한도에서 멈춥니다.
문서 처리
계약서 청크는 버전 간에 반복됩니다. 임베딩 중복 제거 덕분에 수정된 문서는 바뀐 문단에 대해서만 비용을 냅니다.
내장 기능
제공되는 기능
원자적 예산 확인
요청은 한 단계로 차감되거나 거부되므로 동시에 실행되는 에이전트들이 함께 한도를 넘을 수 없습니다.
LLMBUDGET.CONSUME토큰과 달러
직접 설정한 기간 동안 토큰 수, 비용 또는 둘 다로 제한합니다.
LLMBUDGET.SETLLMBUDGET.STATUS버킷별 실제 지출
입력, 출력, 캐시된 토큰과 비용, 지연 시간을 기록하고 다시 읽습니다.
LLMSTATS.RECORDLLMSTATS.GET임베딩은 한 번만 저장
콘텐츠 해시 기반 중복 제거로 동일한 텍스트는 한 번만 임베딩됩니다.
EMBED.DEDUP.PUTEMBED.DEDUP.GET자주 묻는 질문
테넌트가 예산을 초과하면 어떻게 됩니까?
LLMBUDGET.CONSUME은 0을 반환하고 차감하지 않습니다. 그러면 애플리케이션이 요청을 거절하거나 더 저렴한 경로로 전환합니다.
토큰뿐 아니라 비용으로도 제한할 수 있습니까?
예. 예산에는 선택한 기간에 대한 토큰 한도와 미국 달러 기준 비용 한도가 있습니다.
어떤 플랜에 포함됩니까?
LLM 예산, 통계, 임베딩 중복 제거는 Performance 및 Scale 플랜에 포함됩니다.