LLM 토큰 지출을 줄이고 반복되는 AI 요청에 캐시로 1밀리초 이내에 응답하십시오. 멀티스레드 Redis 호환 저장소를 운영하면서 말입니다.
HotKV는 하나의 Redis 호환 엔진으로서 LLM 호출 앞단에 위치합니다. 이미 답변한 프롬프트를 정확히 또는 근사적으로 인식하고, 새로운 API 호출 대신 캐시된 응답을 애플리케이션에 제공합니다.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # 이전과 똑같은 질문: 모델 호출 없음 cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answer예시 결과 (샘플 데이터)
시나리오: ask("How do I reset my password?") 2회 호출
두 호출 모두 반환: "Use the password-reset link on the sign-in page."
첫 번째 호출: 캐시 미스 → call_llm → 답변 저장
두 번째 호출: 캐시된 답변 → 모델 호출 없음동일한 고객 지원 질문 3,000개를 현재의 Claude 모델 네 개에 두 번씩 보냈습니다: 한 번은 모델에 직접, 한 번은 HotKV를 앞에 두고 보냈습니다.
하루 100만 건의 요청 기준이며, 측정된 요청당 비용에서 외삽하고 동일한 트래픽 패턴을 가정했습니다. 네 개의 Claude 모델은 짧은 답변으로 실행했고 Fable 5.1과 Opus 5.5는 가장 낮은 추론 수준으로 실행했으므로, 답변이 더 길거나 추론 비중이 크면 회피한 호출 하나하나의 가치가 더 커집니다.
Claude Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5를 각각 동일한 요청 3,000개로 HotKV 사용 및 미사용 상태에서 실행했습니다. 모든 실행에서 공급자 자체의 프롬프트 캐싱이 켜져 있었으며, 토큰과 비용은 사고(thinking) 토큰을 포함하여 각 응답의 usage에서 가져왔습니다.
| 모델 | 절감 토큰 | 미사용 시 비용 | 사용 시 비용 | 절감률 | 모델 호출 | 응답 시간 중앙값 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 → 896 | 2.7 s → 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 → 898 | 2.9 s → 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 → 897 | 1.8 s → 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 → 897 | 1.4 s → 125 ms |
캐시에서 제공된 모든 바꿔 말한 질문에 대해, 다른 모델이 캐시된 답변과 같은 모델이 바로 그 질문에 내놓은 새 답변을 무작위 순서로 비교했습니다. 어떤 모델도 자신의 출력을 평가하지 않았습니다. 이는 사람의 검토가 아니라 언어 모델의 판정이며, 판정의 엄격도는 모델마다 다르므로 캐시 답변과 새 답변은 한 모델 안에서만 비교하십시오.
| 모델 | 평가한 바꿔 말한 질문 | 캐시 답변 적합 | 새 답변 적합 |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
각 행은 동일한 요청 3,000개에 대한 Claude Sonnet 5.5의 개별 실행입니다 (HotKV 미사용 시 비용: $5.51).
| 임계값 | 비용 | 절감률 | 캐시 답변 적합 | 새 답변 적합 |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
고정 시드로 Banking77 테스트 분할에서 추출한 고객 지원 질문 3,000개(인텐트 인기도는 s=1.0인 Zipf 분포를 따르고, 각 인텐트 안에서 질문은 중복을 허용해 균일하게 샘플링). 각 질문은 동일한 지원 정책을 시스템 프롬프트로 하여 모델에 전송했습니다. 기준선: 모든 요청이 모델을 호출하며, 공급자 자체의 프롬프트 캐싱이 활성화되어 있습니다. HotKV: 완전 일치 조회(정규화된 질문의 SHA-256 키에 대한 GET) 후 시맨틱 조회(질문 임베딩을 사용한 SCACHE.GET)를 수행하고, 미스일 때만 모델을 호출합니다. 토큰 수는 각 API 응답의 usage 블록에서 가져왔으며, 비용은 정가 기준이고 임베딩 호출을 포함합니다. 유사도 임계값은 별도의 Banking77 학습 분할에서 시맨틱 적중 시 동일 인텐트 정밀도 98% 이상을 내는 가장 낮은 값으로 선택했습니다.
임베딩 모델: OpenAI text-embedding-3-small. 시맨틱 일치 임계값: 0.81. 데이터셋: PolyAI의 Banking77 (테스트 분할), CC BY 4.0 라이선스, 77개 인텐트에 걸친 요청 3,000개.
측정일: 2026년 10월 11일. 절감액은 트래픽이 얼마나 자주 반복되는지에 따라 달라지며, 반복되거나 유사한 질문이 없는 워크로드는 아무것도 절감하지 못합니다.
동일한 OpenAI 임베딩을 HotKV와 Redis 8에 로드하고, 한 대의 머신에서 동시 클라이언트 연결 1~100개로 각각에 동일한 쿼리 1,000개를 실행했습니다. 두 엔진 모두 동일한 인덱스 설정으로 전체 정밀도 벡터를 보관했습니다.
두 엔진 모두 전체 정밀도 float32 벡터를 저장했습니다. 벡터 999,000개를 로드한 후 HotKV 프로세스는 6.77 GB, Redis는 7.01 GB를 사용했습니다.
측정하지 않은 항목: Redis의 기본 8비트 양자화 모드, Redis Query Engine, 다른 데이터셋, 다른 하드웨어. HotKV 빌드는 아직 출시되지 않은 개발 빌드입니다. Redis는 vCPU 4개에 고정된 상태로 로딩되었고 다시 불러온 인덱스에서 검색되었습니다 (기사 참고).
| ef | HotKV 재현율 | Redis 재현율 | HotKV 쿼리/s | Redis 쿼리/s | 비율 |
|---|---|---|---|---|---|
| 40 | 0.940 | 0.923 | 63,897 | 8,061 | 7.9x |
| 80 | 0.970 | 0.962 | 37,508 | 6,825 | 5.5x |
| 150 | 0.987 | 0.980 | 21,912 | 5,241 | 4.2x |
| 300 | 0.993 | 0.990 | 12,393 | 3,454 | 3.6x |
| 500 | 0.997 | 0.994 | 7,688 | 2,483 | 3.1x |
HotKV 빌드 c8dafd37 및 Redis 8.10.2, 코사인 유사도, 양쪽 모두 M=16, ef_construction=200인 HNSW, 양쪽 모두 float32 (Redis NOQUANT). 재현율은 정확한 전수 탐색(brute-force) 결과 대비 recall@10입니다. Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs에서 3회 실행한 중앙값입니다. 서버들은 vCPU 128개를 공유했고 부하 생성기는 별도의 vCPU 32개에서 실행되었으며, 양쪽에 동일한 클라이언트 코드를 사용했습니다.
데이터셋: Kumar Shivendu and Nirant Kasliwal의 dbpedia-entities-openai-1M 임베딩(OpenAI text-embedding-ada-002, 1,536차원), MIT 라이선스, 별도 보관 쿼리 1,000개 포함. 전체 방법, 스크립트, 원시 결과. 측정일: 2026년 10월 14일.
HotKV는 상용 소프트웨어입니다. 운영을 저희에게 맡기거나, 직접 관리하는 인프라에서 직접 실행하십시오.
42개 리전의 Google Cloud에서 저희가 호스팅하고 운영하는 완전 관리형 HotKV 인스턴스입니다. 단계적으로 오픈하고 있으니 얼리 액세스를 신청하십시오.
라이선스 파일을 사용하여 자체 서버 또는 자체 클라우드 계정에서 HotKV를 실행하고, 데이터 레지던시와 네트워크 접근을 완전히 제어하십시오.
12개의 공식 클라이언트 라이브러리를 제공합니다. HotKV는 RESP2와 RESP3도 지원하므로 기존 Redis 클라이언트와 도구를 호스트 이름 외에는 변경 없이 연결할 수 있습니다.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}GitHub에서 설치 (hotkv-perl-client)libhotkv (CMake, GitHub 릴리스)hotkv-cpp (CMake, GitHub 릴리스)Python 및 Node.js SDK는 팀이 이미 사용하는 프레임워크를 위한 한 줄 통합을 제공합니다. 별도의 오픈 소스 도구가 LangGraph, MCP, OpenAI 호환 API를 지원합니다.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
완전 일치 캐싱을 위한 HotKVCache와 HotKVVectorStore, HotKVChatMessageHistory도 포함되어 있습니다.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
HotKVKVStore와 HotKVChatStore도 포함되어 있습니다.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
LiteLLM에 내장된 Redis 캐시는 변경 없이 HotKV에서 그대로 작동합니다. 시맨틱 캐싱도 필요할 때 이 통합을 사용하십시오.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });@hotkv/client npm 패키지에 포함되어 있습니다.
import { HotKVCache } from "@hotkv/client/langchain";@hotkv/client npm 패키지에 포함되어 있습니다.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
그래프 상태용 체크포인터와 시맨틱 검색을 지원하는 장기 메모리 저장소입니다. HotKV 라이선스가 필요 없습니다.
문서 읽기pip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Claude, Cursor 등 어시스턴트가 키, 에이전트 메모리, 프롬프트, 문서 검색을 사용할 수 있게 합니다. 읽기 전용 모드와 네임스페이스로 에이전트의 범위를 제한합니다.
문서 읽기go install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
OpenAI 호환 및 Anthropic API 호출을 스트리밍까지 포함해 캐시하는 드롭인 프록시입니다. URL 하나만 바꾸면 되며 코드 변경은 필요 없습니다.
문서 읽기HotKV가 빠른 이유, 어디에 적합한지, 어떻게 시작하는지 자세히 알아보십시오.
처음부터 멀티스레드로 설계되었습니다. 코어 수에 역행하지 않고 함께 확장되는 처리량.
자세히 알아보기시맨틱 캐시, RAG, 에이전트 메모리, LLM 비용 제어가 엔진에 내장되어 있습니다.
자세히 알아보기캐싱, 세션, 큐, 리더보드. Redis와 같은 워크로드를 더 높은 처리량으로 실행합니다.
자세히 알아보기키 태깅, 나노초 TTL, 벡터 검색, 내장 메트릭이 코어 엔진의 일부로 제공됩니다.
자세히 알아보기모든 코어가 명령을 병렬로 읽고, 파싱하고, 실행하는 멀티스레드 엔진입니다.
자세히 알아보기HotKV Cloud의 Starter, Performance, Scale 플랜. 트래픽이 포함되어 있으며 연간 약정이 없습니다.
자세히 알아보기