Cắt giảm chi tiêu token LLM và trả lời các yêu cầu AI lặp lại từ cache trong chưa đến một mili giây trong khi chạy một kho dữ liệu đa luồng, tương thích Redis.
HotKV nằm phía trước các lần gọi LLM của bạn như một engine tương thích Redis. Nó nhận ra những prompt đã được trả lời, dù chính xác hay gần đúng, và trả cho ứng dụng của bạn phản hồi đã cache thay vì một lần gọi API mới.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Đã hỏi trước đây, từng chữ một: không gọi mô hình cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerKết quả minh họa (dữ liệu ví dụ)
Kịch bản: ask("How do I reset my password?") hai lần
Cả hai lần gọi đều trả về: "Use the password-reset link on the sign-in page."
Lần gọi đầu: cache miss → call_llm → lưu câu trả lời
Lần gọi thứ hai: câu trả lời từ cache → không gọi mô hìnhChúng tôi gửi cùng 3.000 câu hỏi hỗ trợ khách hàng tới bốn mô hình Claude hiện tại hai lần: một lần gửi thẳng tới mô hình, một lần có HotKV đứng phía trước.
Ở mức 1 triệu yêu cầu mỗi ngày, ngoại suy từ chi phí đo được cho mỗi yêu cầu và giả định cùng mẫu lưu lượng. Bốn mô hình Claude chạy với câu trả lời ngắn, còn Fable 5.1 và Opus 5.5 ở mức nỗ lực suy luận thấp nhất, nên các câu trả lời dài hơn hoặc nặng về suy luận sẽ làm mỗi lần gọi tránh được có giá trị hơn.
Chúng tôi chạy Claude Fable 5.1, Opus 5.5, Sonnet 5.5 và Haiku 5.5 trên cùng 3.000 yêu cầu cho mỗi mô hình, có và không có HotKV. Prompt caching của chính nhà cung cấp được bật trong mọi lần chạy, và token cùng chi phí được lấy từ mức sử dụng trong mỗi phản hồi, bao gồm cả token suy nghĩ.
| Mô hình | Token tiết kiệm | Chi phí khi không có | Chi phí khi có | Thấp hơn | Lần gọi mô hình | Phản hồi trung vị |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 đến 896 | 2,7 s đến 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 đến 898 | 2,9 s đến 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 đến 897 | 1,8 s đến 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 đến 897 | 1,4 s đến 125 ms |
Với mỗi câu hỏi diễn đạt lại được phục vụ từ cache, một mô hình khác so sánh câu trả lời từ cache với câu trả lời mới mà chính mô hình đó đưa ra cho đúng câu hỏi ấy, theo thứ tự ngẫu nhiên. Không mô hình nào chấm đầu ra của chính mình. Đây là một mô hình ngôn ngữ chấm, không phải đánh giá của con người, và độ nghiêm khắc của nó khác nhau giữa các mô hình, nên chỉ so sánh câu trả lời từ cache với câu trả lời mới trong cùng một mô hình.
| Mô hình | Câu hỏi diễn đạt lại đã được chấm | Câu trả lời từ cache phù hợp | Câu trả lời mới phù hợp |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Mỗi hàng là một lần chạy riêng của Claude Sonnet 5.5 trên cùng 3.000 yêu cầu (chi phí khi không có HotKV: $5,51).
| Ngưỡng | Chi phí | Thấp hơn | Câu trả lời từ cache phù hợp | Câu trả lời mới phù hợp |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3,000 câu hỏi hỗ trợ khách hàng được lấy từ tập kiểm thử Banking77 với hạt giống cố định (độ phổ biến của ý định theo phân phối Zipf, s=1.0; các câu hỏi được lấy mẫu đồng đều trong mỗi ý định, có lặp lại). Mỗi câu hỏi được gửi tới mô hình cùng chính sách hỗ trợ làm system prompt. Đường cơ sở: mọi yêu cầu đều gọi mô hình, với prompt caching của chính nhà cung cấp được bật. HotKV: tra cứu khớp chính xác (GET trên khóa SHA-256 của câu hỏi đã chuẩn hóa), sau đó là tra cứu ngữ nghĩa (SCACHE.GET với embedding của câu hỏi), và mô hình chỉ được gọi khi trượt. Số token được lấy từ khối usage trong mỗi phản hồi API; chi phí dùng giá niêm yết và bao gồm các lần gọi embedding. Ngưỡng tương đồng được chọn trên tập huấn luyện Banking77 riêng biệt, là giá trị thấp nhất cho độ chính xác cùng ý định ít nhất 98% ở các lần trúng ngữ nghĩa.
Mô hình embedding: OpenAI text-embedding-3-small. Ngưỡng khớp ngữ nghĩa: 0,81. Tập dữ liệu: Banking77 (tập kiểm thử) của PolyAI, giấy phép CC BY 4.0. 3.000 yêu cầu trên 77 ý định.
Đo vào 11 tháng 10, 2026. Khoản tiết kiệm phụ thuộc vào mức độ lưu lượng của bạn tự lặp lại. Một khối lượng công việc không có câu hỏi lặp lại hay tương tự thì không tiết kiệm được gì.
Chúng tôi nạp cùng các embedding OpenAI vào HotKV và Redis 8 rồi chạy cùng 1.000 truy vấn trên mỗi bên, với 1 đến 100 kết nối client đồng thời, trên một máy. Cả hai đều giữ vector độ chính xác đầy đủ, với cùng thiết lập chỉ mục.
Cả hai engine đều lưu vector float32 độ chính xác đầy đủ. Sau khi nạp 999.000 vector, tiến trình HotKV giữ 6,77 GB và Redis giữ 7,01 GB.
Không được đo: chế độ lượng tử hóa 8 bit mặc định của Redis, Redis Query Engine, các tập dữ liệu khác và phần cứng khác. Bản dựng HotKV là bản dựng phát triển chưa được phát hành. Redis được nạp khi ghim vào bốn vCPU và được tìm kiếm trên một chỉ mục đã nạp lại (xem bài viết).
| ef | Recall HotKV | Recall Redis | Truy vấn/giây HotKV | Truy vấn/giây Redis | Tỷ lệ |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8.061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6.825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5.241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3.454 | 3,6x |
| 500 | 0,997 | 0,994 | 7.688 | 2.483 | 3,1x |
HotKV bản dựng c8dafd37 và Redis 8.10.2, độ tương đồng cosine, HNSW với M=16 và ef_construction=200 trên cả hai, float32 trên cả hai (Redis NOQUANT). Recall là recall@10 so với kết quả vét cạn chính xác. Trung vị của 3 lần chạy trên Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Các máy chủ dùng chung 128 vCPU và các máy tạo tải chạy trên 32 vCPU khác, dùng cùng mã client cho cả hai.
Tập dữ liệu: embedding dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1.536 chiều) của Kumar Shivendu and Nirant Kasliwal, giấy phép MIT, cùng 1.000 truy vấn giữ riêng. Phương pháp đầy đủ, script và kết quả thô. Đo vào 14 tháng 10, 2026.
HotKV là phần mềm thương mại. Hãy để chúng tôi chạy giúp bạn, hoặc tự chạy trên hạ tầng do bạn kiểm soát.
Một instance HotKV được quản lý hoàn toàn, do chúng tôi lưu trữ và vận hành trên Google Cloud tại 42 khu vực. Mở theo từng đợt. Hãy đăng ký truy cập sớm.
Chạy HotKV trên máy chủ của riêng bạn hoặc tài khoản đám mây của riêng bạn, theo một tệp giấy phép, với toàn quyền kiểm soát nơi lưu trữ dữ liệu và truy cập mạng.
Mười hai thư viện client chính thức. HotKV cũng nói RESP2 và RESP3, nên các client và công cụ Redis hiện có của bạn kết nối mà không cần thay đổi nào ngoài hostname.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}từ GitHub (hotkv-perl-client)libhotkv (CMake, bản phát hành GitHub)hotkv-cpp (CMake, bản phát hành GitHub)Các SDK Python và Node.js đi kèm tích hợp một dòng cho những framework mà các nhóm đang dùng để xây dựng. Các công cụ mã nguồn mở riêng bao phủ LangGraph, MCP và các API tương thích OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Cũng bao gồm HotKVCache để cache khớp chính xác, cùng HotKVVectorStore và HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Cũng bao gồm HotKVKVStore và HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Cache Redis tích hợp của LiteLLM vốn đã hoạt động với HotKV mà không cần thay đổi. Hãy dùng tích hợp này khi bạn cũng muốn semantic caching.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Có trong gói npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Có trong gói npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Một checkpointer cho trạng thái đồ thị và một kho bộ nhớ dài hạn với tìm kiếm ngữ nghĩa. Không cần giấy phép HotKV.
Đọc tài liệupip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Cho phép Claude, Cursor và các trợ lý khác dùng khóa, bộ nhớ agent, prompt và tìm kiếm tài liệu. Chế độ chỉ đọc và namespace giữ các agent trong giới hạn.
Đọc tài liệugo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Một proxy cắm là chạy, cache các lệnh gọi API tương thích OpenAI và Anthropic, kể cả streaming. Đổi một URL, không cần mã.
Đọc tài liệuTìm hiểu điều gì làm HotKV nhanh, nó phù hợp ở đâu và cách bắt đầu.
Đa luồng ngay từ ngày đầu. Thông lượng tăng theo số lõi của bạn, không đi ngược lại nó.
Tìm hiểu thêmSemantic cache, RAG, bộ nhớ agent và kiểm soát chi phí LLM được tích hợp trong engine.
Tìm hiểu thêmCaching, phiên làm việc, hàng đợi, bảng xếp hạng. Cùng những khối lượng công việc như Redis, với thông lượng cao hơn.
Tìm hiểu thêmGắn thẻ khóa, TTL nano giây, tìm kiếm vector và số liệu tích hợp, là một phần của engine lõi.
Tìm hiểu thêmMột engine đa luồng nơi mọi lõi đọc, phân tích và thực thi lệnh song song.
Tìm hiểu thêmCác gói Starter, Performance và Scale trên HotKV Cloud, kèm lưu lượng đi kèm và không ràng buộc theo năm.
Tìm hiểu thêm