Xây dựng cho hệ AI
Hầu hết các nhóm đều gắn thêm một cơ sở dữ liệu vector, một cache, một công cụ tìm kiếm và cả đống mã keo dán vào ứng dụng LLM của mình. HotKV tích hợp các thành phần đó vào một engine in-memory duy nhất, nên truy xuất, bộ nhớ và kiểm soát chi phí chạy ngay cạnh dữ liệu của bạn.
Chọn một câu hỏi. Xem nó được trả lời ở đâu và bao nhiêu phần của hệ thống nó không cần chạm tới.
- 00Câu hỏiđi qua
- LLMBUDGETNgân sách LLMđi qua
- PCACHEPrompt Cacheđã trả lời
- SCACHESemantic Cache
- RAGPipeline RAG
- 05LLM
Được trả lời từ prompt cache. Mô hình không bao giờ được gọi.
Các mốc thời gian là trung vị đo được từ bài đo tiết kiệm token bên dưới. Thời gian của semantic cache không được đo nên không hiển thị.
Chín engine AI, một máy chủ
Mỗi engine là một họ lệnh nằm cạnh dữ liệu của bạn. Mở bất kỳ engine nào để xem nó trong một trường hợp sử dụng thực tế.
Vì sao nên chạy AI trên HotKV
Chính lõi đa luồng đã dẫn đầu Redis và Valkey ở mọi lệnh chúng tôi đo cũng chạy luôn phần truy xuất, bộ nhớ và các rào chắn của bạn.
Một engine, không phải năm dịch vụ
Tìm kiếm vector, semantic cache, RAG, bộ nhớ agent và feature store đều nằm trong cùng một tiến trình. Không cần triển khai, bảo mật và giữ đồng bộ một vector DB, một cache và một cụm tìm kiếm riêng.
Trúng cache dưới một mili giây
Mọi thành phần AI đều chạy trên cùng lõi đa luồng đã dẫn đầu Redis và Valkey ở cả 12 lệnh trong các bài đo của chúng tôi. Trong bài kiểm tra LLM của chúng tôi, những lần trúng cache chính xác trả về trong khoảng 0,05 ms, so với 1,4 đến 2,9 giây cho một lần gọi mô hình.
Kiểm soát chi phí ngay trong tầng dữ liệu
Semantic cache và prompt cache giảm số lần gọi LLM, khử trùng lặp embedding giảm số lần gọi embedding, và ngân sách theo từng khóa đặt trần chi tiêu trước khi nó xảy ra. Khoản tiết kiệm được đo lường, không phải ước tính.
Đa tenant ngay từ thiết kế
Namespace giữ vector, bộ nhớ và ngân sách của từng tenant tách biệt nhau, và gói Scale bổ sung sổ đăng ký tenant cùng nhật ký kiểm toán cho hạ tầng AI dùng chung giữa các nhóm và khách hàng.
Trả tiền cho ít token hơn
Chúng tôi gửi cùng 3.000 câu hỏi hỗ trợ khách hàng tới bốn mô hình Claude hiện tại hai lần: một lần gửi thẳng tới mô hình, một lần có HotKV đứng phía trước.
Token được xử lý theo từng mô hình
Điều này có nghĩa gì ở quy mô lớn
- Anthropic claude-fable-5-1: $303.100 mỗi tháng khi không có HotKV, $91.800 khi có, tiết kiệm khoảng $211.300 mỗi tháng.
- Anthropic claude-opus-5-5: $146.000 mỗi tháng khi không có HotKV, $45.000 khi có, tiết kiệm khoảng $101.000 mỗi tháng.
- Anthropic claude-sonnet-5-5: $55.100 mỗi tháng khi không có HotKV, $16.600 khi có, tiết kiệm khoảng $38.500 mỗi tháng.
- Anthropic claude-haiku-5-5: $2.700 mỗi tháng khi không có HotKV, $800 khi có, tiết kiệm khoảng $1.900 mỗi tháng.
Ở mức 1 triệu yêu cầu mỗi ngày, ngoại suy từ chi phí đo được cho mỗi yêu cầu và giả định cùng mẫu lưu lượng. Bốn mô hình Claude chạy với câu trả lời ngắn, còn Fable 5.1 và Opus 5.5 ở mức nỗ lực suy luận thấp nhất, nên các câu trả lời dài hơn hoặc nặng về suy luận sẽ làm mỗi lần gọi tránh được có giá trị hơn.
Số liệu đầy đủToken, chi phí, chất lượng câu trả lời và sự đánh đổi theo ngưỡng tương đồngHiệnẨn
Chúng tôi chạy Claude Fable 5.1, Opus 5.5, Sonnet 5.5 và Haiku 5.5 trên cùng 3.000 yêu cầu cho mỗi mô hình, có và không có HotKV. Prompt caching của chính nhà cung cấp được bật trong mọi lần chạy, và token cùng chi phí được lấy từ mức sử dụng trong mỗi phản hồi, bao gồm cả token suy nghĩ.
| Mô hình | Token tiết kiệm | Chi phí khi không có | Chi phí khi có | Thấp hơn | Lần gọi mô hình | Phản hồi trung vị |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3.000 đến 896 | 2,7 s đến 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3.000 đến 898 | 2,9 s đến 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3.000 đến 897 | 1,8 s đến 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3.000 đến 897 | 1,4 s đến 125 ms |
Các câu trả lời từ cache tốt đến đâu?
Với mỗi câu hỏi diễn đạt lại được phục vụ từ cache, một mô hình khác so sánh câu trả lời từ cache với câu trả lời mới mà chính mô hình đó đưa ra cho đúng câu hỏi ấy, theo thứ tự ngẫu nhiên. Không mô hình nào chấm đầu ra của chính mình. Đây là một mô hình ngôn ngữ chấm, không phải đánh giá của con người, và độ nghiêm khắc của nó khác nhau giữa các mô hình, nên chỉ so sánh câu trả lời từ cache với câu trả lời mới trong cùng một mô hình.
| Mô hình | Câu hỏi diễn đạt lại đã được chấm | Câu trả lời từ cache phù hợp | Câu trả lời mới phù hợp |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Ngưỡng tương đồng đánh đổi giữa khoản tiết kiệm và chất lượng câu trả lời
Mỗi hàng là một lần chạy riêng của Claude Sonnet 5.5 trên cùng 3.000 yêu cầu (chi phí khi không có HotKV: $5,51).
| Ngưỡng | Chi phí | Thấp hơn | Câu trả lời từ cache phù hợp | Câu trả lời mới phù hợp |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Những con số này cho thấy và không cho thấy điều gì
- Ở ngưỡng 0,81 được dùng cho các kết quả phía trên, một câu trả lời từ cache phù hợp với đúng câu hỏi ít hơn câu trả lời mới từ 6 đến 11 điểm phần trăm. Các câu hỏi diễn đạt lại chiếm khoảng 31% số yêu cầu, nên trên toàn bộ phản hồi, mức chênh khoảng từ 2 đến 3 điểm. Trong các lần chạy theo ngưỡng, câu trả lời từ cache từ 0.88 trở lên không kém hơn câu trả lời mới, mà vẫn tiết kiệm 61% đến 64% chi phí.
- Con số “cùng ý định” ở trên không có nghĩa là “cùng câu trả lời đúng”. Trong một bài kiểm tra với 119 cặp câu hỏi cố tình rất gần nhau, trong đó một chi tiết như gửi tiền so với rút tiền làm thay đổi câu trả lời đúng, 62% số câu hỏi bị thay đổi sẽ được phục vụ câu trả lời từ cache ở ngưỡng 0,81, 25% ở 0.90 và 10% ở 0.95. Các cặp này được xây dựng để khó và cho thấy trường hợp xấu nhất, không phải tần suất xảy ra trong lưu lượng thực tế. Nếu câu trả lời sai gây tốn kém cho trường hợp sử dụng của bạn, hãy nâng ngưỡng lên.
- Một tập dữ liệu công khai gồm các câu hỏi ngân hàng ngắn, một mô hình embedding và một người chấm tự động. Hiệu ứng của ngưỡng được đo trên một mô hình. Ba mô hình còn lại chỉ chạy ở 0,81. Tỷ lệ lặp lại và các câu hỏi của bạn sẽ cho những con số khác.
3,000 câu hỏi hỗ trợ khách hàng được lấy từ tập kiểm thử Banking77 với hạt giống cố định (độ phổ biến của ý định theo phân phối Zipf, s=1.0; các câu hỏi được lấy mẫu đồng đều trong mỗi ý định, có lặp lại). Mỗi câu hỏi được gửi tới mô hình cùng chính sách hỗ trợ làm system prompt. Đường cơ sở: mọi yêu cầu đều gọi mô hình, với prompt caching của chính nhà cung cấp được bật. HotKV: tra cứu khớp chính xác (GET trên khóa SHA-256 của câu hỏi đã chuẩn hóa), sau đó là tra cứu ngữ nghĩa (SCACHE.GET với embedding của câu hỏi), và mô hình chỉ được gọi khi trượt. Số token được lấy từ khối usage trong mỗi phản hồi API; chi phí dùng giá niêm yết và bao gồm các lần gọi embedding. Ngưỡng tương đồng được chọn trên tập huấn luyện Banking77 riêng biệt, là giá trị thấp nhất cho độ chính xác cùng ý định ít nhất 98% ở các lần trúng ngữ nghĩa.
Mô hình embedding: OpenAI text-embedding-3-small. Ngưỡng khớp ngữ nghĩa: 0,81. Tập dữ liệu: Banking77 (tập kiểm thử) của PolyAI, giấy phép CC BY 4.0. 3.000 yêu cầu trên 77 ý định.
Đo vào 11 tháng 10, 2026. Khoản tiết kiệm phụ thuộc vào mức độ lưu lượng của bạn tự lặp lại. Một khối lượng công việc không có câu hỏi lặp lại hay tương tự thì không tiết kiệm được gì.
Phát hành tính năng AI, không phải hạ tầng
Bộ lệnh AI đi kèm mọi instance Performance và Scale trên HotKV Cloud. Hãy đăng ký truy cập sớm để bắt đầu xây dựng truy xuất, bộ nhớ và các biện pháp kiểm soát chi phí.