Sản phẩm SaaS AI
Mỗi gói gồm một hạn mức token hằng tháng. Ngân sách được áp dụng ngay tại thời điểm mỗi lệnh gọi, không phải đến khi nhìn hóa đơn mới biết.
AI và LLMVận hành LLMCác gói Performance và Scale
Quản trị chi phí LLM
Áp dụng ngân sách token và chi tiêu cho mỗi người dùng hoặc tenant, xem chi tiêu thực theo từng bucket, và chỉ embed cùng một văn bản một lần.
- trừ hoặc từ chối
- Nguyên tử
- giới hạn theo cửa sổ
- Token + $
- embedding cho mỗi văn bản duy nhất
- 1x
Bước 1 trên 6
Đặt ngân sách
2 triệu token và 50 USD trong 30 ngày cho một tenant.
Phiên ví dụplaying
# Đặt ngân sách
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.
Vấn đề
Chi phí LLM tính theo mức sử dụng, và một vòng lặp trong agent có thể tiêu hết ngân sách cả tháng trong một buổi chiều. Kiểm tra mức sử dụng sau sự việc chỉ cho bạn biết bạn đã mất gì, và một lần kiểm tra ngân sách không nguyên tử có thể bị các yêu cầu đồng thời vượt qua.
HotKV xử lý như thế nào
HotKV giữ một ngân sách cho mỗi người dùng hoặc tenant và trừ nó một cách nguyên tử, nên một yêu cầu hoặc được cho phép và bị trừ, hoặc bị từ chối trước khi mô hình được gọi. Thống kê riêng ghi lại token, chi phí và độ trễ thực theo từng bucket, và embedding được lưu theo mã băm nội dung nên văn bản giống hệt chỉ được embed một lần.
Từng bước một
Điều gì xảy ra, từng lệnh một
- 01
Đặt ngân sách
2 triệu token và 50 USD trong 30 ngày cho một tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Trừ trước khi gọi
Được cho phép và bị trừ trong một bước. Sau đó mô hình mới được gọi.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Ghi lại mức sử dụng thực
Token đầu vào, đầu ra và đã cache, chi phí và độ trễ của lệnh gọi, theo từng bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Một vòng lặp mất kiểm soát chạm trần
Agent của tenant cứ tiếp tục. Khi lệnh gọi tiếp theo sẽ vượt giới hạn, nó bị từ chối và không bị trừ.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Các tenant khác không bị ảnh hưởng
Mỗi tenant có ngân sách riêng.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Kiểm tra tenant đang ở đâu
Mức sử dụng, giới hạn, thời gian còn lại trong cửa sổ và số yêu cầu đã bị từ chối.
LLMBUDGET.STATUS tenant:acme
Phù hợp ở đâu
Các tình huống thực tế
Nền tảng AI nội bộ
Mỗi nhóm có một ngân sách. Một notebook bị quên chạy vòng lặp qua đêm sẽ dừng ở mức trần.
Xử lý tài liệu
Các chunk hợp đồng lặp lại giữa các phiên bản. Embedding được khử trùng lặp nghĩa là một tài liệu đã sửa chỉ phải trả tiền cho những đoạn đã thay đổi.
Tích hợp sẵn
Bạn nhận được gì
Kiểm tra ngân sách nguyên tử
Một yêu cầu bị trừ hoặc bị từ chối trong một bước, nên các agent đồng thời không thể cùng nhau vượt trần.
LLMBUDGET.CONSUMEToken và đô la
Giới hạn theo số token, theo chi phí, hoặc cả hai, trong một cửa sổ do bạn đặt.
LLMBUDGET.SETLLMBUDGET.STATUSChi tiêu thực theo từng bucket
Ghi token đầu vào, đầu ra và đã cache, chi phí và độ trễ, rồi đọc lại chúng.
LLMSTATS.RECORDLLMSTATS.GETEmbedding chỉ lưu một lần
Khử trùng lặp theo mã băm nội dung nghĩa là văn bản giống hệt chỉ được embed một lần.
EMBED.DEDUP.PUTEMBED.DEDUP.GETCâu hỏi thường gặp
Điều gì xảy ra khi một tenant vượt ngân sách?
LLMBUDGET.CONSUME trả về 0 và không trừ. Ứng dụng của bạn sau đó từ chối yêu cầu hoặc chuyển sang một đường rẻ hơn.
Tôi có thể giới hạn theo chi phí cũng như token không?
Có. Một ngân sách có giới hạn token và giới hạn chi phí bằng đô la Mỹ, trong cửa sổ bạn chọn.
Gói nào bao gồm nó?
Ngân sách LLM, thống kê và khử trùng lặp embedding là một phần của các gói Performance và Scale.
Trường hợp sử dụng liên quan
Thử trên khối lượng công việc của chính bạn
HotKV nói giao thức Redis, nên bạn có thể trỏ một client hiện có tới nó và chạy chính những lệnh này.