Help desk SaaS
Hàng nghìn khách hàng hỏi về mật khẩu, hóa đơn và giới hạn gói. Nhiều câu hỏi là lặp lại hoặc diễn đạt lại và được trả lời từ cache. Chỉ những câu thực sự mới mới tới mô hình.
AI và LLMỨng dụng LLMCác gói Performance và Scale
Trợ lý hỗ trợ khách hàng AI
Một bot hỗ trợ trả lời ngay các câu hỏi lặp lại, khớp câu diễn đạt lại theo ý nghĩa, dựa câu trả lời mới trên trung tâm trợ giúp của bạn và không bao giờ chi tiêu vượt mức.
- engine AI trong một máy chủ
- 5
- lần gọi mô hình cho mỗi câu hỏi mới
- 1
- cơ sở dữ liệu phụ cần vận hành
- 0
Bước 1 trên 6
Kiểm tra ngân sách của tenant
Ngân sách của mỗi tenant được đặt một lần bằng LLMBUDGET.SET. Trước mọi công việc của mô hình, hãy trừ nó một cách nguyên tử. Tenant vượt trần sẽ bị từ chối ngay tại đây, trước khi tiền được chi.
Phiên ví dụplaying
# Kiểm tra ngân sách của tenant
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.
Vấn đề
Một trợ lý hỗ trợ thực thụ không chỉ là một prompt. Nó cần một cache để cùng một câu hỏi không bị trả tiền hai lần, truy xuất trên trung tâm trợ giúp, bộ nhớ của cuộc hội thoại và một ngân sách để một khách hàng không thể đẩy hóa đơn lên cao. Điều đó thường có nghĩa là bốn hoặc năm dịch vụ, và nhiều thời gian dành cho mã keo dán hơn là cho sản phẩm.
HotKV xử lý như thế nào
HotKV chạy từng thành phần đó dưới dạng lệnh trong một máy chủ. Trợ lý kiểm tra ngân sách của tenant, trả lời các câu lặp lại chính xác từ prompt cache và các câu diễn đạt lại từ semantic cache, truy xuất các đoạn trung tâm trợ giúp cho bất cứ điều gì mới, lưu giữ cuộc hội thoại và cache từng câu trả lời mới cho khách hàng tiếp theo hỏi.
Từng bước một
Điều gì xảy ra, từng lệnh một
- 01
Kiểm tra ngân sách của tenant
Ngân sách của mỗi tenant được đặt một lần bằng LLMBUDGET.SET. Trước mọi công việc của mô hình, hãy trừ nó một cách nguyên tử. Tenant vượt trần sẽ bị từ chối ngay tại đây, trước khi tiền được chi.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Lặp lại chính xác, trả lời ngay
Cùng một câu hỏi được hỏi từng chữ một là một lần trúng prompt cache. Không embedding, không gọi mô hình.
PCACHE.GET support "How do I reset my password?" - 03
Một câu diễn đạt lại, khớp theo ý nghĩa
“I forgot my login password” được diễn đạt khác đi. Embedding của nó đủ gần với một câu hỏi trong semantic cache, được tạo một lần bằng SCACHE.CREATE, nên câu trả lời đã lưu được trả về.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Có điều gì đó mới, nên truy xuất ngữ cảnh
Một câu hỏi chưa ai hỏi. Tìm kiếm lai trên trung tâm trợ giúp đã nạp trả về những đoạn mà mô hình cần.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Một lần gọi mô hình, được ghi nhớ
Mô hình trả lời với các đoạn đó làm ngữ cảnh. Lượt này được thêm vào cuộc hội thoại, được mở bằng AMEM.CONV.CREATE khi cuộc chat bắt đầu, nên tin nhắn tiếp theo có sẵn lịch sử của nó.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Cache lại cho khách hàng tiếp theo
Câu trả lời mới đi vào semantic cache, nên mọi câu diễn đạt lại sau này của câu hỏi này đều trúng cache.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Phù hợp ở đâu
Các tình huống thực tế
Bot đổi trả cho thương mại điện tử
Chính sách đổi trả và giao hàng được nạp một lần thành pipeline RAG. Câu trả lời dựa trên văn bản chính sách hiện hành và mỗi cửa hàng trên nền tảng có ngân sách riêng.
Trợ lý IT nội bộ
Nhân viên hỏi cùng những câu về VPN và laptop mỗi tuần. Trợ lý giữ từng cuộc hội thoại, gợi nhớ các lượt trước và dừng một vòng lặp mất kiểm soát trước khi nó đốt hết hạn mức hằng tháng.
Tích hợp sẵn
Bạn nhận được gì
Hai lớp caching
Một prompt cache khớp chính xác cho các câu lặp lại từng chữ và một semantic cache cho các câu diễn đạt lại, mỗi lớp có thống kê trúng cache riêng.
PCACHE.GETSCACHE.GETCâu trả lời có căn cứ
Các bài viết trung tâm trợ giúp được chia chunk và lập chỉ mục trong pipeline RAG với tìm kiếm lai giữa vector và từ khóa.
RAG.INGESTRAG.SEARCHBộ nhớ hội thoại
Mỗi cuộc chat giữ một cửa sổ trượt các lượt cho prompt tiếp theo.
AMEM.CONV.APPENDAMEM.CONV.WINDOWNgân sách theo từng khách hàng
Giới hạn token và đô la theo từng tenant, được trừ nguyên tử trước khi gọi mô hình.
LLMBUDGET.CONSUMECâu hỏi thường gặp
Tôi có cần thêm một cơ sở dữ liệu vector không?
Không. Semantic cache, pipeline RAG và bộ nhớ agent đều chạy bên trong HotKV, ngay cạnh phần còn lại của dữ liệu ứng dụng của bạn.
Tôi có thể dùng mô hình embedding và chat nào?
Bất kỳ mô hình nào. HotKV lưu và tìm kiếm các vector bạn đưa cho nó và không bao giờ tự gọi mô hình, nên bạn giữ toàn quyền kiểm soát nhà cung cấp.
Gói nào bao gồm các lệnh này?
Prompt cache, semantic cache, pipeline RAG, bộ nhớ agent và ngân sách LLM là một phần của các gói Performance và Scale.
Trường hợp sử dụng liên quan
Thử trên khối lượng công việc của chính bạn
HotKV nói giao thức Redis, nên bạn có thể trỏ một client hiện có tới nó và chạy chính những lệnh này.