Trích xuất có cấu trúc
Hóa đơn và biểu mẫu được chuyển thành JSON đã xác thực. Xử lý lại cùng một tài liệu trả về kết quả đã xác thực mà không cần thêm lần gọi mô hình.
AI và LLMVận hành LLMCác gói Performance và Scale
Cache cho rào chắn và kiểm duyệt
Phát lại các câu trả lời đã qua trình xác thực của bạn, và từ chối những kẻ lặp lại mà không phải gọi kiểm duyệt hay mô hình lần nữa.
- cache, tốt và xấu
- 2
- lần xác thực lại khi trúng
- 0
- TTL cho các lần từ chối
- Ngắn
Bước 1 trên 5
Tạo và xác thực
Các namespace được tạo một lần bằng GUARD.CREATE và NCACHE.CREATE. Mô hình tạo ra JSON, và trình xác thực của bạn kiểm tra nó theo schema trước khi bất cứ thứ gì được lưu.
Phiên ví dụplaying
# Tạo và xác thực
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.
Vấn đề
Đầu ra có cấu trúc và các kiểm tra an toàn vừa chậm vừa tốn tiền. Có một lần gọi mô hình, một lần xác thực JSON schema, và có thể một mô hình thứ hai để chấm câu trả lời. Các yêu cầu lặp lại phải trả tất cả một lần nữa. Và cùng một prompt lạm dụng, bị một script gửi cả nghìn lần, đi tới kiểm duyệt cả nghìn lần.
HotKV xử lý như thế nào
Guard cache chỉ lưu các phản hồi đã qua xác thực schema hoặc kiểm tra rào chắn của bạn, nên một lần trúng được biết là an toàn để phát lại nguyên trạng. Negative cache ghi nhớ các lần từ chối như “refused by moderation” với một TTL ngắn, nên các yêu cầu xấu lặp lại bị từ chối trước khi tới dịch vụ kiểm duyệt hay mô hình.
Từng bước một
Điều gì xảy ra, từng lệnh một
- 01
Tạo và xác thực
Các namespace được tạo một lần bằng GUARD.CREATE và NCACHE.CREATE. Mô hình tạo ra JSON, và trình xác thực của bạn kiểm tra nó theo schema trước khi bất cứ thứ gì được lưu.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Phát lại mà không kiểm tra lại
Cùng yêu cầu đó lần nữa. Câu trả lời đã lưu đã qua xác thực, nên nó được trả về nguyên trạng.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Kiểm duyệt từ chối một prompt
Một prompt có hại bị từ chối. Lần từ chối được ghi nhớ trong năm phút.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
Script thử lại
Cùng prompt đó một lát sau bị cache từ chối. Kiểm duyệt và mô hình không được gọi.
NCACHE.GET refused "prompt:9f31c2" - 05
Đo cả hai cache
Mỗi namespace báo cáo số lần trúng, trượt, loại bỏ và bộ nhớ.
GUARD.STATS validated
Phù hợp ở đâu
Các tình huống thực tế
Ứng dụng chat dành cho người dùng cuối
Các script lạm dụng dồn dập cùng một prompt bị từ chối từ negative cache, giữ chi phí kiểm duyệt ổn định.
Các tra cứu thất bại
“User not found” và các câu trả lời phủ định khác được cache trong thời gian ngắn, nên các lần thử lại không đập vào backend.
Tích hợp sẵn
Bạn nhận được gì
Guard cache
Chỉ các phản hồi đã qua kiểm tra của bạn mới được lưu, nên một lần trúng an toàn để phát lại.
GUARD.SETGUARD.GETNegative cache
Ghi nhớ các lần từ chối và kết quả không tìm thấy trong thời gian ngắn.
NCACHE.SETNCACHE.GETTTL và giới hạn
TTL mặc định và giới hạn số mục cho mỗi namespace, với việc loại bỏ khi đầy.
GUARD.CREATENCACHE.CREATEThống kê
Số lần trúng, trượt, loại bỏ, bộ nhớ và khoản tiết kiệm theo từng namespace.
GUARD.STATSNCACHE.STATSCâu hỏi thường gặp
HotKV có tự xác thực đầu ra không?
Không. Trình xác thực hoặc rào chắn của bạn quyết định. HotKV chỉ lưu những gì bạn đưa vào guard cache sau khi nó đã qua.
Nên cache các lần từ chối bao lâu?
Thường là ngắn, tính bằng phút thay vì ngày, để một thay đổi chính sách hay một kết quả dương tính giả không bị kẹt lại. Đặt TTL theo từng namespace hoặc theo từng mục.
Gói nào bao gồm nó?
Guard cache và negative cache là một phần của các gói Performance và Scale.
Trường hợp sử dụng liên quan
Thử trên khối lượng công việc của chính bạn
HotKV nói giao thức Redis, nên bạn có thể trỏ một client hiện có tới nó và chạy chính những lệnh này.