AI và LLMỨng dụng LLMCác gói Performance và Scale

Quản lý phiên bản prompt và khôi phục

Quản lý phiên bản system prompt của bạn trong tầng dữ liệu, triển khai prompt mới tới mọi dịch vụ cùng lúc, và khôi phục chỉ bằng một lệnh khi nó hoạt động sai.

lệnh để khôi phục
1
lần triển khai lại
0
phiên bản gần nhất được giữ theo mặc định
64
Bước 1 trên 5
Đăng phiên bản 1

Phiên bản đầu tiên của system prompt cho agent hỗ trợ.

Phiên ví dụplaying
# Đăng phiên bản 1
hotkv> PROMPT.PUT support-agent "You are a helpful support agent."
(integer) 1

Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.

Vấn đề

System prompt thay đổi thường xuyên hơn mã, nhưng thường lại nằm trong mã. Mỗi chỉnh sửa là một lần triển khai, các dịch vụ khác nhau trôi sang các phiên bản khác nhau, và khi một prompt mới làm trợ lý tệ đi lúc 2 giờ sáng, khôi phục có nghĩa là thêm một bản phát hành nữa.

HotKV xử lý như thế nào

Sổ đăng ký prompt giữ mọi phiên bản của từng mẫu trong HotKV. Các dịch vụ đọc phiên bản đang hoạt động lúc chạy, một biên tập viên đăng phiên bản mới chỉ bằng một lệnh, và việc chọn phiên bản nào đang hoạt động là một lần chuyển nguyên tử duy nhất mà mọi dịch vụ thấy ở lần đọc kế tiếp.

Từng bước một

Điều gì xảy ra, từng lệnh một

  1. 01

    Đăng phiên bản 1

    Phiên bản đầu tiên của system prompt cho agent hỗ trợ.

    PROMPT.PUT support-agent "You are a helpful support agent."
  2. 02

    Các dịch vụ đọc phiên bản đang hoạt động

    Mỗi dịch vụ lấy mẫu lúc chạy thay vì biên dịch nó vào mã.

    PROMPT.GET support-agent
  3. 03

    Triển khai phiên bản 2

    Một phiên bản mới kèm metadata về người viết. Nó trở thành phiên bản đang hoạt động cho mọi dịch vụ cùng lúc.

    PROMPT.PUT support-agent "You are a concise, friendly support agent." META "{\"author\":\"maria\"}"
  4. 04

    Có gì đó không ổn, nên khôi phục

    Câu trả lời trở nên quá cụt lủn. Một lệnh làm phiên bản 1 hoạt động trở lại. Không triển khai, không khởi động lại.

    PROMPT.SETACTIVE support-agent 1
  5. 05

    Kiểm toán lịch sử

    Các phiên bản gần đây ở lại trong sổ đăng ký, mặc định là 64, để bạn có thể so sánh chúng hoặc quay lại bất kỳ phiên bản nào.

    PROMPT.VERSIONS support-agent
Phù hợp ở đâu

Các tình huống thực tế

Nhóm sản phẩm tinh chỉnh giọng điệu

Người viết điều chỉnh giọng văn của trợ lý hằng ngày mà không phải chờ một bản phát hành kỹ thuật, và các phiên bản gần đây được giữ lại.

Nền tảng nhiều dịch vụ

Chat, soạn email và tóm tắt đều đọc cùng một mẫu, nên một bản sửa có hiệu lực ở mọi nơi vào cùng một thời điểm.

Ứng phó sự cố

Khi một thay đổi prompt gây ra câu trả lời tệ trên production, nhân viên trực khôi phục trong vài giây chỉ bằng một lệnh.

Tích hợp sẵn

Bạn nhận được gì

Mẫu có phiên bản

Mỗi PROMPT.PUT thêm một phiên bản và đặt nó là phiên bản đang hoạt động. Các phiên bản gần nhất được giữ, mặc định là 64.

PROMPT.PUTPROMPT.VERSIONS

Đọc lúc chạy

Các dịch vụ đọc phiên bản đang hoạt động, hoặc một phiên bản cụ thể, chỉ bằng một lần gọi.

PROMPT.GETPROMPT.LATEST

Khôi phục tức thì

Chuyển phiên bản đang hoạt động một cách nguyên tử.

PROMPT.SETACTIVE

Metadata

Giữ tác giả, lý do thay đổi hoặc id thử nghiệm cùng với mỗi phiên bản.

META

Câu hỏi thường gặp

Các dịch vụ có cần khởi động lại sau một thay đổi không?

Không. Chúng đọc phiên bản đang hoạt động lúc chạy, nên lần đọc kế tiếp trả về phiên bản mới.

Tôi có thể giữ prompt trong Git nữa không?

Có. Hãy đăng từ CI bằng PROMPT.PUT, để Git vẫn là nguồn để rà soát và HotKV phục vụ phiên bản đang chạy.

Gói nào bao gồm nó?

Sổ đăng ký prompt là một phần của các gói Performance và Scale.

Trường hợp sử dụng liên quan

Thử trên khối lượng công việc của chính bạn

HotKV nói giao thức Redis, nên bạn có thể trỏ một client hiện có tới nó và chạy chính những lệnh này.