AI dan LLMAplikasi LLMPaket Performance dan Scale

Versioning Prompt dan Rollback

Beri versi pada system prompt Anda di lapisan data, luncurkan yang baru ke semua layanan sekaligus, dan rollback dengan satu perintah saat ia bermasalah.

perintah untuk rollback
1
deploy ulang
0
versi terbaru yang disimpan secara default
64
Langkah 1 dari 5
Terbitkan versi 1

Versi pertama dari system prompt agen dukungan.

Sesi contohplaying
# Terbitkan versi 1
hotkv> PROMPT.PUT support-agent "You are a helpful support agent."
(integer) 1

Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.

Masalahnya

System prompt berubah lebih sering daripada kode, namun biasanya berada di dalam kode. Setiap perubahan kecil adalah sebuah deploy, layanan yang berbeda bergeser ke versi yang berbeda, dan ketika prompt baru membuat asisten lebih buruk pada pukul 2 pagi, rollback berarti rilis lagi.

Cara HotKV menanganinya

Registri prompt menyimpan setiap versi dari setiap template di HotKV. Layanan membaca versi aktif saat runtime, editor menerbitkan versi baru dengan satu perintah, dan memilih versi mana yang aktif adalah satu peralihan atomik yang dilihat setiap layanan pada pembacaan berikutnya.

Langkah demi langkah

Apa yang terjadi, perintah demi perintah

  1. 01

    Terbitkan versi 1

    Versi pertama dari system prompt agen dukungan.

    PROMPT.PUT support-agent "You are a helpful support agent."
  2. 02

    Layanan membaca versi aktif

    Setiap layanan mengambil template saat runtime, bukan mengompilasinya ke dalam kode.

    PROMPT.GET support-agent
  3. 03

    Luncurkan versi 2

    Versi baru dengan metadata tentang siapa yang menulisnya. Ia menjadi aktif untuk semua layanan sekaligus.

    PROMPT.PUT support-agent "You are a concise, friendly support agent." META "{\"author\":\"maria\"}"
  4. 04

    Ada yang janggal, jadi rollback

    Jawaban menjadi terlalu singkat. Satu perintah membuat versi 1 aktif kembali. Tanpa deploy, tanpa restart.

    PROMPT.SETACTIVE support-agent 1
  5. 05

    Audit riwayatnya

    Versi terbaru tetap ada di registri, 64 secara default, sehingga Anda dapat membandingkannya atau kembali ke salah satunya.

    PROMPT.VERSIONS support-agent
Di mana ini cocok

Skenario dunia nyata

Tim produk yang menyempurnakan nada

Penulis menyesuaikan suara asisten setiap hari tanpa menunggu rilis rekayasa, dan versi terbaru disimpan.

Platform multi-layanan

Chat, penyusunan email, dan perangkuman semuanya membaca template yang sama, sehingga perbaikan sampai ke mana-mana pada saat yang sama.

Penanganan insiden

Ketika perubahan prompt menyebabkan jawaban buruk di produksi, on-call melakukan rollback dalam hitungan detik dengan satu perintah.

Bawaan

Yang Anda dapatkan

Template berversi

Setiap PROMPT.PUT menambahkan versi dan menjadikannya aktif. Versi terbaru disimpan, 64 secara default.

PROMPT.PUTPROMPT.VERSIONS

Dibaca saat runtime

Layanan membaca versi aktif, atau versi tertentu, dengan satu panggilan.

PROMPT.GETPROMPT.LATEST

Rollback seketika

Alihkan versi aktif secara atomik.

PROMPT.SETACTIVE

Metadata

Simpan penulis, alasan perubahan, atau id eksperimen bersama setiap versi.

META

Pertanyaan umum

Apakah layanan perlu restart setelah perubahan?

Tidak. Mereka membaca versi aktif saat runtime, jadi pembacaan berikutnya mengembalikan yang baru.

Bisakah saya juga menyimpan prompt di Git?

Ya. Terbitkan dari CI dengan PROMPT.PUT, sehingga Git tetap menjadi sumber tinjauan dan HotKV melayani versi yang aktif.

Paket mana yang menyertakannya?

Registri prompt adalah bagian dari paket Performance dan Scale.

Kasus penggunaan terkait

Coba pada beban kerja Anda sendiri

HotKV berbicara protokol Redis, jadi Anda dapat mengarahkan klien yang sudah ada ke HotKV dan menjalankan perintah yang sama.