Ekstraksi terstruktur
Faktur dan formulir diubah menjadi JSON tervalidasi. Memproses ulang dokumen yang sama mengembalikan hasil tervalidasi tanpa panggilan model lagi.
AI dan LLMOperasi LLMPaket Performance dan Scale
Caching Guardrail dan Moderasi
Putar ulang jawaban yang sudah lolos validator Anda, dan tolak pelanggar berulang tanpa memanggil moderasi atau model lagi.
- cache, baik dan buruk
- 2
- validasi ulang pada hit
- 0
- TTL untuk penolakan
- Singkat
Langkah 1 dari 5
Hasilkan dan validasi
Namespace dibuat sekali dengan GUARD.CREATE dan NCACHE.CREATE. Model menghasilkan JSON, dan validator Anda memeriksanya terhadap skema sebelum apa pun disimpan.
Sesi contohplaying
# Hasilkan dan validasi
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.
Masalahnya
Keluaran terstruktur dan pemeriksaan keamanan lambat dan memakan biaya. Ada panggilan model, validasi skema JSON, dan mungkin model kedua untuk menilai jawaban. Permintaan berulang membayar semuanya lagi. Dan prompt kasar yang sama, dikirim seribu kali oleh skrip, masuk ke moderasi seribu kali.
Cara HotKV menanganinya
Guard cache hanya menyimpan respons yang sudah lolos validasi skema atau pemeriksaan guardrail Anda, sehingga sebuah hit diketahui aman untuk diputar ulang apa adanya. Negative cache mengingat penolakan seperti "refused by moderation" dengan TTL singkat, sehingga permintaan buruk yang berulang ditolak sebelum mencapai layanan moderasi atau model.
Langkah demi langkah
Apa yang terjadi, perintah demi perintah
- 01
Hasilkan dan validasi
Namespace dibuat sekali dengan GUARD.CREATE dan NCACHE.CREATE. Model menghasilkan JSON, dan validator Anda memeriksanya terhadap skema sebelum apa pun disimpan.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Putar ulang tanpa memeriksa ulang
Permintaan yang sama lagi. Jawaban tersimpan sudah lolos validasi, jadi dikembalikan apa adanya.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Moderasi menolak sebuah prompt
Prompt berbahaya ditolak. Penolakan diingat selama lima menit.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
Skrip mencoba lagi
Prompt yang sama sesaat kemudian ditolak dari cache. Moderasi dan model tidak dipanggil.
NCACHE.GET refused "prompt:9f31c2" - 05
Ukur kedua cache
Setiap namespace melaporkan hit, miss, eviksi, dan memori.
GUARD.STATS validated
Di mana ini cocok
Skenario dunia nyata
Aplikasi chat konsumen
Skrip penyalahgunaan yang menghantam prompt yang sama ditolak dari negative cache, menjaga biaya moderasi tetap datar.
Pencarian yang gagal
"User not found" dan jawaban negatif lainnya di-cache sebentar, sehingga percobaan ulang tidak menghantam backend.
Bawaan
Yang Anda dapatkan
Guard cache
Hanya respons yang lolos pemeriksaan Anda yang disimpan, sehingga hit aman untuk diputar ulang.
GUARD.SETGUARD.GETNegative cache
Ingat penolakan dan hasil tidak ditemukan untuk waktu singkat.
NCACHE.SETNCACHE.GETTTL dan batas
TTL default dan batas entri per namespace, dengan eviksi saat penuh.
GUARD.CREATENCACHE.CREATEStatistik
Hit, miss, eviksi, memori, dan penghematan per namespace.
GUARD.STATSNCACHE.STATSPertanyaan umum
Apakah HotKV memvalidasi keluaran itu sendiri?
Tidak. Validator atau guardrail Anda yang memutuskan. HotKV hanya menyimpan apa yang Anda masukkan ke guard cache setelah lolos.
Berapa lama penolakan sebaiknya di-cache?
Biasanya singkat, menit bukan hari, agar perubahan kebijakan atau false positive tidak menetap. Atur TTL per namespace atau per entri.
Paket mana yang menyertakannya?
Guard cache dan negative cache adalah bagian dari paket Performance dan Scale.
Kasus penggunaan terkait
Coba pada beban kerja Anda sendiri
HotKV berbicara protokol Redis, jadi Anda dapat mengarahkan klien yang sudah ada ke HotKV dan menjalankan perintah yang sama.