IA e LLMOperazioni LLMPiani Performance e Scale

Cache di guardrail e moderazione

Riproponi le risposte che hanno già superato i tuoi validatori e respingi i recidivi senza chiamare di nuovo la moderazione o il modello.

cache, buona e cattiva
2
nuove validazioni su un hit
0
TTL per i rifiuti
Brevi
Passo 1 di 5
Genera e valida

I namespace sono stati creati una volta con GUARD.CREATE e NCACHE.CREATE. Il modello produce JSON, e il tuo validatore lo controlla rispetto allo schema prima che venga salvato qualcosa.

Sessione di esempioplaying
# Genera e valida
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Una dimostrazione animata con comandi HotKV reali e risposte di esempio. Clicca su un passo qualsiasi per andarci. Comandi e risposte restano in inglese, esattamente come li digiti e li vedi in HotKV.

Il problema

L'output strutturato e i controlli di sicurezza sono lenti e costano denaro. C'è una chiamata al modello, una validazione con JSON schema e magari un secondo modello che giudica la risposta. Le richieste ripetute pagano tutto di nuovo. E lo stesso prompt abusivo, inviato mille volte da uno script, va alla moderazione mille volte.

Come lo gestisce HotKV

La guard cache salva solo le risposte che hanno già superato la tua validazione dello schema o i controlli dei guardrail, quindi un hit si può riproporre così com'è in sicurezza. La cache negativa ricorda i rifiuti come "refused by moderation" con un TTL breve, così le richieste dannose ripetute vengono respinte prima di arrivare al servizio di moderazione o al modello.

Passo dopo passo

Cosa succede, comando per comando

  1. 01

    Genera e valida

    I namespace sono stati creati una volta con GUARD.CREATE e NCACHE.CREATE. Il modello produce JSON, e il tuo validatore lo controlla rispetto allo schema prima che venga salvato qualcosa.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Riproponi senza ricontrollare

    Di nuovo la stessa richiesta. La risposta salvata ha già superato la validazione, quindi viene restituita così com'è.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    La moderazione rifiuta un prompt

    Un prompt dannoso viene rifiutato. Il rifiuto viene ricordato per cinque minuti.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Lo script ci riprova

    Lo stesso prompt un attimo dopo viene respinto dalla cache. Moderazione e modello non vengono chiamati.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Misura entrambe le cache

    Ogni namespace riporta hit, miss, eviction e memoria.

    GUARD.STATS validated
Dove si usa

Scenari reali

Estrazione strutturata

Fatture e moduli diventano JSON validato. Rielaborare lo stesso documento restituisce il risultato validato senza un'altra chiamata al modello.

App di chat per consumatori

Gli script abusivi che martellano lo stesso prompt vengono respinti dalla cache negativa, e i costi di moderazione restano stabili.

Lookup che falliscono

"Utente non trovato" e le altre risposte negative vengono messe in cache per poco tempo, così i retry non colpiscono il backend.

Integrato

Cosa ottieni

Guard cache

Vengono salvate solo le risposte che hanno superato i tuoi controlli, quindi un hit si può riproporre in sicurezza.

GUARD.SETGUARD.GET

Cache negativa

Ricorda per poco tempo i rifiuti e i risultati non trovati.

NCACHE.SETNCACHE.GET

TTL e limiti

TTL predefiniti e limiti di voci per namespace, con eviction quando è pieno.

GUARD.CREATENCACHE.CREATE

Statistiche

Hit, miss, eviction, memoria e risparmi per namespace.

GUARD.STATSNCACHE.STATS
Riferimento:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Domande frequenti

HotKV valida l'output da solo?

No. Decide il tuo validatore o guardrail. HotKV salva solo ciò che metti nella guard cache dopo che ha superato i controlli.

Per quanto tempo dovrei tenere in cache i rifiuti?

Di solito per poco, minuti piuttosto che giorni, così un cambio di policy o un falso positivo non resta appiccicato. Imposta il TTL per namespace o per voce.

Quali piani la includono?

La guard cache e la cache negativa fanno parte dei piani Performance e Scale.

Casi d'uso correlati

Applicazioni LLM

Cache esatta dei prompt

Non pagare mai due volte lo stesso prompt. Una cache LLM a corrispondenza esatta che conta i token e i dollari che ti ha fatto risparmiare.

Scopri
Operazioni LLM

Governance dei costi LLM

Applica un budget di token e di spesa per utente o tenant, guarda la spesa reale per bucket e crea l'embedding di un testo identico una sola volta.

Scopri
Applicazioni LLM

Assistente IA per l'assistenza clienti

Un bot di supporto che risponde subito alle domande ripetute, riconosce le riformulazioni per significato, basa le risposte nuove sul tuo centro assistenza e non sfora mai il budget.

Scopri

Provalo sul tuo carico di lavoro

HotKV parla il protocollo Redis, quindi puoi puntarci un client esistente ed eseguire questi stessi comandi.

Richiedi accesso anticipatoSuccessivo: Feature store