Strukturerad extraktion
Fakturor och formulär görs om till validerad JSON. Att bearbeta samma dokument igen returnerar det validerade resultatet utan ytterligare ett modellanrop.
AI och LLMLLM-driftPlanerna Performance och Scale
Cache för skyddsräcken och moderering
Spela upp svar som redan har klarat dina validerare, och neka återkommande förövare utan att anropa moderering eller modellen igen.
- cacher, en för bra och en för dåliga
- 2
- omvalideringar vid en träff
- 0
- TTL för nekanden
- Korta
Steg 1 av 5
Generera och validera
Namnrymderna skapades en gång med GUARD.CREATE och NCACHE.CREATE. Modellen producerar JSON, och din validerare kontrollerar den mot schemat innan något lagras.
Exempelsessionplaying
# Generera och validera
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.
Problemet
Strukturerad utdata och säkerhetskontroller är långsamma och kostar pengar. Det blir ett modellanrop, en validering mot JSON-schema och kanske en andra modell som bedömer svaret. Upprepade förfrågningar betalar allt detta igen. Och samma kränkande prompt, skickad tusen gånger av ett skript, går till moderering tusen gånger.
Så löser HotKV det
Guard-cachen lagrar bara svar som redan har klarat din schemavalidering eller dina skyddsräckeskontroller, så en träff är känd för att vara säker att spela upp som den är. Den negativa cachen minns nekanden som ”refused by moderation” med en kort TTL, så att upprepade dåliga förfrågningar avvisas innan de når modereringstjänsten eller modellen.
Steg för steg
Vad som händer, kommando för kommando
- 01
Generera och validera
Namnrymderna skapades en gång med GUARD.CREATE och NCACHE.CREATE. Modellen producerar JSON, och din validerare kontrollerar den mot schemat innan något lagras.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Spela upp utan att kontrollera igen
Samma förfrågan igen. Det lagrade svaret har redan klarat valideringen, så det returneras som det är.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Moderering nekar en prompt
En skadlig prompt nekas. Nekandet kommer ihåg i fem minuter.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
Skriptet försöker igen
Samma prompt en stund senare avvisas från cachen. Moderering och modellen anropas inte.
NCACHE.GET refused "prompt:9f31c2" - 05
Mät båda cacharna
Varje namnrymd redovisar träffar, missar, borttagningar och minne.
GUARD.STATS validated
Där det passar
Verkliga scenarier
Chattappar för konsumenter
Missbruksskript som hamrar på samma prompt nekas från den negativa cachen, vilket håller modereringskostnaderna konstanta.
Uppslag som misslyckas
”User not found” och andra negativa svar cachas kort, så att omförsök inte når backend.
Inbyggt
Det här får du
Guard-cache
Bara svar som har klarat dina kontroller lagras, så en träff är säker att spela upp.
GUARD.SETGUARD.GETNegativ cache
Kom ihåg nekanden och resultat av typen hittades-inte en kort stund.
NCACHE.SETNCACHE.GETTTL och gränser
Standard-TTL och postgränser per namnrymd, med borttagning när den är full.
GUARD.CREATENCACHE.CREATEStatistik
Träffar, missar, borttagningar, minne och besparingar per namnrymd.
GUARD.STATSNCACHE.STATSVanliga frågor
Validerar HotKV utdatan själv?
Nej. Din validerare eller ditt skyddsräcke avgör. HotKV lagrar bara det du lägger i guard-cachen efter att det har klarats.
Hur länge ska nekanden cachas?
Oftast kort, minuter snarare än dagar, så att en policyändring eller en falsk positiv inte fastnar. Ange TTL per namnrymd eller per post.
Vilka planer innehåller den?
Guard-cachen och den negativa cachen ingår i planerna Performance och Scale.
Relaterade användningsfall
Prova på din egen arbetslast
HotKV talar Redis-protokollet, så du kan peka en befintlig klient mot det och köra samma kommandon.