Strukturovaná extrakce
Faktury a formuláře se převádějí na validovaný JSON. Opětovné zpracování stejného dokumentu vrátí validovaný výsledek bez dalšího volání modelu.
AI a LLMProvoz LLMPlány Performance a Scale
Cachování guardrails a moderace
Přehrávejte odpovědi, které už prošly vašimi validátory, a opakované porušovatele odmítejte, aniž byste znovu volali moderaci nebo model.
- cache, dobrá a špatná
- 2
- opětovných validací při zásahu
- 0
- TTL pro odmítnutí
- Krátká
Krok 1 z 5
Vygenerování a validace
Jmenné prostory byly jednou vytvořeny pomocí GUARD.CREATE a NCACHE.CREATE. Model vytvoří JSON a váš validátor ho před uložením zkontroluje podle schématu.
Ukázková relaceplaying
# Vygenerování a validace
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Animovaný průvodce se skutečnými příkazy HotKV a ukázkovými odpověďmi. Kliknutím na kterýkoli krok na něj přeskočíte. Příkazy a odpovědi zůstávají anglicky, přesně tak, jak je v HotKV zadáváte a vidíte.
Problém
Strukturovaný výstup a bezpečnostní kontroly jsou pomalé a stojí peníze. Je tu volání modelu, validace podle schématu JSON a možná druhý model, který odpověď posuzuje. Opakované požadavky platí za všechno znovu. A stejný zneužívající prompt, odeslaný skriptem tisíckrát, jde do moderace tisíckrát.
Jak to řeší HotKV
Guard cache ukládá jen odpovědi, které už prošly vaší validací schématu nebo kontrolami guardrails, takže u zásahu je známo, že ho lze bezpečně přehrát tak, jak je. Negativní cache si pamatuje odmítnutí, například „odmítnuto moderací“, s krátkým TTL, takže opakované špatné požadavky jsou odmítnuty dřív, než se dostanou k moderační službě nebo modelu.
Krok za krokem
Co se děje, příkaz po příkazu
- 01
Vygenerování a validace
Jmenné prostory byly jednou vytvořeny pomocí GUARD.CREATE a NCACHE.CREATE. Model vytvoří JSON a váš validátor ho před uložením zkontroluje podle schématu.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Přehrání bez opětovné kontroly
Znovu stejný požadavek. Uložená odpověď už validací prošla, takže se vrátí tak, jak je.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Moderace prompt odmítne
Škodlivý prompt je odmítnut. Odmítnutí se pamatuje pět minut.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
Skript to zkusí znovu
Stejný prompt o chvíli později je odmítnut z cache. Moderace ani model se nevolají.
NCACHE.GET refused "prompt:9f31c2" - 05
Změřte obě cache
Každý jmenný prostor hlásí zásahy, minutí, vytěsnění a paměť.
GUARD.STATS validated
Kam to zapadá
Scénáře z praxe
Spotřebitelské chatovací aplikace
Skripty zneužívající stejný prompt jsou odmítány z negativní cache, takže náklady na moderaci zůstávají stabilní.
Vyhledávání, která selžou
„Uživatel nenalezen“ a další negativní odpovědi se krátce cachují, takže opakování nezatěžují backend.
Zabudováno
Co dostanete
Guard cache
Ukládají se jen odpovědi, které prošly vašimi kontrolami, takže zásah lze bezpečně přehrát.
GUARD.SETGUARD.GETNegativní cache
Pamatuje si odmítnutí a výsledky „nenalezeno“ po krátkou dobu.
NCACHE.SETNCACHE.GETTTL a limity
Výchozí TTL a limity položek pro každý jmenný prostor, s vytěsňováním, když je plný.
GUARD.CREATENCACHE.CREATEStatistiky
Zásahy, minutí, vytěsnění, paměť a úspory pro každý jmenný prostor.
GUARD.STATSNCACHE.STATSČasté otázky
Validuje HotKV výstup samo?
Ne. Rozhoduje váš validátor nebo guardrail. HotKV ukládá jen to, co do guard cache vložíte poté, co to prošlo.
Jak dlouho by se měla odmítnutí cachovat?
Obvykle krátce, v řádu minut, ne dnů, aby změna zásad nebo falešný poplach nezůstaly zafixované. TTL nastavte pro jmenný prostor nebo pro položku.
Které plány ji zahrnují?
Guard cache a negativní cache jsou součástí plánů Performance a Scale.
Související případy použití
Vyzkoušejte to na své zátěži
HotKV mluví protokolem Redisu, takže na něj můžete nasměrovat stávajícího klienta a spustit tytéž příkazy.