Extracción estructurada
Las facturas y los formularios se convierten en JSON validado. Volver a procesar el mismo documento devuelve el resultado validado sin otra llamada al modelo.
IA y LLMOperaciones de LLMPlanes Performance y Scale
Caché de guardrails y moderación
Repite respuestas que ya pasaron tus validadores y rechaza a los reincidentes sin volver a llamar a la moderación ni al modelo.
- cachés, buena y mala
- 2
- revalidaciones en un acierto
- 0
- TTL para los rechazos
- Cortos
Paso 1 de 5
Genera y valida
Los namespaces se crearon una vez con GUARD.CREATE y NCACHE.CREATE. El modelo produce JSON y tu validador lo comprueba contra el esquema antes de guardar nada.
Sesión de ejemploplaying
# Genera y valida
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Un recorrido animado con comandos reales de HotKV y respuestas de ejemplo. Haz clic en cualquier paso para saltar a él. Los comandos y las respuestas se quedan en inglés, tal como los escribes y los ves en HotKV.
El problema
La salida estructurada y las comprobaciones de seguridad son lentas y cuestan dinero. Hay una llamada al modelo, una validación contra un esquema JSON y quizá un segundo modelo que juzga la respuesta. Las solicitudes repetidas lo pagan todo otra vez. Y el mismo prompt abusivo, enviado mil veces por un script, pasa mil veces por la moderación.
Cómo lo resuelve HotKV
La caché guard solo guarda respuestas que ya pasaron tu validación de esquema o tus guardrails, así que se sabe que un acierto es seguro de repetir tal cual. La caché negativa recuerda rechazos como "refused by moderation" con un TTL corto, así las solicitudes malas repetidas se rechazan antes de llegar al servicio de moderación o al modelo.
Paso a paso
Qué ocurre, comando a comando
- 01
Genera y valida
Los namespaces se crearon una vez con GUARD.CREATE y NCACHE.CREATE. El modelo produce JSON y tu validador lo comprueba contra el esquema antes de guardar nada.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Repite sin volver a comprobar
La misma solicitud otra vez. La respuesta guardada ya pasó la validación, así que se devuelve tal cual.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
La moderación rechaza un prompt
Se rechaza un prompt dañino. El rechazo se recuerda durante cinco minutos.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
El script lo vuelve a intentar
El mismo prompt, un momento después, se rechaza desde la caché. No se llama ni a la moderación ni al modelo.
NCACHE.GET refused "prompt:9f31c2" - 05
Mide ambas cachés
Cada namespace informa de aciertos, fallos, expulsiones y memoria.
GUARD.STATS validated
Dónde encaja
Escenarios reales
Apps de chat para consumidores
Los scripts de abuso que machacan el mismo prompt se rechazan desde la caché negativa, y el costo de la moderación no sube.
Consultas que fallan
"Usuario no encontrado" y otras respuestas negativas se guardan en caché brevemente, así los reintentos no llegan al backend.
Integrado
Qué obtienes
Caché guard
Solo se guardan las respuestas que pasaron tus comprobaciones, así que un acierto es seguro de repetir.
GUARD.SETGUARD.GETCaché negativa
Recuerda los rechazos y los resultados no encontrados durante poco tiempo.
NCACHE.SETNCACHE.GETTTL y límites
TTL por defecto y límites de entradas por namespace, con expulsión cuando se llena.
GUARD.CREATENCACHE.CREATEEstadísticas
Aciertos, fallos, expulsiones, memoria y ahorro por namespace.
GUARD.STATSNCACHE.STATSPreguntas frecuentes
¿HotKV valida la salida por sí mismo?
No. Decide tu validador o tu guardrail. HotKV solo guarda lo que pones en la caché guard después de que haya pasado.
¿Cuánto tiempo deben guardarse los rechazos en caché?
Normalmente poco, minutos y no días, para que un cambio de política o un falso positivo no se quede fijado. Fija el TTL por namespace o por entrada.
¿Qué planes lo incluyen?
La caché guard y la caché negativa forman parte de los planes Performance y Scale.
Casos de uso relacionados
Pruébalo con tu propia carga de trabajo
HotKV habla el protocolo de Redis, así que puedes apuntar un cliente que ya usas hacia él y ejecutar estos mismos comandos.