IA et LLMExploitation des LLMOffres Performance et Scale

Cache des garde-fous et de la modération

Rejouez les réponses déjà validées et refusez les récidivistes sans rappeler la modération ni le modèle.

caches, bons et mauvais
2
revalidation sur un succès
0
TTL pour les refus
Courts
Étape 1 sur 5
Générer et valider

Les namespaces ont été créés une fois avec GUARD.CREATE et NCACHE.CREATE. Le modèle produit du JSON, et votre validateur le vérifie par rapport au schéma avant tout enregistrement.

Session d’exempleplaying
# Générer et valider
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.

Le problème

Les sorties structurées et les contrôles de sécurité sont lents et coûtent de l'argent. Il y a un appel au modèle, une validation de schéma JSON et parfois un second modèle pour juger la réponse. Les requêtes répétées repaient tout cela. Et le même prompt abusif, envoyé mille fois par un script, passe mille fois par la modération.

Comment HotKV s'en charge

Le guard cache ne stocke que les réponses qui ont déjà passé votre validation de schéma ou vos garde-fous, et un succès peut donc être rejoué tel quel en toute sécurité. Le cache négatif retient les refus, comme « refused by moderation », avec un TTL court, et les mauvaises requêtes répétées sont écartées avant d'atteindre le service de modération ou le modèle.

Étape par étape

Ce qui se passe, commande par commande

  1. 01

    Générer et valider

    Les namespaces ont été créés une fois avec GUARD.CREATE et NCACHE.CREATE. Le modèle produit du JSON, et votre validateur le vérifie par rapport au schéma avant tout enregistrement.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Rejouer sans revérifier

    La même requête, à nouveau. La réponse enregistrée a déjà passé la validation, elle est donc renvoyée telle quelle.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    La modération refuse un prompt

    Un prompt nuisible est refusé. Le refus est retenu pendant cinq minutes.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Le script réessaie

    Le même prompt, un instant plus tard, est écarté par le cache. Ni la modération ni le modèle ne sont appelés.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Mesurer les deux caches

    Chaque namespace indique les succès, les échecs, les évictions et la mémoire.

    GUARD.STATS validated
Où cela s'applique

Scénarios concrets

Extraction structurée

Les factures et formulaires sont transformés en JSON validé. Retraiter le même document renvoie le résultat validé sans nouvel appel au modèle.

Apps de chat grand public

Les scripts abusifs qui martèlent le même prompt sont refusés depuis le cache négatif, et les coûts de modération restent stables.

Recherches qui échouent

« User not found » et les autres réponses négatives sont mis en cache brièvement, et les nouvelles tentatives ne sollicitent pas le backend.

Intégré

Ce que vous obtenez

Guard cache

Seules les réponses qui ont passé vos contrôles sont stockées, et un succès peut donc être rejoué sans risque.

GUARD.SETGUARD.GET

Cache négatif

Retenez les refus et les résultats introuvables pendant un court moment.

NCACHE.SETNCACHE.GET

TTL et limites

TTL par défaut et limites d'entrées par namespace, avec éviction quand il est plein.

GUARD.CREATENCACHE.CREATE

Statistiques

Succès, échecs, évictions, mémoire et économies par namespace.

GUARD.STATSNCACHE.STATS
Référence :GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Questions fréquentes

HotKV valide-t-il lui-même la sortie ?

Non. C'est votre validateur ou votre garde-fou qui décide. HotKV ne stocke que ce que vous placez dans le guard cache une fois la validation passée.

Combien de temps mettre les refus en cache ?

En général brièvement, des minutes plutôt que des jours, pour qu'un changement de politique ou un faux positif ne reste pas figé. Définissez le TTL par namespace ou par entrée.

Quelles offres l'incluent ?

Le guard cache et le cache négatif font partie des offres Performance et Scale.

Cas d'usage associés

Applications LLM

Cache exact des prompts

Ne payez jamais deux fois le même prompt. Un cache LLM à correspondance exacte qui compte les tokens et les dollars qu'il vous a fait économiser.

Découvrir
Exploitation des LLM

Gouvernance des coûts LLM

Imposez un budget de tokens et de dépenses par utilisateur ou par locataire, voyez les dépenses réelles par bucket et ne calculez l'embedding d'un texte identique qu'une seule fois.

Découvrir
Applications LLM

Assistant IA de support client

Un bot de support qui répond aussitôt aux questions répétées, reconnaît les reformulations par leur sens, ancre les nouvelles réponses dans votre centre d'aide et ne dépasse jamais son budget.

Découvrir

Essayez-le sur votre propre charge de travail

HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.

Obtenir l'accès anticipéSuivant : Feature store