IA et LLMApplications LLMOffres Performance et Scale

Cache sémantique des réponses

Mettez en cache les réponses des LLM par leur sens et non par leur texte exact, pour que les questions reformulées touchent le cache et évitent l'appel au modèle.

recherche avant chaque appel au modèle
1
métriques de similarité
3
seuil ajustable
Par appel
Étape 1 sur 6
Créer un namespace

Définissez la taille des embeddings et la similarité qui compte comme un succès.

Session d’exempleplaying
# Créer un namespace
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK

Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.

Le problème

Un assistant de support reçoit la même question formulée de cent façons différentes. Un cache à correspondance exacte les manque presque toutes, et chaque reformulation paie un appel complet au modèle et attend la réponse entière.

Comment HotKV s'en charge

Un cache sémantique stocke chaque réponse à côté de l'embedding de sa question et recherche les nouvelles questions par similarité. Si un nouveau prompt est assez proche d'une question à laquelle vous avez déjà répondu, la réponse enregistrée est renvoyée et le modèle n'est jamais appelé. Le seuil détermine à partir de quand c'est assez proche.

Étape par étape

Ce qui se passe, commande par commande

  1. 01

    Créer un namespace

    Définissez la taille des embeddings et la similarité qui compte comme un succès.

    SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
  2. 02

    Un échec, donc un appel au modèle

    La première fois qu'une question est posée, rien de similaire n'est en cache, c'est donc le modèle qui répond.

    SCACHE.GET support_bot 0.013 -0.21 0.88 ...
  3. 03

    Mémoriser la réponse

    Enregistrez la question, la réponse et l'embedding de la question, pour une journée.

    SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400
  4. 04

    Une reformulation fait mouche

    « forgot my login pass » tombe tout près de la question enregistrée. La réponse et sa similarité sont renvoyées, et le modèle est évité.

    SCACHE.GET support_bot 0.011 -0.19 0.87 ...
  5. 05

    Plus strict pour une recherche

    Une recherche peut exiger une correspondance plus proche que la valeur par défaut du namespace, pour les réponses où un « presque » ne suffit pas.

    SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99
  6. 06

    Mesurer les économies

    Les statistiques par namespace montrent à quelle fréquence le cache a répondu à la place du modèle.

    SCACHE.STATS support_bot
Où cela s'applique

Scénarios concrets

Support client

Réinitialisations de mot de passe, copies de factures et délais de livraison reviennent sans cesse. Chaque variante après la première est servie depuis le cache.

Bots de connaissance internes

Les employés posent leurs questions sur les congés, les notes de frais et l'accès VPN avec leurs propres mots. Une seule réponse les sert tous jusqu'à son expiration.

Outils pour développeurs

« How do I paginate? » et « how to page through results » reçoivent la même réponse documentée sans second appel au modèle.

Intégré

Ce que vous obtenez

Correspondance par le sens

Des questions similaires partagent une seule réponse en cache, quelle que soit leur formulation.

SCACHE.GETSCACHE.SET

Vous réglez la sévérité

Définissez le seuil par namespace et ajustez-le pour une recherche donnée.

SCACHE.THRESHOLD

Des économies mesurables

Les statistiques par namespace indiquent les succès, les échecs et les entrées.

SCACHE.STATS

Cosinus, L2 ou produit scalaire

Choisissez la métrique adaptée à votre modèle d'embedding lors de la création du namespace.

SCACHE.CREATE
Référence :SCACHE.CREATESCACHE.GETSCACHE.SET

Questions fréquentes

Combien coûte un succès de cache ?

Un appel d'embedding et une recherche dans le cache. L'appel au modèle et son temps de génération sont évités.

Comment éviter les mauvaises réponses dues à une correspondance trop lâche ?

Relevez le seuil. Un seuil plus élevé exige une correspondance plus proche. Moins de questions font mouche, mais chaque succès est plus sûr.

Quelles offres l'incluent ?

Le cache sémantique fait partie des offres Performance et Scale.

Cas d'usage associés

Applications LLM

Cache exact des prompts

Ne payez jamais deux fois le même prompt. Un cache LLM à correspondance exacte qui compte les tokens et les dollars qu'il vous a fait économiser.

Découvrir
Applications LLM

Passerelle LLM avec cache

Pointez votre SDK OpenAI ou Anthropic vers une seule URL, et les requêtes répétées sont servies par HotKV au lieu d'être payées une nouvelle fois. Aucune modification de code.

Découvrir
Applications LLM

Assistant IA de support client

Un bot de support qui répond aussitôt aux questions répétées, reconnaît les reformulations par leur sens, ancre les nouvelles réponses dans votre centre d'aide et ne dépasse jamais son budget.

Découvrir

Essayez-le sur votre propre charge de travail

HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.

Obtenir l'accès anticipéSuivant : Cache de prompts