Un bot de support qui répond aussitôt aux questions répétées, reconnaît les reformulations par leur sens, ancre les nouvelles réponses dans votre centre d'aide et ne dépasse jamais son budget.
Le budget de chaque locataire a été défini une fois avec LLMBUDGET.SET. Avant tout travail du modèle, il est débité de façon atomique. Un locataire au-delà de son plafond est refusé ici, avant que de l'argent soit dépensé.
Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.
Un vrai assistant de support, c'est bien plus qu'un prompt. Il lui faut un cache pour ne pas payer deux fois la même question, une recherche dans le centre d'aide, la mémoire de la conversation et un budget pour qu'un seul client ne fasse pas exploser la facture. Cela représente en général quatre ou cinq services, et plus de temps passé sur le code de liaison que sur le produit.
HotKV exécute chacune de ces briques sous forme de commandes dans un seul serveur. L'assistant vérifie le budget du locataire, répond aux répétitions exactes depuis le cache de prompts et aux reformulations depuis le cache sémantique, récupère des passages du centre d'aide pour toute nouvelle question, conserve la conversation et met en cache chaque nouvelle réponse pour le prochain client qui la posera.
Le budget de chaque locataire a été défini une fois avec LLMBUDGET.SET. Avant tout travail du modèle, il est débité de façon atomique. Un locataire au-delà de son plafond est refusé ici, avant que de l'argent soit dépensé.
LLMBUDGET.CONSUME tenant:acme 900 0.002La même question posée mot pour mot est un succès du cache de prompts. Aucun embedding, aucun appel au modèle.
PCACHE.GET support "How do I reset my password?"« I forgot my login password » est formulé autrement. Son embedding est assez proche d'une question du cache sémantique, créé une fois avec SCACHE.CREATE, et la réponse enregistrée est renvoyée.
SCACHE.GET support 0.013 -0.21 0.88 ...Une question que personne n'a encore posée. Une recherche hybride dans le centre d'aide ingéré renvoie les passages dont le modèle a besoin.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66Le modèle répond avec les passages comme contexte. L'échange est ajouté à la conversation, ouverte avec AMEM.CONV.CREATE au début du chat, pour que le message suivant dispose de l'historique.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."La nouvelle réponse entre dans le cache sémantique, et chaque reformulation ultérieure de cette question devient un succès.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...Des milliers de clients posent des questions sur les mots de passe, les factures et les limites de leur offre. Beaucoup de questions sont des répétitions ou des reformulations et reçoivent une réponse depuis le cache. Seules les questions vraiment nouvelles atteignent le modèle.
Les politiques de retour et de livraison sont ingérées une fois dans un pipeline RAG. Les réponses s'appuient sur le texte en vigueur et chaque boutique de la plateforme a son propre budget.
Les employés posent chaque semaine les mêmes questions sur le VPN et les ordinateurs portables. L'assistant conserve chaque conversation, se souvient des échanges précédents et stoppe une boucle incontrôlée avant qu'elle n'épuise l'allocation mensuelle.
Un cache de prompts exact pour les répétitions mot pour mot et un cache sémantique pour les reformulations, chacun avec ses propres statistiques de succès.
PCACHE.GETSCACHE.GETLes articles du centre d'aide sont découpés et indexés dans un pipeline RAG avec recherche hybride vectorielle et par mots-clés.
RAG.INGESTRAG.SEARCHChaque chat conserve une fenêtre glissante d'échanges pour le prompt suivant.
AMEM.CONV.APPENDAMEM.CONV.WINDOWDes limites en tokens et en dollars par locataire, débitées de façon atomique avant l'appel au modèle.
LLMBUDGET.CONSUMENon. Le cache sémantique, le pipeline RAG et la mémoire d'agent s'exécutent tous dans HotKV, à côté du reste des données de votre application.
N'importe lesquels. HotKV stocke et recherche les vecteurs que vous lui fournissez et n'appelle jamais de modèle lui-même. Vous gardez donc le contrôle total de vos fournisseurs.
Le cache de prompts, le cache sémantique, les pipelines RAG, la mémoire d'agent et les budgets LLM font partie des offres Performance et Scale.
HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.