IA et LLMApplications LLMOffres Performance et Scale

Cache exact des prompts

Ne payez jamais deux fois le même prompt. Un cache LLM à correspondance exacte qui compte les tokens et les dollars qu'il vous a fait économiser.

aucun faux succès
Exact
latence de recherche dans STATS
p50
économies suivies par namespace
$
Étape 1 sur 4
Créer un namespace

Donnez-lui un TTL pour que les réponses se renouvellent, ainsi que ce qu'un succès économise en moyenne.

Session d’exempleplaying
# Créer un namespace
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK

Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.

Le problème

Les traitements par lots, les nouvelles tentatives, les rapports planifiés et les questions populaires envoient sans cesse le même prompt au modèle. Chacun est facturé en entier, et personne ne peut dire combien un cache aurait fait économiser, car rien ne le mesure.

Comment HotKV s'en charge

Le cache de prompts stocke la réponse de chaque prompt exact, avec le modèle et le nombre de tokens de l'appel qui l'a produite. Chaque succès ultérieur est compté, et HotKV peut ainsi indiquer les requêtes, les tokens et les dollars que vous n'avez pas dépensés.

Étape par étape

Ce qui se passe, commande par commande

  1. 01

    Créer un namespace

    Donnez-lui un TTL pour que les réponses se renouvellent, ainsi que ce qu'un succès économise en moyenne.

    PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
  2. 02

    Échec, puis enregistrement avec l'usage

    Le premier appel va au modèle. La réponse est enregistrée avec le modèle et le nombre de tokens qui l'ont produite.

    PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
  3. 03

    Chaque répétition est gratuite

    La tâche nocturne et chaque affichage du tableau de bord demandent la même chose. Ce sont tous des succès.

    PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
  4. 04

    Voir ce que vous avez économisé

    Les statistiques incluent le taux de succès, la latence de recherche et l'usage que vous n'avez pas payé.

    PCACHE.STATS reports
Où cela s'applique

Scénarios concrets

Rapports planifiés

Les mêmes résumés sont générés pour chaque personne qui consulte un tableau de bord. Un appel au modèle par rapport et par jour, au lieu d'un par affichage.

Traduction et localisation

Les textes d'interface et les descriptions de produits sont traduits une fois par langue, puis servis depuis le cache à chaque requête suivante.

Pipelines de classification

Les tickets, avis et e-mails au texte identique reçoivent le même libellé sans nouvel appel au modèle.

Intégré

Ce que vous obtenez

Correspondance exacte

Un succès uniquement pour le prompt identique, si bien qu'une réponse en cache n'est jamais servie pour une autre question.

PCACHE.GETPCACHE.SET

Tient compte de l'usage

Enregistrez le modèle et le nombre de tokens avec chaque réponse, pour que les économies soient calculées à partir de l'usage réel.

MODELINPUTOUTPUT

Métadonnées et nombre de succès

PCACHE.GETEX renvoie la réponse avec ses métadonnées et le nombre de fois où elle a été servie.

PCACHE.GETEX

Taux de succès et latence

PCACHE.STATS indique les succès, les échecs, les évictions, la mémoire, la latence de recherche et les économies.

PCACHE.STATS
Référence :PCACHE.CREATEPCACHE.SETPCACHE.STATS

Questions fréquentes

Quand utiliser le cache de prompts plutôt que le cache sémantique ?

Utilisez le cache de prompts quand les prompts se répètent à l'identique, comme dans les traitements par lots et les modèles fixes. Utilisez le cache sémantique quand les gens formulent la même question différemment. Beaucoup d'applications consultent les deux.

Est-ce la même chose que le cache de prompts du fournisseur ?

Non. Le cache de prompts du fournisseur réduit le prix des préfixes répétés de son côté. Un succès HotKV n'atteint jamais le fournisseur, les deux s'additionnent donc.

Quelles offres l'incluent ?

Le cache de prompts fait partie des offres Performance et Scale.

Cas d'usage associés

Applications LLM

Cache sémantique des réponses

Mettez en cache les réponses des LLM par leur sens et non par leur texte exact, pour que les questions reformulées touchent le cache et évitent l'appel au modèle.

Découvrir
Applications LLM

Passerelle LLM avec cache

Pointez votre SDK OpenAI ou Anthropic vers une seule URL, et les requêtes répétées sont servies par HotKV au lieu d'être payées une nouvelle fois. Aucune modification de code.

Découvrir
Exploitation des LLM

Gouvernance des coûts LLM

Imposez un budget de tokens et de dépenses par utilisateur ou par locataire, voyez les dépenses réelles par bucket et ne calculez l'embedding d'un texte identique qu'une seule fois.

Découvrir

Essayez-le sur votre propre charge de travail

HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.

Obtenir l'accès anticipéSuivant : Gestion des prompts