Produits SaaS d'IA
Chaque offre inclut une allocation mensuelle de tokens. Le budget est appliqué au moment de chaque appel, et non découvert sur la facture.
IA et LLMExploitation des LLMOffres Performance et Scale
Gouvernance des coûts LLM
Imposez un budget de tokens et de dépenses par utilisateur ou par locataire, voyez les dépenses réelles par bucket et ne calculez l'embedding d'un texte identique qu'une seule fois.
- débit ou refus
- Atomique
- limites par fenêtre
- Tokens + $
- embedding par texte unique
- 1x
Étape 1 sur 6
Définir un budget
2 millions de tokens et 50 USD sur 30 jours pour un locataire.
Session d’exempleplaying
# Définir un budget
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Une démonstration animée avec de vraies commandes HotKV et des exemples de réponses. Cliquez sur une étape pour y accéder directement. Les commandes et les réponses restent en anglais, exactement comme vous les saisissez et les voyez dans HotKV.
Le problème
Les coûts des LLM dépendent de l'usage, et une seule boucle dans un agent peut dépenser un mois de budget en un après-midi. Vérifier l'usage après coup vous dit seulement ce que vous avez déjà perdu, et une vérification de budget non atomique peut être dépassée par des requêtes simultanées.
Comment HotKV s'en charge
HotKV tient un budget pour chaque utilisateur ou locataire et le débite de façon atomique. Une requête est soit autorisée et débitée, soit refusée avant l'appel au modèle. Des statistiques séparées enregistrent les tokens, le coût et la latence réels par bucket, et les embeddings sont stockés par hash du contenu, si bien qu'un texte identique n'est converti qu'une seule fois.
Étape par étape
Ce qui se passe, commande par commande
- 01
Définir un budget
2 millions de tokens et 50 USD sur 30 jours pour un locataire.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Débiter avant d'appeler
Autorisé et débité en une étape. Ensuite, le modèle est appelé.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Enregistrer l'usage réel
Tokens d'entrée, de sortie et en cache, coût et latence de l'appel, par bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Une boucle incontrôlée atteint le plafond
L'agent du locataire continue. Dès que l'appel suivant dépasserait la limite, il est refusé et n'est pas débité.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Les autres locataires ne sont pas touchés
Chaque locataire a son propre budget.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Voir où en est un locataire
Usage, limites, temps restant dans la fenêtre et nombre de requêtes refusées.
LLMBUDGET.STATUS tenant:acme
Où cela s'applique
Scénarios concrets
Plateformes IA internes
Chaque équipe a un budget. Un notebook oublié qui tourne en boucle toute la nuit s'arrête au plafond.
Traitement de documents
Les chunks de contrats se répètent d'une version à l'autre. Avec des embeddings dédupliqués, un document révisé ne paie que les paragraphes modifiés.
Intégré
Ce que vous obtenez
Contrôles de budget atomiques
Une requête est débitée ou refusée en une étape, et des agents simultanés ne peuvent pas dépasser ensemble le plafond.
LLMBUDGET.CONSUMETokens et dollars
Limitez par nombre de tokens, par coût, ou les deux, sur une fenêtre que vous définissez.
LLMBUDGET.SETLLMBUDGET.STATUSDépenses réelles par bucket
Enregistrez les tokens d'entrée, de sortie et en cache, le coût et la latence, puis relisez-les.
LLMSTATS.RECORDLLMSTATS.GETEmbeddings stockés une fois
Grâce à la déduplication par hash du contenu, un texte identique n'est converti en embedding qu'une seule fois.
EMBED.DEDUP.PUTEMBED.DEDUP.GETQuestions fréquentes
Que se passe-t-il quand un locataire dépasse son budget ?
LLMBUDGET.CONSUME renvoie 0 et ne débite rien. Votre application refuse alors la requête ou se rabat sur une solution moins coûteuse.
Puis-je limiter par coût en plus des tokens ?
Oui. Un budget a une limite en tokens et une limite de coût en dollars US, sur la fenêtre de votre choix.
Quelles offres l'incluent ?
Les budgets LLM, les statistiques et la déduplication des embeddings font partie des offres Performance et Scale.
Cas d'usage associés
Essayez-le sur votre propre charge de travail
HotKV parle le protocole Redis. Vous pouvez donc y connecter un client existant et exécuter ces mêmes commandes.