Conçu pour la stack IA
La plupart des équipes greffent à leur application LLM une base de données vectorielle, un cache, un moteur de recherche et un tas de code de liaison. HotKV intègre ces primitives dans un seul moteur en mémoire : la récupération, la mémoire et le contrôle des coûts s’exécutent au plus près de vos données.
Choisissez une question. Regardez où elle reçoit une réponse, et quelle part de la pile elle n’a jamais besoin de toucher.
- 00Questionpasse
- LLMBUDGETBudget LLMpasse
- PCACHECache de promptsrépondu
- SCACHECache sémantique
- RAGPipeline RAG
- 05LLM
Réponse depuis le cache de prompts. Le modèle n’est jamais appelé.
Les temps sont les médianes mesurées dans le benchmark d’économies de tokens ci-dessous. Le temps du cache sémantique n’a pas été mesuré, il n’est donc pas affiché.
Neuf moteurs d’IA, un seul serveur
Chacun est une famille de commandes au plus près de vos données. Ouvrez-en un pour le voir dans un cas d’usage réel.
Pourquoi exécuter l’IA sur HotKV
Le même cœur multithread, qui a devancé Redis et Valkey sur chaque commande testée dans nos benchmarks, exécute aussi votre récupération, votre mémoire et vos garde-fous.
Un seul moteur, pas cinq services
La recherche vectorielle, le cache sémantique, le RAG, la mémoire d’agent et un feature store vivent dans le même processus. Pas de base vectorielle, de cache et de cluster de recherche distincts à déployer, à sécuriser et à garder synchronisés.
Succès de cache en moins d’une milliseconde
Chaque primitive d’IA s’exécute sur le même cœur multithread, qui a devancé Redis et Valkey sur les 12 commandes de nos benchmarks. Dans notre test LLM, les succès de cache exacts sont revenus en environ 0,05 ms, contre 1,4 à 2,9 s pour un appel au modèle.
Maîtrise des coûts dans la couche de données
Le cache sémantique et le cache de prompts réduisent les appels au LLM, la déduplication d’embeddings réduit les appels d’embedding, et les budgets par clé plafonnent les dépenses avant qu’elles n’aient lieu. Les économies sont mesurées, et non estimées.
Multi-tenant par conception
Les espaces de noms séparent les vecteurs, la mémoire et les budgets de chaque tenant, et l’offre Scale ajoute un registre des tenants et un journal d’audit pour une infrastructure d’IA partagée entre équipes et clients.
Payez moins de tokens
Nous avons envoyé les mêmes 3 000 questions de support client à quatre modèles Claude actuels, à deux reprises : une fois directement au modèle, une fois avec HotKV devant.
Tokens traités par modèle
Ce que cela donne à grande échelle
- Anthropic claude-fable-5-1 : 303 100 $ par mois sans HotKV, 91 800 $ avec, environ 211 300 $ économisés chaque mois.
- Anthropic claude-opus-5-5 : 146 000 $ par mois sans HotKV, 45 000 $ avec, environ 101 000 $ économisés chaque mois.
- Anthropic claude-sonnet-5-5 : 55 100 $ par mois sans HotKV, 16 600 $ avec, environ 38 500 $ économisés chaque mois.
- Anthropic claude-haiku-5-5 : 2 700 $ par mois sans HotKV, 800 $ avec, environ 1 900 $ économisés chaque mois.
Pour 1 million de requêtes par jour, extrapolé à partir du coût mesuré par requête et en supposant le même profil de trafic. Les quatre modèles Claude ont été exécutés avec des réponses courtes, Fable 5.1 et Opus 5.5 à leur plus faible effort de raisonnement, de sorte que des réponses plus longues ou plus gourmandes en raisonnement donneraient plus de valeur à chaque appel évité.
Tous les chiffresTokens, coûts, qualité des réponses et compromis du seuil de similaritéAfficherMasquer
Nous avons fait tourner Claude Fable 5.1, Opus 5.5, Sonnet 5.5 et Haiku 5.5 sur les mêmes 3 000 requêtes chacun, avec et sans HotKV. Le cache de prompts propre au fournisseur était activé à chaque exécution, et les tokens et les coûts proviennent de l’usage indiqué dans chaque réponse, tokens de réflexion inclus.
| Modèle | Tokens économisés | Coût sans | Coût avec | Réduction de | Appels au modèle | Réponse médiane |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 $ | 9,18 $ | 70 % | de 3 000 à 896 | de 2,7 s à 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 $ | 4,50 $ | 69 % | de 3 000 à 898 | de 2,9 s à 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 $ | 1,66 $ | 70 % | de 3 000 à 897 | de 1,8 s à 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 $ | 0,08 $ | 70 % | de 3 000 à 897 | de 1,4 s à 125 ms |
Quelle est la qualité des réponses en cache ?
Pour chaque question reformulée servie depuis le cache, un autre modèle a comparé la réponse en cache à la réponse fraîche que le même modèle avait donnée à cette question exacte, dans un ordre aléatoire. Aucun modèle n’a noté sa propre sortie. C’est un modèle de langage qui juge, et non une relecture humaine, et sa sévérité diffère d’un modèle à l’autre : comparez donc réponses en cache et réponses fraîches uniquement au sein d’un même modèle.
| Modèle | Questions reformulées évaluées | Réponse en cache adaptée | Réponse fraîche adaptée |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Le seuil de similarité arbitre entre économies et qualité des réponses
Chaque ligne est une exécution distincte de Claude Sonnet 5.5 sur les mêmes 3 000 requêtes (coût sans HotKV : 5,51 $).
| Seuil | Coût | Réduction de | Réponse en cache adaptée | Réponse fraîche adaptée |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 $ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 $ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 $ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 $ | 60 % | 92,0 % | 90,0 % |
Ce que ces chiffres montrent et ne montrent pas
- Au seuil de 0,81 utilisé pour les résultats ci-dessus, une réponse en cache convient à la question exacte moins souvent qu’une réponse fraîche, de 6 à 11 points de pourcentage. Les questions reformulées représentent environ 31 % des requêtes ; sur l’ensemble des réponses, cela donne donc environ 2 à 3 points. Dans les exécutions par seuil, les réponses en cache à partir de 0,88 n’étaient pas moins bonnes que les réponses fraîches, tout en économisant encore de 61 % à 64 % du coût.
- Le chiffre « même intention » ci-dessus ne signifie pas « même bonne réponse ». Dans un test portant sur 119 paires de questions volontairement proches, où un seul détail, comme dépôt ou retrait, change la bonne réponse, 62 % des questions modifiées recevraient la réponse en cache au seuil de 0,81, 25 % à 0,90 et 10 % à 0,95. Ces paires sont conçues pour être difficiles et montrent le pire cas, pas la fréquence à laquelle il se produit dans le trafic réel. Si les mauvaises réponses coûtent cher dans votre cas d’usage, relevez le seuil.
- Un jeu de données public de courtes questions bancaires, un modèle d’embedding et un juge automatisé. L’effet du seuil a été mesuré sur un seul modèle. Les trois autres n’ont été exécutés qu’à 0,81. Votre taux de répétition et vos questions donneront des chiffres différents.
3 000 questions de support client tirées du jeu de test Banking77 avec une graine fixe (la popularité des intentions suit une distribution de Zipf, s=1,0 ; les questions sont échantillonnées uniformément au sein de chaque intention, avec répétitions). Chaque question a été envoyée au modèle avec la même politique de support comme prompt système. Référence : chaque requête appelle le modèle, avec le cache de prompts du fournisseur activé. HotKV : recherche à correspondance exacte (GET sur une clé SHA-256 de la question normalisée), puis recherche sémantique (SCACHE.GET avec un embedding de la question), et le modèle n’est appelé qu’en cas d’échec de cache. Les nombres de tokens sont tirés du bloc d’usage de chaque réponse d’API ; les coûts utilisent les prix catalogue et incluent les appels d’embedding. Le seuil de similarité a été choisi sur le jeu d’entraînement Banking77, distinct, comme la valeur la plus basse donnant au moins 98 % de précision d’intention identique sur les succès sémantiques.
Modèle d’embedding : OpenAI text-embedding-3-small. Seuil de correspondance sémantique : 0,81. Jeu de données : Banking77 (jeu de test) par PolyAI, sous licence CC BY 4.0. 3 000 requêtes réparties sur 77 intentions.
Mesuré le 11 octobre 2026. Les économies dépendent de la fréquence à laquelle votre trafic se répète. Une charge de travail sans question répétée ou similaire n’économise rien.
Livrez des fonctionnalités d’IA, pas de l’infrastructure
Le jeu de commandes d’IA est fourni avec chaque instance Performance et Scale de HotKV Cloud. Demandez un accès anticipé pour commencer à construire la récupération, la mémoire et le contrôle des coûts.