Réduisez vos dépenses de tokens LLM et répondez aux requêtes d’IA répétées depuis le cache en moins d’une milliseconde, tout en exploitant un magasin multithread compatible Redis.
HotKV se place devant vos appels aux LLM sous la forme d’un moteur unique compatible Redis. Il reconnaît les prompts auxquels il a déjà répondu, à l’identique ou approximativement, et fournit à votre application la réponse en cache plutôt qu’un nouvel appel d’API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Déjà demandé, mot pour mot : aucun appel au modèle cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerRésultat à titre d’exemple (données d’exemple)
Scénario : ask("How do I reset my password?") deux fois
Les deux appels renvoient : "Use the password-reset link on the sign-in page."
Premier appel : échec de cache → call_llm → réponse stockée
Second appel : réponse en cache → aucun appel au modèleNous avons envoyé les mêmes 3 000 questions de support client à quatre modèles Claude actuels, à deux reprises : une fois directement au modèle, une fois avec HotKV devant.
Pour 1 million de requêtes par jour, extrapolé à partir du coût mesuré par requête et en supposant le même profil de trafic. Les quatre modèles Claude ont été exécutés avec des réponses courtes, Fable 5.1 et Opus 5.5 à leur plus faible effort de raisonnement, de sorte que des réponses plus longues ou plus gourmandes en raisonnement donneraient plus de valeur à chaque appel évité.
Nous avons fait tourner Claude Fable 5.1, Opus 5.5, Sonnet 5.5 et Haiku 5.5 sur les mêmes 3 000 requêtes chacun, avec et sans HotKV. Le cache de prompts propre au fournisseur était activé à chaque exécution, et les tokens et les coûts proviennent de l’usage indiqué dans chaque réponse, tokens de réflexion inclus.
| Modèle | Tokens économisés | Coût sans | Coût avec | Réduction de | Appels au modèle | Réponse médiane |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 $ | 9,18 $ | 70 % | de 3 000 à 896 | de 2,7 s à 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 $ | 4,50 $ | 69 % | de 3 000 à 898 | de 2,9 s à 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 $ | 1,66 $ | 70 % | de 3 000 à 897 | de 1,8 s à 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 $ | 0,08 $ | 70 % | de 3 000 à 897 | de 1,4 s à 125 ms |
Pour chaque question reformulée servie depuis le cache, un autre modèle a comparé la réponse en cache à la réponse fraîche que le même modèle avait donnée à cette question exacte, dans un ordre aléatoire. Aucun modèle n’a noté sa propre sortie. C’est un modèle de langage qui juge, et non une relecture humaine, et sa sévérité diffère d’un modèle à l’autre : comparez donc réponses en cache et réponses fraîches uniquement au sein d’un même modèle.
| Modèle | Questions reformulées évaluées | Réponse en cache adaptée | Réponse fraîche adaptée |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Chaque ligne est une exécution distincte de Claude Sonnet 5.5 sur les mêmes 3 000 requêtes (coût sans HotKV : 5,51 $).
| Seuil | Coût | Réduction de | Réponse en cache adaptée | Réponse fraîche adaptée |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 $ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 $ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 $ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 $ | 60 % | 92,0 % | 90,0 % |
3 000 questions de support client tirées du jeu de test Banking77 avec une graine fixe (la popularité des intentions suit une distribution de Zipf, s=1,0 ; les questions sont échantillonnées uniformément au sein de chaque intention, avec répétitions). Chaque question a été envoyée au modèle avec la même politique de support comme prompt système. Référence : chaque requête appelle le modèle, avec le cache de prompts du fournisseur activé. HotKV : recherche à correspondance exacte (GET sur une clé SHA-256 de la question normalisée), puis recherche sémantique (SCACHE.GET avec un embedding de la question), et le modèle n’est appelé qu’en cas d’échec de cache. Les nombres de tokens sont tirés du bloc d’usage de chaque réponse d’API ; les coûts utilisent les prix catalogue et incluent les appels d’embedding. Le seuil de similarité a été choisi sur le jeu d’entraînement Banking77, distinct, comme la valeur la plus basse donnant au moins 98 % de précision d’intention identique sur les succès sémantiques.
Modèle d’embedding : OpenAI text-embedding-3-small. Seuil de correspondance sémantique : 0,81. Jeu de données : Banking77 (jeu de test) par PolyAI, sous licence CC BY 4.0. 3 000 requêtes réparties sur 77 intentions.
Mesuré le 11 octobre 2026. Les économies dépendent de la fréquence à laquelle votre trafic se répète. Une charge de travail sans question répétée ou similaire n’économise rien.
Nous avons chargé les mêmes embeddings OpenAI dans HotKV et Redis 8 et exécuté les mêmes 1 000 requêtes sur chacun, avec 1 à 100 connexions client simultanées, sur une seule machine. Les deux conservaient des vecteurs en pleine précision, avec les mêmes réglages d’index.
Les deux moteurs stockaient des vecteurs float32 en pleine précision. Après le chargement de 999 000 vecteurs, le processus HotKV occupait 6,77 GB et Redis 7,01 GB.
Non mesuré : le mode quantifié 8 bits par défaut de Redis, le Redis Query Engine, d’autres jeux de données et d’autres matériels. Le build HotKV est un build de développement qui n’a pas été publié. Redis a été chargé épinglé sur quatre vCPU et interrogé sur un index rechargé (voir l’article).
| ef | Rappel HotKV | Rappel Redis | Requêtes/s HotKV | Requêtes/s Redis | Rapport |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8 061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6 825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5 241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3 454 | 3,6x |
| 500 | 0,997 | 0,994 | 7 688 | 2 483 | 3,1x |
Build HotKV c8dafd37 et Redis 8.10.2, similarité cosinus, HNSW avec M=16 et ef_construction=200 sur les deux, float32 sur les deux (Redis NOQUANT). Le rappel est le rappel@10 par rapport aux résultats exacts d’une recherche exhaustive (brute force). Médiane de 3 exécutions sur Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Les serveurs se partageaient 128 vCPU et les générateurs de charge tournaient sur 32 autres, avec le même code client pour les deux.
Jeu de données : embeddings dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1 536 dimensions) par Kumar Shivendu and Nirant Kasliwal, sous licence MIT, plus 1 000 requêtes mises de côté. Méthode complète, scripts et résultats bruts. Mesuré le 14 octobre 2026.
HotKV est un logiciel commercial. Laissez-nous l’exploiter pour vous, ou exploitez-le vous-même sur une infrastructure que vous contrôlez.
Une instance HotKV entièrement gérée, hébergée et exploitée par nos soins sur Google Cloud dans 42 régions. Ouverture par vagues. Demandez un accès anticipé.
Exécutez HotKV sur vos propres serveurs ou sur votre propre compte cloud, avec un fichier de licence et un contrôle total sur la résidence des données et l’accès réseau.
Douze bibliothèques clientes officielles. HotKV parle aussi RESP2 et RESP3 : vos clients et outils Redis existants s’y connectent sans autre changement que le nom d’hôte.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}depuis GitHub (hotkv-perl-client)libhotkv (CMake, release GitHub)hotkv-cpp (CMake, release GitHub)Les SDK Python et Node.js fournissent des intégrations en une ligne pour les frameworks avec lesquels les équipes construisent déjà. Des outils open source distincts couvrent LangGraph, MCP et les API compatibles OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Inclut aussi HotKVCache pour la mise en cache à correspondance exacte, ainsi que HotKVVectorStore et HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Inclut aussi HotKVKVStore et HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Le cache Redis intégré de LiteLLM fonctionne déjà tel quel avec HotKV. Recourez à cette intégration si vous voulez aussi du cache sémantique.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Fourni dans le paquet npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Fourni dans le paquet npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Un checkpointer pour l’état du graphe et un magasin de mémoire à long terme avec recherche sémantique. Ne nécessite aucune licence HotKV.
Lire la documentationpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Permet à Claude, Cursor et à d’autres assistants d’utiliser les clés, la mémoire d’agent, les prompts et la recherche de documents. Un mode lecture seule et des espaces de noms gardent les agents dans leurs limites.
Lire la documentationgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Un proxy prêt à l’emploi qui met en cache les appels aux API compatibles OpenAI et Anthropic, streaming compris. Changez une URL, aucun code.
Lire la documentationDécouvrez ce qui rend HotKV rapide, où il s’intègre et comment démarrer.
Multithread dès le départ. Un débit qui évolue avec votre nombre de cœurs, et non contre lui.
En savoir plusCache sémantique, RAG, mémoire d’agent et contrôle des coûts LLM intégrés au moteur.
En savoir plusCache, sessions, files d’attente, classements. Les mêmes charges de travail que Redis, avec un débit plus élevé.
En savoir plusÉtiquetage de clés, TTL en nanosecondes, recherche vectorielle et métriques intégrées, au cœur du moteur.
En savoir plusUn moteur multithread où chaque cœur lit, analyse et exécute les commandes en parallèle.
En savoir plusOffres Starter, Performance et Scale sur HotKV Cloud, avec trafic inclus et sans engagement annuel.
En savoir plus