Reduce el gasto en tokens de LLM y responde desde la caché, en menos de un milisegundo, las solicitudes de IA repetidas mientras ejecutas un almacén multihilo y compatible con Redis.
HotKV se sitúa delante de tus llamadas a LLM como un único motor compatible con Redis. Reconoce los prompts que ya ha respondido, de forma exacta o aproximada, y entrega a tu aplicación la respuesta en caché en lugar de una nueva llamada a la API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Ya preguntado antes, palabra por palabra: sin llamada al modelo cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerResultado ilustrativo (datos de ejemplo)
Escenario: ask("How do I reset my password?") dos veces
Ambas llamadas devuelven: "Use the password-reset link on the sign-in page."
Primera llamada: fallo de caché → call_llm → respuesta almacenada
Segunda llamada: respuesta en caché → sin llamada al modeloEnviamos las mismas 3000 preguntas de atención al cliente dos veces a cuatro modelos Claude actuales: una directamente al modelo y otra con HotKV delante.
Con 1 millón de solicitudes al día, extrapolado a partir del costo medido por solicitud y suponiendo el mismo patrón de tráfico. Los cuatro modelos Claude se ejecutaron con respuestas cortas, y Fable 5.1 y Opus 5.5 con su menor esfuerzo de razonamiento, de modo que las respuestas más largas o con más razonamiento harían que cada llamada evitada valiera más.
Ejecutamos Claude Fable 5.1, Opus 5.5, Sonnet 5.5 y Haiku 5.5 con las mismas 3000 solicitudes cada uno, con y sin HotKV. La caché de prompts del propio proveedor estaba activada en todas las ejecuciones, y los tokens y los costos se toman del campo de uso (usage) de cada respuesta, incluidos los tokens de razonamiento.
| Modelo | Tokens ahorrados | Costo sin | Costo con | Menor en | Llamadas al modelo | Respuesta mediana |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 US$ | 9,18 US$ | 70 % | de 3000 a 896 | de 2,7 s a 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 US$ | 4,50 US$ | 69 % | de 3000 a 898 | de 2,9 s a 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 US$ | 1,66 US$ | 70 % | de 3000 a 897 | de 1,8 s a 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 US$ | 0,08 US$ | 70 % | de 3000 a 897 | de 1,4 s a 125 ms |
Por cada pregunta reformulada atendida desde la caché, un modelo distinto comparó la respuesta en caché con la respuesta nueva que el mismo modelo dio a esa pregunta exacta, en orden aleatorio. Ningún modelo evaluó su propia salida. Quien juzga es un modelo de lenguaje, no una revisión humana, y su rigor difiere de un modelo a otro, así que compara las respuestas en caché con las nuevas solo dentro de un mismo modelo.
| Modelo | Preguntas reformuladas evaluadas | La respuesta en caché encaja | La respuesta nueva encaja |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Cada fila es una ejecución independiente de Claude Sonnet 5.5 con las mismas 3000 solicitudes (costo sin HotKV: 5,51 US$).
| Umbral | Costo | Menor en | La respuesta en caché encaja | La respuesta nueva encaja |
|---|---|---|---|---|
| 0,81 | 1,66 US$ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 US$ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 US$ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 US$ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 US$ | 60 % | 92,0 % | 90,0 % |
3000 preguntas de atención al cliente extraídas del conjunto de prueba de Banking77 con una semilla fija (la popularidad de las intenciones sigue una distribución de Zipf, s=1,0; las preguntas se muestrean de forma uniforme dentro de cada intención, con repeticiones). Cada pregunta se envió al modelo con la misma política de soporte como prompt del sistema. Línea base: cada solicitud llama al modelo, con la caché de prompts del propio proveedor activada. HotKV: búsqueda de coincidencia exacta (GET sobre una clave SHA-256 de la pregunta normalizada) y después búsqueda semántica (SCACHE.GET con un embedding de la pregunta); el modelo solo se llama ante un fallo de caché. Los recuentos de tokens se toman del bloque usage de cada respuesta de la API; los costos usan precios de lista e incluyen las llamadas de embeddings. El umbral de similitud se eligió en el conjunto de entrenamiento de Banking77, que es aparte, como el valor más bajo que daba al menos un 98 % de precisión de misma intención en los aciertos semánticos.
Modelo de embeddings: OpenAI text-embedding-3-small. Umbral de coincidencia semántica: 0,81. Conjunto de datos: Banking77 (conjunto de prueba) de PolyAI, con licencia CC BY 4.0. 3000 solicitudes en 77 intenciones.
Medido el 11 de octubre de 2026. El ahorro depende de la frecuencia con la que se repite tu tráfico. Una carga de trabajo sin preguntas repetidas ni similares no ahorra nada.
Cargamos los mismos embeddings de OpenAI en HotKV y en Redis 8 y ejecutamos las mismas 1000 consultas contra cada uno, con entre 1 y 100 conexiones de cliente concurrentes, en una sola máquina. Ambos guardaban vectores de precisión completa, con los mismos ajustes de índice.
Ambos motores guardaron vectores float32 de precisión completa. Tras cargar 999.000 vectores, el proceso de HotKV ocupaba 6,77 GB y el de Redis 7,01 GB.
No se midieron: el modo cuantizado de 8 bits que Redis usa por defecto, el Redis Query Engine, otros conjuntos de datos ni otro hardware. La compilación de HotKV es una compilación de desarrollo que no se ha publicado. Redis se cargó fijado a cuatro vCPU y se consultó sobre un índice recargado (véase el artículo).
| ef | Recall de HotKV | Recall de Redis | Consultas/s de HotKV | Consultas/s de Redis | Relación |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63.897 | 8061 | 7,9x |
| 80 | 0,970 | 0,962 | 37.508 | 6825 | 5,5x |
| 150 | 0,987 | 0,980 | 21.912 | 5241 | 4,2x |
| 300 | 0,993 | 0,990 | 12.393 | 3454 | 3,6x |
| 500 | 0,997 | 0,994 | 7688 | 2483 | 3,1x |
Compilación de HotKV c8dafd37 y Redis 8.10.2, similitud coseno, HNSW con M=16 y ef_construction=200 en ambos, float32 en ambos (Redis NOQUANT). El recall es recall@10 frente a los resultados exactos de fuerza bruta. Mediana de 3 ejecuciones en Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Los servidores compartieron 128 vCPUs y los generadores de carga se ejecutaron en otras 32, con el mismo código de cliente para ambos.
Conjunto de datos: embeddings de dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1536 dimensiones) de Kumar Shivendu and Nirant Kasliwal, con licencia MIT, más 1000 consultas reservadas. Método completo, scripts y resultados en bruto. Medido el 14 de octubre de 2026.
HotKV es software comercial. Déjanos ejecutarlo por ti, o ejecútalo tú mismo en una infraestructura que controles.
Una instancia de HotKV totalmente administrada, alojada y operada por nosotros en Google Cloud en 42 regiones. Abrimos por oleadas. Solicita acceso anticipado.
Ejecuta HotKV en tus propios servidores o en tu propia cuenta en la nube, con un archivo de licencia y control total sobre la residencia de los datos y el acceso a la red.
Doce bibliotecas cliente oficiales. HotKV también habla RESP2 y RESP3, así que tus clientes y herramientas de Redis actuales se conectan sin más cambios que el nombre de host.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}desde GitHub (hotkv-perl-client)libhotkv (CMake, release de GitHub)hotkv-cpp (CMake, release de GitHub)Los SDK de Python y Node.js incluyen integraciones de una línea para los frameworks con los que ya trabajan los equipos. Herramientas de código abierto independientes cubren LangGraph, MCP y las API compatibles con OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Incluye también HotKVCache para caché de coincidencia exacta, además de HotKVVectorStore y HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Incluye también HotKVKVStore y HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
La caché de Redis integrada de LiteLLM ya funciona con HotKV sin cambios. Recurre a esta integración cuando quieras también caché semántica.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Se incluye en el paquete npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Se incluye en el paquete npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Un checkpointer para el estado del grafo y un almacén de memoria a largo plazo con búsqueda semántica. No necesita licencia de HotKV.
Leer la documentaciónpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Permite que Claude, Cursor y otros asistentes usen claves, memoria de agentes, prompts y búsqueda de documentos. El modo de solo lectura y los namespaces mantienen a los agentes dentro de sus límites.
Leer la documentacióngo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Un proxy de sustitución directa que guarda en caché las llamadas a las API compatibles con OpenAI y a la API de Anthropic, incluido el streaming. Cambia una URL, sin código.
Leer la documentaciónDescubre qué hace rápido a HotKV, dónde encaja y cómo empezar.
Multihilo desde el primer día. Un throughput que escala con tu número de núcleos, no en su contra.
Más informaciónCaché semántica, RAG, memoria de agentes y control de costos de LLM integrados en el motor.
Más informaciónCaché, sesiones, colas, tablas de clasificación. Las mismas cargas de trabajo que con Redis, con mayor throughput.
Más informaciónEtiquetado de claves, TTL en nanosegundos, búsqueda vectorial y métricas integradas, parte del motor central.
Más informaciónUn motor multihilo en el que cada núcleo lee, analiza y ejecuta comandos en paralelo.
Más informaciónPlanes Starter, Performance y Scale en HotKV Cloud, con tráfico incluido y sin compromiso anual.
Más información