Creado para el stack de IA
La mayoría de los equipos añaden a su aplicación de LLM una base de datos vectorial, una caché, un motor de búsqueda y un montón de código de integración. HotKV incorpora esas primitivas en un único motor en memoria, de modo que la recuperación, la memoria y el control de costos se ejecutan junto a tus datos.
Elige una pregunta. Mira dónde se responde y cuánta parte del stack nunca tiene que tocar.
- 00Preguntapasa
- LLMBUDGETPresupuesto de LLMpasa
- PCACHECaché de promptsrespondida
- SCACHECaché semántica
- RAGPipeline RAG
- 05LLM
Respondida desde la caché de prompts. Nunca se llama al modelo.
Los tiempos son las medianas medidas en el benchmark de ahorro de tokens que aparece más abajo. El tiempo de la caché semántica no se midió, así que no se muestra ninguno.
Nueve motores de IA, un servidor
Cada uno es una familia de comandos junto a tus datos. Abre cualquiera para verlo en un caso de uso real.
Por qué ejecutar IA en HotKV
El mismo núcleo multihilo que superó a Redis y Valkey en todos los comandos que medimos en nuestros benchmarks también ejecuta tu recuperación, tu memoria y tus salvaguardas.
Un motor, no cinco servicios
La búsqueda vectorial, la caché semántica, RAG, la memoria de agentes y un feature store viven en el mismo proceso. Sin una base de datos vectorial, una caché y un clúster de búsqueda aparte que desplegar, proteger y mantener sincronizados.
Aciertos de caché en menos de un milisegundo
Cada primitiva de IA se ejecuta en el mismo núcleo multihilo que superó a Redis y Valkey en los 12 comandos de nuestros benchmarks. En nuestra prueba con LLM, los aciertos exactos de caché respondieron en unos 0,05 ms, frente a entre 1,4 y 2,9 s de una llamada al modelo.
Control de costos en la capa de datos
La caché semántica y la de prompts reducen las llamadas al LLM, la deduplicación de embeddings reduce las llamadas de embeddings y los presupuestos por clave limitan el gasto antes de que ocurra. Los ahorros están medidos, no estimados.
Multi-tenant por diseño
Los namespaces mantienen separados los vectores, la memoria y los presupuestos de cada tenant, y el plan Scale añade un registro de tenants y un registro de auditoría para infraestructura de IA compartida entre equipos y clientes.
Paga por menos tokens
Enviamos las mismas 3000 preguntas de atención al cliente dos veces a cuatro modelos Claude actuales: una directamente al modelo y otra con HotKV delante.
Tokens procesados por modelo
Qué significa esto a gran escala
- Anthropic claude-fable-5-1: 303.100 US$ al mes sin HotKV, 91.800 US$ con HotKV, unos 211.300 US$ ahorrados cada mes.
- Anthropic claude-opus-5-5: 146.000 US$ al mes sin HotKV, 45.000 US$ con HotKV, unos 101.000 US$ ahorrados cada mes.
- Anthropic claude-sonnet-5-5: 55.100 US$ al mes sin HotKV, 16.600 US$ con HotKV, unos 38.500 US$ ahorrados cada mes.
- Anthropic claude-haiku-5-5: 2700 US$ al mes sin HotKV, 800 US$ con HotKV, unos 1900 US$ ahorrados cada mes.
Con 1 millón de solicitudes al día, extrapolado a partir del costo medido por solicitud y suponiendo el mismo patrón de tráfico. Los cuatro modelos Claude se ejecutaron con respuestas cortas, y Fable 5.1 y Opus 5.5 con su menor esfuerzo de razonamiento, de modo que las respuestas más largas o con más razonamiento harían que cada llamada evitada valiera más.
Todas las cifrasTokens, costo, calidad de las respuestas y el equilibrio del umbral de similitudMostrarOcultar
Ejecutamos Claude Fable 5.1, Opus 5.5, Sonnet 5.5 y Haiku 5.5 con las mismas 3000 solicitudes cada uno, con y sin HotKV. La caché de prompts del propio proveedor estaba activada en todas las ejecuciones, y los tokens y los costos se toman del campo de uso (usage) de cada respuesta, incluidos los tokens de razonamiento.
| Modelo | Tokens ahorrados | Costo sin | Costo con | Menor en | Llamadas al modelo | Respuesta mediana |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 US$ | 9,18 US$ | 70 % | de 3000 a 896 | de 2,7 s a 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 US$ | 4,50 US$ | 69 % | de 3000 a 898 | de 2,9 s a 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 US$ | 1,66 US$ | 70 % | de 3000 a 897 | de 1,8 s a 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 US$ | 0,08 US$ | 70 % | de 3000 a 897 | de 1,4 s a 125 ms |
¿Qué calidad tienen las respuestas en caché?
Por cada pregunta reformulada atendida desde la caché, un modelo distinto comparó la respuesta en caché con la respuesta nueva que el mismo modelo dio a esa pregunta exacta, en orden aleatorio. Ningún modelo evaluó su propia salida. Quien juzga es un modelo de lenguaje, no una revisión humana, y su rigor difiere de un modelo a otro, así que compara las respuestas en caché con las nuevas solo dentro de un mismo modelo.
| Modelo | Preguntas reformuladas evaluadas | La respuesta en caché encaja | La respuesta nueva encaja |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
El umbral de similitud equilibra el ahorro frente a la calidad de las respuestas
Cada fila es una ejecución independiente de Claude Sonnet 5.5 con las mismas 3000 solicitudes (costo sin HotKV: 5,51 US$).
| Umbral | Costo | Menor en | La respuesta en caché encaja | La respuesta nueva encaja |
|---|---|---|---|---|
| 0,81 | 1,66 US$ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 US$ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 US$ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 US$ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 US$ | 60 % | 92,0 % | 90,0 % |
Qué muestran y qué no muestran estas cifras
- Con el umbral de 0,81 usado en los resultados anteriores, una respuesta en caché encaja con la pregunta exacta entre 6 y 11 puntos porcentuales menos a menudo que una nueva. Las preguntas reformuladas son alrededor del 31 % de las solicitudes, así que, sobre el conjunto de las respuestas, eso supone aproximadamente entre 2 y 3 puntos. En las ejecuciones por umbral, las respuestas en caché a partir de 0,88 no fueron peores que las nuevas, y aun así ahorraron entre el 61 % y el 64 % del costo.
- La cifra de “misma intención” anterior no significa “misma respuesta correcta”. En una prueba con 119 pares de preguntas deliberadamente cercanas, en los que un detalle como depositar frente a retirar cambia la respuesta correcta, al 62 % de las preguntas modificadas se les serviría la respuesta en caché con un umbral de 0,81, al 25 % con 0,90 y al 10 % con 0,95. Estos pares están construidos para ser difíciles y muestran el peor caso, no la frecuencia con la que ocurre en el tráfico real. Si las respuestas erróneas son costosas en tu caso de uso, sube el umbral.
- Un conjunto de datos público de preguntas bancarias cortas, un modelo de embeddings y un evaluador automatizado. El efecto del umbral se midió en un modelo. Los otros tres se ejecutaron solo con 0,81. Tu tasa de repetición y tus preguntas darán cifras diferentes.
3000 preguntas de atención al cliente extraídas del conjunto de prueba de Banking77 con una semilla fija (la popularidad de las intenciones sigue una distribución de Zipf, s=1,0; las preguntas se muestrean de forma uniforme dentro de cada intención, con repeticiones). Cada pregunta se envió al modelo con la misma política de soporte como prompt del sistema. Línea base: cada solicitud llama al modelo, con la caché de prompts del propio proveedor activada. HotKV: búsqueda de coincidencia exacta (GET sobre una clave SHA-256 de la pregunta normalizada) y después búsqueda semántica (SCACHE.GET con un embedding de la pregunta); el modelo solo se llama ante un fallo de caché. Los recuentos de tokens se toman del bloque usage de cada respuesta de la API; los costos usan precios de lista e incluyen las llamadas de embeddings. El umbral de similitud se eligió en el conjunto de entrenamiento de Banking77, que es aparte, como el valor más bajo que daba al menos un 98 % de precisión de misma intención en los aciertos semánticos.
Modelo de embeddings: OpenAI text-embedding-3-small. Umbral de coincidencia semántica: 0,81. Conjunto de datos: Banking77 (conjunto de prueba) de PolyAI, con licencia CC BY 4.0. 3000 solicitudes en 77 intenciones.
Medido el 11 de octubre de 2026. El ahorro depende de la frecuencia con la que se repite tu tráfico. Una carga de trabajo sin preguntas repetidas ni similares no ahorra nada.
Lanza funciones de IA, no infraestructura
El conjunto de comandos de IA viene con cada instancia Performance y Scale de HotKV Cloud. Solicita acceso anticipado para empezar a construir recuperación, memoria y controles de costos.