Informes programados
Se generan los mismos resúmenes para cada persona que abre un dashboard. Una llamada al modelo por informe y día en lugar de una por vista.
IA y LLMAplicaciones LLMPlanes Performance y Scale
Caché exacta de prompts
No pagues nunca dos veces por el mismo prompt. Una caché de LLM de coincidencia exacta que cuenta los tokens y los dólares que te ahorró.
- coincidencia, cero falsos aciertos
- Exacta
- latencia de búsqueda en STATS
- p50
- ahorro registrado por namespace
- $
Paso 1 de 4
Crea un namespace
Dale un TTL para que las respuestas se renueven, e indica lo que ahorra un acierto de media.
Sesión de ejemploplaying
# Crea un namespace
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Un recorrido animado con comandos reales de HotKV y respuestas de ejemplo. Haz clic en cualquier paso para saltar a él. Los comandos y las respuestas se quedan en inglés, tal como los escribes y los ves en HotKV.
El problema
Los trabajos por lotes, los reintentos, los informes programados y las preguntas populares envían el mismo prompt al modelo una y otra vez. Cada uno se factura completo, y nadie sabe cuánto habría ahorrado una caché porque nada lo mide.
Cómo lo resuelve HotKV
La caché de prompts guarda la respuesta de cada prompt exacto, junto con el modelo y los recuentos de tokens de la llamada que la produjo. Cada acierto posterior se cuenta, así que HotKV puede informar de las solicitudes, los tokens y los dólares que no gastaste.
Paso a paso
Qué ocurre, comando a comando
- 01
Crea un namespace
Dale un TTL para que las respuestas se renueven, e indica lo que ahorra un acierto de media.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Fallo, y luego guarda con el uso
La primera llamada va al modelo. La respuesta se guarda con el modelo y los recuentos de tokens que la produjeron.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Cada repetición es gratis
El trabajo nocturno y cada vista del dashboard piden lo mismo. Todas son aciertos.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Mira lo que ahorraste
Las estadísticas incluyen la tasa de aciertos, la latencia de búsqueda y el uso que no pagaste.
PCACHE.STATS reports
Dónde encaja
Escenarios reales
Traducción y localización
Los textos de la interfaz y las descripciones de productos se traducen una vez por idioma y se sirven desde la caché en cada solicitud posterior.
Pipelines de clasificación
Los tickets, reseñas y correos con texto idéntico reciben la misma etiqueta sin otra llamada al modelo.
Integrado
Qué obtienes
Coincidencia exacta
Solo hay acierto con el prompt idéntico, así que nunca se sirve una respuesta en caché para una pregunta distinta.
PCACHE.GETPCACHE.SETConsciente del uso
Guarda el modelo y los recuentos de tokens con cada respuesta para que el ahorro se calcule a partir del uso real.
MODELINPUTOUTPUTMetadatos y recuento de aciertos
PCACHE.GETEX devuelve la respuesta con sus metadatos y cuántas veces se ha servido.
PCACHE.GETEXTasa de aciertos y latencia
PCACHE.STATS informa de aciertos, fallos, expulsiones, memoria, latencia de búsqueda y ahorro.
PCACHE.STATSPreguntas frecuentes
¿Cuándo debo usar la caché de prompts en lugar de la caché semántica?
Usa la caché de prompts cuando los prompts se repiten exactamente, como en trabajos por lotes y plantillas fijas. Usa la caché semántica cuando la gente formula la misma pregunta de formas distintas. Muchas aplicaciones consultan ambas.
¿Es lo mismo que la caché de prompts del proveedor?
No. La caché de prompts del proveedor rebaja los prefijos repetidos en su lado. Un acierto en HotKV ni siquiera llega al proveedor, así que ambos ahorros se suman.
¿Qué planes la incluyen?
La caché de prompts forma parte de los planes Performance y Scale.
Casos de uso relacionados
Pruébalo con tu propia carga de trabajo
HotKV habla el protocolo de Redis, así que puedes apuntar un cliente que ya usas hacia él y ejecutar estos mismos comandos.