Caché de prompts frente a caché semántica: qué ahorra cada una
La caché de prompts abarata un prefijo repetido. La caché semántica elimina la llamada al modelo. Cómo funciona cada una, qué medimos y cuál usar en cada caso.
Etiqueta
Caché de prompts
Ingeniería.Medida y explicada.
Caché de prompts del proveedor y caché de respuestas para aplicaciones LLM, con lo que ahorra cada una en tokens y costes y dónde deja de ayudar.
2 artículos en Caché de prompts
Artículos
Ideas. Experimentos. Novedades.
HotKV redujo el uso de tokens de Claude en un 70 % en nuestro benchmark de Banking77
Cuatro modelos Claude, 3000 solicitudes de soporte cada uno: HotKV redujo llamadas, tokens y costo de la API en cerca de un 70 %. Resultados y calidad de las respuestas.
Sigue tu curiosidad