Atención al cliente
El restablecimiento de contraseñas, las copias de facturas y los plazos de envío se preguntan una y otra vez. Cada variante después de la primera se sirve desde la caché.
IA y LLMAplicaciones LLMPlanes Performance y Scale
Caché semántica de respuestas
Guarda en caché las respuestas del LLM por significado, no por texto exacto, para que las preguntas reformuladas acierten en la caché y eviten la llamada al modelo.
- búsqueda antes de cada llamada al modelo
- 1
- métricas de similitud
- 3
- umbral ajustable
- Por llamada
Paso 1 de 6
Crea un namespace
Fija el tamaño del embedding y la similitud que cuenta como acierto.
Sesión de ejemploplaying
# Crea un namespace
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Un recorrido animado con comandos reales de HotKV y respuestas de ejemplo. Haz clic en cualquier paso para saltar a él. Los comandos y las respuestas se quedan en inglés, tal como los escribes y los ves en HotKV.
El problema
Un asistente de soporte recibe la misma pregunta formulada de cien maneras distintas. Una caché de coincidencia exacta falla en casi todas, así que cada reformulación paga una llamada completa al modelo y espera la respuesta completa.
Cómo lo resuelve HotKV
Una caché semántica guarda cada respuesta junto al embedding de su pregunta y busca las preguntas nuevas por similitud. Si un prompt nuevo está lo bastante cerca de uno que ya respondiste, vuelve la respuesta guardada y nunca se llama al modelo. El umbral decide qué es lo bastante cerca.
Paso a paso
Qué ocurre, comando a comando
- 01
Crea un namespace
Fija el tamaño del embedding y la similitud que cuenta como acierto.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Un fallo, así que llama al modelo una vez
La primera vez que se hace una pregunta no hay nada similar en la caché, así que la responde el modelo.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Recuerda la respuesta
Guarda la pregunta, la respuesta y el embedding de la pregunta durante un día.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Una reformulación acierta
"forgot my login pass" queda cerca de la pregunta guardada. Vuelven la respuesta y su similitud, y se omite el modelo.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Más estricto en una búsqueda
Una búsqueda puede exigir una coincidencia más cercana que el valor por defecto del namespace, para respuestas en las que casi acertar no basta.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Mide el ahorro
Las estadísticas por namespace muestran con qué frecuencia respondió la caché en lugar del modelo.
SCACHE.STATS support_bot
Dónde encaja
Escenarios reales
Bots de conocimiento interno
Los empleados preguntan con sus propias palabras por vacaciones, gastos y acceso a la VPN. Una respuesta les sirve a todos hasta que caduca.
Herramientas para desarrolladores
"¿Cómo pagino?" y "cómo recorrer los resultados por páginas" reciben la misma respuesta documentada sin una segunda llamada al modelo.
Integrado
Qué obtienes
Coincidencia por significado
Las preguntas similares comparten una respuesta en caché, sin importar cómo estén redactadas.
SCACHE.GETSCACHE.SETTú controlas la exigencia
Fija el umbral por namespace y cámbialo en una sola búsqueda.
SCACHE.THRESHOLDAhorro que puedes medir
Las estadísticas por namespace muestran aciertos, fallos y entradas.
SCACHE.STATSCoseno, L2 o producto interno
Elige la métrica que encaje con tu modelo de embeddings al crear el namespace.
SCACHE.CREATEPreguntas frecuentes
¿Cuánto cuesta un acierto de caché?
Una llamada de embedding y una búsqueda en la caché. Se omiten la llamada al modelo y su tiempo de generación.
¿Cómo evito respuestas erróneas por una coincidencia demasiado laxa?
Sube el umbral. Un umbral más alto exige una coincidencia más cercana, así que aciertan menos preguntas y cada acierto es más seguro.
¿Qué planes la incluyen?
La caché semántica forma parte de los planes Performance y Scale.
Casos de uso relacionados
Pruébalo con tu propia carga de trabajo
HotKV habla el protocolo de Redis, así que puedes apuntar un cliente que ya usas hacia él y ejecutar estos mismos comandos.