Help desk de un SaaS
Miles de clientes preguntan por contraseñas, facturas y límites del plan. Muchas preguntas son repeticiones o reformulaciones y se responden desde la caché. Solo las realmente nuevas llegan al modelo.
IA y LLMAplicaciones LLMPlanes Performance y Scale
Asistente de atención al cliente con IA
Un bot de soporte que responde al instante a las preguntas repetidas, reconoce las reformulaciones por su significado, fundamenta las respuestas nuevas en tu centro de ayuda y nunca gasta de más.
- motores de IA en un servidor
- 5
- llamada al modelo por pregunta nueva
- 1
- bases de datos adicionales que operar
- 0
Paso 1 de 6
Comprueba el presupuesto del tenant
El presupuesto de cada tenant se fijó una vez con LLMBUDGET.SET. Antes de cualquier trabajo del modelo, se descuenta de forma atómica. Un tenant que supera su límite se rechaza aquí, antes de gastar dinero.
Sesión de ejemploplaying
# Comprueba el presupuesto del tenant
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Un recorrido animado con comandos reales de HotKV y respuestas de ejemplo. Haz clic en cualquier paso para saltar a él. Los comandos y las respuestas se quedan en inglés, tal como los escribes y los ves en HotKV.
El problema
Un asistente de soporte real es mucho más que un prompt. Necesita una caché para no pagar dos veces la misma pregunta, recuperación sobre el centro de ayuda, memoria de la conversación y un presupuesto para que un solo cliente no dispare la factura. Eso suele significar cuatro o cinco servicios, y más tiempo dedicado a pegarlos que al producto.
Cómo lo resuelve HotKV
HotKV ejecuta cada una de esas piezas como comandos en un solo servidor. El asistente comprueba el presupuesto del tenant, responde las repeticiones exactas desde la caché de prompts y las reformulaciones desde la caché semántica, recupera fragmentos del centro de ayuda para todo lo nuevo, conserva la conversación y guarda en caché cada respuesta nueva para el próximo cliente que pregunte.
Paso a paso
Qué ocurre, comando a comando
- 01
Comprueba el presupuesto del tenant
El presupuesto de cada tenant se fijó una vez con LLMBUDGET.SET. Antes de cualquier trabajo del modelo, se descuenta de forma atómica. Un tenant que supera su límite se rechaza aquí, antes de gastar dinero.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Repetición exacta, respondida al momento
La misma pregunta, palabra por palabra, es un acierto en la caché de prompts. Sin embedding ni llamada al modelo.
PCACHE.GET support "How do I reset my password?" - 03
Una reformulación, reconocida por su significado
"I forgot my login password" está redactada de otra forma. Su embedding está lo bastante cerca de una pregunta de la caché semántica, creada una vez con SCACHE.CREATE, así que vuelve la respuesta guardada.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Algo nuevo, así que recupera contexto
Una pregunta que nadie ha hecho todavía. La búsqueda híbrida sobre el centro de ayuda ingerido devuelve los fragmentos que necesita el modelo.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Una llamada al modelo, recordada
El modelo responde con los fragmentos como contexto. El turno se añade a la conversación, abierta con AMEM.CONV.CREATE al empezar el chat, para que el siguiente mensaje tenga su historial.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Guárdala en caché para el próximo cliente
La respuesta nueva entra en la caché semántica, así que cada reformulación posterior de esta pregunta es un acierto.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Dónde encaja
Escenarios reales
Bot de devoluciones de e-commerce
Las políticas de devolución y entrega se ingieren una vez como pipeline RAG. Las respuestas se basan en el texto vigente de la política y cada tienda de la plataforma tiene su propio presupuesto.
Asistente interno de TI
Los empleados hacen las mismas preguntas sobre la VPN y el portátil cada semana. El asistente conserva cada conversación, recuerda los turnos anteriores y corta un bucle descontrolado antes de que agote la asignación mensual.
Integrado
Qué obtienes
Dos capas de caché
Una caché exacta de prompts para las repeticiones palabra por palabra y una caché semántica para las reformulaciones, cada una con sus propias estadísticas de aciertos.
PCACHE.GETSCACHE.GETRespuestas fundamentadas
Los artículos del centro de ayuda se fragmentan e indexan en un pipeline RAG con búsqueda híbrida vectorial y por palabras clave.
RAG.INGESTRAG.SEARCHMemoria de conversación
Cada chat mantiene una ventana deslizante de turnos para el siguiente prompt.
AMEM.CONV.APPENDAMEM.CONV.WINDOWPresupuestos por cliente
Límites de tokens y de dólares por tenant, descontados de forma atómica antes de llamar al modelo.
LLMBUDGET.CONSUMEPreguntas frecuentes
¿Necesito además una base de datos vectorial?
No. La caché semántica, el pipeline RAG y la memoria de agentes se ejecutan dentro de HotKV, junto al resto de los datos de tu aplicación.
¿Qué modelos de embeddings y de chat puedo usar?
Cualquiera. HotKV guarda y busca los vectores que le das y nunca llama a un modelo por su cuenta, así que mantienes el control total de los proveedores.
¿Qué planes incluyen estos comandos?
La caché de prompts, la caché semántica, los pipelines RAG, la memoria de agentes y los presupuestos de LLM forman parte de los planes Performance y Scale.
Casos de uso relacionados
Pruébalo con tu propia carga de trabajo
HotKV habla el protocolo de Redis, así que puedes apuntar un cliente que ya usas hacia él y ejecutar estos mismos comandos.