Help desk SaaS
Migliaia di clienti chiedono di password, fatture e limiti del piano. Molte domande sono ripetizioni o riformulazioni e ricevono risposta dalla cache. Solo quelle davvero nuove arrivano al modello.
IA e LLMApplicazioni LLMPiani Performance e Scale
Assistente IA per l'assistenza clienti
Un bot di supporto che risponde subito alle domande ripetute, riconosce le riformulazioni per significato, basa le risposte nuove sul tuo centro assistenza e non sfora mai il budget.
- motori IA in un solo server
- 5
- chiamata al modello per domanda nuova
- 1
- database aggiuntivi da gestire
- 0
Passo 1 di 6
Controlla il budget del tenant
Il budget di ogni tenant è stato impostato una volta con LLMBUDGET.SET. Prima di qualsiasi lavoro del modello, lo addebiti in modo atomico. Un tenant oltre il suo limite viene respinto qui, prima di spendere denaro.
Sessione di esempioplaying
# Controlla il budget del tenant
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Una dimostrazione animata con comandi HotKV reali e risposte di esempio. Clicca su un passo qualsiasi per andarci. Comandi e risposte restano in inglese, esattamente come li digiti e li vedi in HotKV.
Il problema
Un vero assistente di supporto è più di un prompt. Serve una cache per non pagare due volte la stessa domanda, il retrieval sul centro assistenza, la memoria della conversazione e un budget perché un solo cliente non possa far lievitare il conto. Di solito significa quattro o cinque servizi, e più tempo speso sul codice di collegamento che sul prodotto.
Come lo gestisce HotKV
HotKV esegue ognuno di questi pezzi come comandi in un solo server. L'assistente controlla il budget del tenant, risponde alle ripetizioni esatte dalla cache dei prompt e alle riformulazioni dalla cache semantica, recupera i passaggi del centro assistenza per tutto ciò che è nuovo, conserva la conversazione e mette in cache ogni nuova risposta per il prossimo cliente che fa la stessa domanda.
Passo dopo passo
Cosa succede, comando per comando
- 01
Controlla il budget del tenant
Il budget di ogni tenant è stato impostato una volta con LLMBUDGET.SET. Prima di qualsiasi lavoro del modello, lo addebiti in modo atomico. Un tenant oltre il suo limite viene respinto qui, prima di spendere denaro.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Ripetizione esatta, risposta immediata
La stessa domanda posta parola per parola è un hit della cache dei prompt. Nessun embedding, nessuna chiamata al modello.
PCACHE.GET support "How do I reset my password?" - 03
Una riformulazione, abbinata per significato
"I forgot my login password" è formulata in modo diverso. Il suo embedding è abbastanza vicino a una domanda nella cache semantica, creata una volta con SCACHE.CREATE, quindi torna la risposta salvata.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Qualcosa di nuovo, quindi recupera il contesto
Una domanda che nessuno ha ancora posto. La ricerca ibrida sul centro assistenza acquisito restituisce i passaggi di cui il modello ha bisogno.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Una chiamata al modello, ricordata
Il modello risponde con i passaggi come contesto. Il turno viene aggiunto alla conversazione, aperta con AMEM.CONV.CREATE all'inizio della chat, così il messaggio successivo ha la sua cronologia.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Mettila in cache per il prossimo cliente
La nuova risposta entra nella cache semantica, così ogni successiva riformulazione di questa domanda è un hit.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Dove si usa
Scenari reali
Bot per i resi e-commerce
Le politiche di reso e di consegna vengono acquisite una volta come pipeline RAG. Le risposte si basano sul testo attuale delle politiche e ogni negozio della piattaforma ha il proprio budget.
Assistente IT interno
I dipendenti fanno ogni settimana le stesse domande su VPN e laptop. L'assistente conserva ogni conversazione, richiama i turni precedenti e ferma un loop fuori controllo prima che bruci il budget mensile.
Integrato
Cosa ottieni
Due livelli di cache
Una cache esatta dei prompt per le ripetizioni parola per parola e una cache semantica per le riformulazioni, ognuna con le proprie statistiche di hit.
PCACHE.GETSCACHE.GETRisposte fondate
Gli articoli del centro assistenza vengono suddivisi in chunk e indicizzati in una pipeline RAG con ricerca ibrida vettoriale e per parole chiave.
RAG.INGESTRAG.SEARCHMemoria della conversazione
Ogni chat mantiene una finestra scorrevole di turni per il prompt successivo.
AMEM.CONV.APPENDAMEM.CONV.WINDOWBudget per cliente
Limiti di token e di dollari per tenant, addebitati in modo atomico prima di chiamare il modello.
LLMBUDGET.CONSUMEDomande frequenti
Mi serve anche un database vettoriale?
No. La cache semantica, la pipeline RAG e la memoria degli agenti girano tutte dentro HotKV, accanto al resto dei dati della tua applicazione.
Quali modelli di embedding e di chat posso usare?
Qualsiasi. HotKV salva e cerca i vettori che gli fornisci e non chiama mai un modello da solo, quindi mantieni il pieno controllo dei provider.
Quali piani includono questi comandi?
Cache dei prompt, cache semantica, pipeline RAG, memoria degli agenti e budget LLM fanno parte dei piani Performance e Scale.
Casi d'uso correlati
Provalo sul tuo carico di lavoro
HotKV parla il protocollo Redis, quindi puoi puntarci un client esistente ed eseguire questi stessi comandi.