Assistenza clienti
Reimpostazione della password, copie delle fatture e tempi di spedizione vengono chiesti ancora e ancora. Ogni variante dopo la prima viene servita dalla cache.
IA e LLMApplicazioni LLMPiani Performance e Scale
Cache semantica delle risposte
Metti in cache le risposte degli LLM per significato, non per testo esatto, così le domande riformulate trovano la cache e saltano la chiamata al modello.
- lookup prima di ogni chiamata al modello
- 1
- metriche di similarità
- 3
- override della soglia
- Per chiamata
Passo 1 di 6
Crea un namespace
Imposta la dimensione degli embedding e la similarità che conta come hit.
Sessione di esempioplaying
# Crea un namespace
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Una dimostrazione animata con comandi HotKV reali e risposte di esempio. Clicca su un passo qualsiasi per andarci. Comandi e risposte restano in inglese, esattamente come li digiti e li vedi in HotKV.
Il problema
Un assistente di supporto riceve la stessa domanda formulata in cento modi diversi. Una cache a corrispondenza esatta le manca quasi tutte, quindi ogni riformulazione paga una chiamata completa al modello e attende la risposta completa.
Come lo gestisce HotKV
Una cache semantica salva ogni risposta accanto all'embedding della sua domanda e cerca le nuove domande per similarità. Se un nuovo prompt è abbastanza vicino a uno a cui hai già risposto, torna la risposta salvata e il modello non viene mai chiamato. La soglia decide quanto vicino è abbastanza vicino.
Passo dopo passo
Cosa succede, comando per comando
- 01
Crea un namespace
Imposta la dimensione degli embedding e la similarità che conta come hit.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Un miss, quindi chiami il modello una volta
La prima volta che una domanda viene posta non c'è nulla di simile in cache, quindi risponde il modello.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Ricorda la risposta
Salva la domanda, la risposta e l'embedding della domanda, per un giorno.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Una riformulazione trova la cache
"forgot my login pass" cade vicino alla domanda salvata. Tornano la risposta e la sua similarità, e il modello viene saltato.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Più rigoroso per un lookup
Un lookup può chiedere una corrispondenza più stretta del valore predefinito del namespace, per le risposte in cui una quasi corrispondenza non basta.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Misura i risparmi
Le statistiche per namespace mostrano quanto spesso ha risposto la cache invece del modello.
SCACHE.STATS support_bot
Dove si usa
Scenari reali
Bot di conoscenza interni
I dipendenti chiedono di ferie, rimborsi spese e accesso VPN con parole proprie. Una sola risposta li serve tutti finché non scade.
Strumenti per sviluppatori
"How do I paginate?" e "how to page through results" ricevono la stessa risposta documentata senza una seconda chiamata al modello.
Integrato
Cosa ottieni
Corrispondenza per significato
Domande simili condividono una sola risposta in cache, comunque siano formulate.
SCACHE.GETSCACHE.SETDecidi tu quanto essere rigoroso
Imposta la soglia per namespace e sovrascrivila su un singolo lookup.
SCACHE.THRESHOLDRisparmi misurabili
Le statistiche per namespace mostrano hit, miss e voci.
SCACHE.STATSCoseno, L2 o prodotto scalare
Scegli la metrica adatta al tuo modello di embedding quando crei il namespace.
SCACHE.CREATEDomande frequenti
Quanto costa un cache hit?
Una chiamata di embedding e un lookup in cache. La chiamata al modello e il suo tempo di generazione vengono saltati.
Come evito risposte sbagliate da una corrispondenza troppo larga?
Alza la soglia. Una soglia più alta richiede una corrispondenza più stretta, quindi meno domande trovano la cache e ogni hit è più sicuro.
Quali piani la includono?
La cache semantica fa parte dei piani Performance e Scale.
Casi d'uso correlati
Provalo sul tuo carico di lavoro
HotKV parla il protocollo Redis, quindi puoi puntarci un client esistente ed eseguire questi stessi comandi.