Help desk SaaS
Mii de clienți întreabă despre parole, facturi și limitele planului. Multe întrebări sunt repetări sau parafraze și primesc răspuns din cache. Doar cele cu adevărat noi ajung la model.
IA și LLMAplicații LLMPlanurile Performance și Scale
Asistent IA pentru suportul clienților
Un bot de suport care răspunde instantaneu la repetări, potrivește parafrazele după sens, ancorează răspunsurile noi în centrul dvs. de ajutor și nu depășește niciodată bugetul.
- motoare IA într-un singur server
- 5
- apel către model pentru fiecare întrebare nouă
- 1
- baze de date suplimentare de rulat
- 0
Pasul 1 din 6
Verificați bugetul tenantului
Bugetul fiecărui tenant a fost setat o dată cu LLMBUDGET.SET. Înainte de orice lucru cu modelul, taxați-l atomic. Un tenant care și-a depășit plafonul este refuzat aici, înainte să se cheltuiască bani.
Sesiune de exempluplaying
# Verificați bugetul tenantului
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.
Problema
Un asistent de suport real înseamnă mai mult decât un prompt. Are nevoie de un cache, ca aceeași întrebare să nu fie plătită de două ori, de regăsire în centrul de ajutor, de memoria conversației și de un buget, ca un singur client să nu poată umfla factura. De obicei asta înseamnă patru sau cinci servicii și mai mult timp petrecut cu codul de legătură decât cu produsul.
Cum o rezolvă HotKV
HotKV rulează fiecare dintre aceste piese ca pe niște comenzi într-un singur server. Asistentul verifică bugetul tenantului, răspunde la repetările exacte din cache-ul de prompturi și la parafraze din cache-ul semantic, regăsește pasaje din centrul de ajutor pentru orice este nou, păstrează conversația și pune în cache fiecare răspuns nou pentru următorul client care întreabă.
Pas cu pas
Ce se întâmplă, comandă cu comandă
- 01
Verificați bugetul tenantului
Bugetul fiecărui tenant a fost setat o dată cu LLMBUDGET.SET. Înainte de orice lucru cu modelul, taxați-l atomic. Un tenant care și-a depășit plafonul este refuzat aici, înainte să se cheltuiască bani.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Repetare exactă, răspuns imediat
Aceeași întrebare, pusă cuvânt cu cuvânt, este un succes în cache-ul de prompturi. Fără embedding, fără apel către model.
PCACHE.GET support "How do I reset my password?" - 03
O parafrază, potrivită după sens
„I forgot my login password” este formulată altfel. Embeddingul ei este suficient de apropiat de o întrebare din cache-ul semantic, creat o dată cu SCACHE.CREATE, așa că răspunsul stocat se întoarce.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Ceva nou, deci regăsiți contextul
O întrebare pe care nimeni nu a mai pus-o. Căutarea hibridă în centrul de ajutor ingerat returnează pasajele de care are nevoie modelul.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Un apel către model, ținut minte
Modelul răspunde având pasajele drept context. Replica este adăugată la conversația deschisă cu AMEM.CONV.CREATE când a început chatul, așa că mesajul următor are istoricul lui.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Puneți-l în cache pentru următorul client
Răspunsul nou intră în cache-ul semantic, deci fiecare parafrază ulterioară a acestei întrebări devine un succes.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Unde se potrivește
Scenarii din lumea reală
Bot de retururi pentru comerț electronic
Politicile de retur și de livrare sunt ingerate o singură dată ca pipeline RAG. Răspunsurile se bazează pe textul curent al politicii, iar fiecare magazin de pe platformă are propriul buget.
Asistent IT intern
Angajații pun săptămână de săptămână aceleași întrebări despre VPN și laptopuri. Asistentul păstrează fiecare conversație, își amintește replicile anterioare și oprește o buclă scăpată de sub control înainte să consume alocația lunară.
Integrat
Ce primiți
Două straturi de caching
Un cache exact de prompturi pentru repetările cuvânt cu cuvânt și un cache semantic pentru parafraze, fiecare cu propriile statistici de succes.
PCACHE.GETSCACHE.GETRăspunsuri ancorate
Articolele din centrul de ajutor sunt împărțite în fragmente și indexate într-un pipeline RAG cu căutare hibridă vectorială și după cuvinte-cheie.
RAG.INGESTRAG.SEARCHMemoria conversației
Fiecare chat păstrează o fereastră glisantă de replici pentru promptul următor.
AMEM.CONV.APPENDAMEM.CONV.WINDOWBugete pe client
Limite de tokeni și de dolari pe tenant, taxate atomic înainte ca modelul să fie apelat.
LLMBUDGET.CONSUMEÎntrebări frecvente
Am nevoie și de o bază de date vectorială?
Nu. Cache-ul semantic, pipeline-ul RAG și memoria pentru agenți rulează toate în HotKV, lângă restul datelor aplicației dvs.
Ce modele de embedding și de chat pot folosi?
Oricare. HotKV stochează și caută vectorii pe care i-ați dat și nu apelează niciodată un model, deci păstrați controlul deplin asupra furnizorilor.
Ce planuri includ aceste comenzi?
Cache-ul de prompturi, cache-ul semantic, pipeline-urile RAG, memoria pentru agenți și bugetele LLM fac parte din planurile Performance și Scale.
Cazuri de utilizare înrudite
Încercați pe propria sarcină de lucru
HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.