SaaS-helpdesk
Tusentals kunder frågar om lösenord, fakturor och plangränser. Många frågor är upprepningar eller omformuleringar och besvaras från cachen. Bara de verkligt nya når modellen.
AI och LLMLLM-applikationerPlanerna Performance och Scale
AI-assistent för kundsupport
En supportbot som svarar direkt på upprepningar, matchar omformuleringar efter betydelse, förankrar nya svar i ditt hjälpcenter och aldrig överskrider budgeten.
- AI-motorer i en server
- 5
- modellanrop per ny fråga
- 1
- extra databaser att drifta
- 0
Steg 1 av 6
Kontrollera tenantens budget
Varje tenants budget sattes en gång med LLMBUDGET.SET. Debitera den atomärt innan något modellarbete görs. En tenant över sitt tak nekas här, innan pengar spenderas.
Exempelsessionplaying
# Kontrollera tenantens budget
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.
Problemet
En riktig supportassistent är mer än en prompt. Den behöver en cache så att samma fråga inte betalas två gånger, hämtning från hjälpcentret, minne av konversationen och en budget så att en enda kund inte kan driva upp fakturan. Det blir oftast fyra eller fem tjänster, och mer tid på limkod än på själva produkten.
Så löser HotKV det
HotKV kör varje sådan del som kommandon i en och samma server. Assistenten kontrollerar tenantens budget, besvarar exakta upprepningar från promptcachen och omformuleringar från den semantiska cachen, hämtar avsnitt ur hjälpcentret för allt nytt, sparar konversationen och cachar varje nytt svar åt nästa kund som frågar.
Steg för steg
Vad som händer, kommando för kommando
- 01
Kontrollera tenantens budget
Varje tenants budget sattes en gång med LLMBUDGET.SET. Debitera den atomärt innan något modellarbete görs. En tenant över sitt tak nekas här, innan pengar spenderas.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Exakt upprepning, besvarad direkt
Samma fråga ställd ord för ord är en träff i promptcachen. Ingen embedding, inget modellanrop.
PCACHE.GET support "How do I reset my password?" - 03
En omformulering, matchad efter betydelse
”I forgot my login password” är formulerad annorlunda. Dess embedding ligger tillräckligt nära en fråga i den semantiska cachen, som skapades en gång med SCACHE.CREATE, så det lagrade svaret kommer tillbaka.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Något nytt, så hämta kontext
En fråga som ingen har ställt än. Hybridsökning över det inlästa hjälpcentret returnerar de avsnitt som modellen behöver.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Ett modellanrop, ihågkommet
Modellen svarar med avsnitten som kontext. Vändan läggs till i konversationen, som öppnades med AMEM.CONV.CREATE när chatten startade, så att nästa meddelande har sin historik.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Cacha det åt nästa kund
Det nya svaret hamnar i den semantiska cachen, så varje senare omformulering av frågan blir en träff.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Där det passar
Verkliga scenarier
Retur-bot för e-handel
Retur- och leveranspolicyer läses in en gång som en RAG-pipeline. Svaren förankras i den aktuella policytexten och varje butik på plattformen har sin egen budget.
Intern IT-assistent
Anställda ställer samma frågor om VPN och bärbara datorer varje vecka. Assistenten sparar varje konversation, minns tidigare vändor och stoppar en skenande loop innan den bränner månadskvoten.
Inbyggt
Det här får du
Två lager av cache
En exakt promptcache för upprepningar ord för ord och en semantisk cache för omformuleringar, var och en med egen träffstatistik.
PCACHE.GETSCACHE.GETFörankrade svar
Artiklar i hjälpcentret delas upp och indexeras i en RAG-pipeline med hybridsökning över vektorer och nyckelord.
RAG.INGESTRAG.SEARCHKonversationsminne
Varje chatt behåller ett glidande fönster av vändor till nästa prompt.
AMEM.CONV.APPENDAMEM.CONV.WINDOWBudgetar per kund
Gränser för tokens och dollar per tenant, debiterade atomärt innan modellen anropas.
LLMBUDGET.CONSUMEVanliga frågor
Behöver jag en vektordatabas också?
Nej. Den semantiska cachen, RAG-pipelinen och agentminnet körs alla inne i HotKV, bredvid resten av din applikationsdata.
Vilka embedding- och chattmodeller kan jag använda?
Vilka som helst. HotKV lagrar och söker i de vektorer du ger det och anropar aldrig en modell själv, så du behåller full kontroll över leverantörerna.
Vilka planer innehåller de här kommandona?
Promptcachen, den semantiska cachen, RAG-pipelines, agentminnet och LLM-budgetarna ingår i planerna Performance och Scale.
Relaterade användningsfall
Prova på din egen arbetslast
HotKV talar Redis-protokollet, så du kan peka en befintlig klient mot det och köra samma kommandon.