SaaS-helpdesk
Duizenden klanten vragen naar wachtwoorden, facturen en planlimieten. Veel vragen zijn herhalingen of parafrases en worden uit de cache beantwoord. Alleen echt nieuwe bereiken het model.
AI en LLMLLM-toepassingenPlannen Performance en Scale
AI-klantenserviceassistent
Een supportbot die herhalingen direct beantwoordt, parafrases op betekenis matcht, nieuwe antwoorden onderbouwt met je helpcentrum en nooit te veel uitgeeft.
- AI-engines in één server
- 5
- modelaanroep per nieuwe vraag
- 1
- extra databases om te draaien
- 0
Stap 1 van 6
Het budget van de tenant controleren
Het budget van elke tenant is eenmalig ingesteld met LLMBUDGET.SET. Boek er vóór enig modelwerk atomair op af. Een tenant boven zijn limiet wordt hier geweigerd, voordat er geld wordt uitgegeven.
Voorbeeldsessieplaying
# Het budget van de tenant controleren
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Een geanimeerde walkthrough met echte HotKV-commando's en voorbeeldantwoorden. Klik op een stap om ernaartoe te springen. Commando's en antwoorden blijven Engels, precies zoals je ze in HotKV typt en ziet.
Het probleem
Een echte supportassistent is meer dan een prompt. Hij heeft een cache nodig zodat dezelfde vraag niet twee keer wordt betaald, retrieval over het helpcentrum, geheugen van het gesprek en een budget zodat één klant de rekening niet kan opdrijven. Dat betekent meestal vier of vijf services, en meer tijd aan lijmcode dan aan het product.
Hoe HotKV het aanpakt
HotKV draait elk van die onderdelen als commando's in één server. De assistent controleert het budget van de tenant, beantwoordt exacte herhalingen uit de promptcache en parafrases uit de semantische cache, haalt passages uit het helpcentrum op voor alles wat nieuw is, bewaart het gesprek en cachet elk nieuw antwoord voor de volgende klant die het vraagt.
Stap voor stap
Wat er gebeurt, commando voor commando
- 01
Het budget van de tenant controleren
Het budget van elke tenant is eenmalig ingesteld met LLMBUDGET.SET. Boek er vóór enig modelwerk atomair op af. Een tenant boven zijn limiet wordt hier geweigerd, voordat er geld wordt uitgegeven.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Exacte herhaling, direct beantwoord
Dezelfde vraag woord voor woord is een hit in de promptcache. Geen embedding, geen modelaanroep.
PCACHE.GET support "How do I reset my password?" - 03
Een parafrase, gematcht op betekenis
"I forgot my login password" is anders geformuleerd. De embedding ligt dicht genoeg bij een vraag in de semantische cache, eenmalig aangemaakt met SCACHE.CREATE, dus het opgeslagen antwoord komt terug.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Iets nieuws, dus context ophalen
Een vraag die nog niemand heeft gesteld. Hybride zoeken over het ingelezen helpcentrum levert de passages die het model nodig heeft.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Eén modelaanroep, onthouden
Het model antwoordt met de passages als context. De beurt wordt toegevoegd aan het gesprek, dat bij de start van de chat is geopend met AMEM.CONV.CREATE, zodat het volgende bericht zijn geschiedenis heeft.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Cache het voor de volgende klant
Het nieuwe antwoord gaat in de semantische cache, zodat elke latere parafrase van deze vraag een hit is.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Waar het past
Praktijkscenario's
Retourbot voor e-commerce
Retour- en bezorgbeleid wordt eenmalig ingelezen als een RAG-pipeline. Antwoorden zijn gebaseerd op de actuele beleidstekst en elke winkel op het platform heeft een eigen budget.
Interne IT-assistent
Medewerkers stellen elke week dezelfde vragen over VPN en laptops. De assistent bewaart elk gesprek, haalt eerdere beurten terug en stopt een op hol geslagen lus voordat die het maandbudget opmaakt.
Ingebouwd
Wat je krijgt
Twee lagen caching
Een exacte promptcache voor herhalingen woord voor woord en een semantische cache voor parafrases, elk met eigen hitstatistieken.
PCACHE.GETSCACHE.GETOnderbouwde antwoorden
Artikelen uit het helpcentrum worden in chunks verdeeld en geïndexeerd in een RAG-pipeline met hybride vector- en trefwoordzoekfunctie.
RAG.INGESTRAG.SEARCHGespreksgeheugen
Elke chat bewaart een lopend venster van beurten voor de volgende prompt.
AMEM.CONV.APPENDAMEM.CONV.WINDOWBudgetten per klant
Token- en dollarlimieten per tenant, atomair in rekening gebracht voordat het model wordt aangeroepen.
LLMBUDGET.CONSUMEVeelgestelde vragen
Heb ik ook een vectordatabase nodig?
Nee. De semantische cache, de RAG-pipeline en het agentgeheugen draaien allemaal binnen HotKV, naast de rest van je applicatiedata.
Welke embedding- en chatmodellen kan ik gebruiken?
Elk model. HotKV slaat de vectoren die je levert op en doorzoekt ze, en roept zelf nooit een model aan, zodat je de volledige controle over providers behoudt.
Welke plannen bevatten deze commando's?
De promptcache, semantische cache, RAG-pipelines, het agentgeheugen en LLM-budgetten maken deel uit van de plannen Performance en Scale.
Verwante use cases
Probeer het op je eigen workload
HotKV spreekt het Redis-protocol, dus je kunt een bestaande client erop richten en dezelfde commando's uitvoeren.