Klantenservice
Wachtwoordresets, factuurkopieën en bezorgtijden worden steeds opnieuw gevraagd. Elke variant na de eerste wordt uit de cache bediend.
AI en LLMLLM-toepassingenPlannen Performance en Scale
Semantische cache voor antwoorden
Cache LLM-antwoorden op betekenis, niet op exacte tekst, zodat geparafraseerde vragen de cache raken en de modelaanroep overslaan.
- opzoeking vóór elke modelaanroep
- 1
- gelijkenismetrieken
- 3
- drempel overschrijven
- Per aanroep
Stap 1 van 6
Een namespace aanmaken
Stel de embeddinggrootte in en de gelijkenis die als hit telt.
Voorbeeldsessieplaying
# Een namespace aanmaken
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Een geanimeerde walkthrough met echte HotKV-commando's en voorbeeldantwoorden. Klik op een stap om ernaartoe te springen. Commando's en antwoorden blijven Engels, precies zoals je ze in HotKV typt en ziet.
Het probleem
Een supportassistent krijgt dezelfde vraag op honderd verschillende manieren geformuleerd. Een cache met exacte match mist bijna al die varianten, dus elke parafrase betaalt voor een volledige modelaanroep en wacht op het volledige antwoord.
Hoe HotKV het aanpakt
Een semantische cache slaat elk antwoord op naast de embedding van de bijbehorende vraag en zoekt nieuwe vragen op via gelijkenis. Is een nieuwe prompt dicht genoeg bij een prompt die je al hebt beantwoord, dan komt het opgeslagen antwoord terug en wordt het model nooit aangeroepen. De drempel bepaalt hoe dichtbij dicht genoeg is.
Stap voor stap
Wat er gebeurt, commando voor commando
- 01
Een namespace aanmaken
Stel de embeddinggrootte in en de gelijkenis die als hit telt.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Een miss, dus het model één keer aanroepen
De eerste keer dat een vraag wordt gesteld, staat er niets vergelijkbaars in de cache, dus het model beantwoordt hem.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Het antwoord onthouden
Sla de vraag, het antwoord en de embedding van de vraag op, voor één dag.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Een parafrase raakt
"forgot my login pass" ligt dicht bij de opgeslagen vraag. Het antwoord en de gelijkenis komen terug en het model wordt overgeslagen.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Strenger voor één opzoeking
Een opzoeking kan om een nauwere match vragen dan de standaardwaarde van de namespace, voor antwoorden waarbij een bijna-raak niet goed genoeg is.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
De besparing meten
Statistieken per namespace laten zien hoe vaak de cache antwoordde in plaats van het model.
SCACHE.STATS support_bot
Waar het past
Praktijkscenario's
Interne kennisbots
Medewerkers vragen in hun eigen woorden naar vakanties, onkosten en VPN-toegang. Eén antwoord bedient ze allemaal totdat het verloopt.
Developertools
"How do I paginate?" en "how to page through results" krijgen hetzelfde gedocumenteerde antwoord zonder tweede modelaanroep.
Ingebouwd
Wat je krijgt
Matchen op betekenis
Vergelijkbare vragen delen één gecachet antwoord, hoe ze ook zijn geformuleerd.
SCACHE.GETSCACHE.SETJij bepaalt de strengheid
Stel de drempel per namespace in en overschrijf hem bij één enkele opzoeking.
SCACHE.THRESHOLDBesparing die je kunt meten
Statistieken per namespace tonen hits, misses en items.
SCACHE.STATSCosinus, L2 of inwendig product
Kies de metriek die bij je embeddingmodel past wanneer je de namespace aanmaakt.
SCACHE.CREATEVeelgestelde vragen
Wat kost een cachehit?
Eén embedding-aanroep en een cache-opzoeking. De modelaanroep en de generatietijd daarvan worden overgeslagen.
Hoe voorkom ik verkeerde antwoorden door een te ruime match?
Verhoog de drempel. Een hogere drempel vereist een nauwere match, dus minder vragen raken en elke hit is zekerder.
Welke plannen bevatten het?
De semantische cache maakt deel uit van de plannen Performance en Scale.
Verwante use cases
Probeer het op je eigen workload
HotKV spreekt het Redis-protocol, dus je kunt een bestaande client erop richten en dezelfde commando's uitvoeren.