Kundsupport
Lösenordsåterställningar, fakturakopior och leveranstider efterfrågas om och om igen. Varje variant efter den första serveras från cachen.
AI och LLMLLM-applikationerPlanerna Performance och Scale
Semantisk cache för svar
Cacha LLM-svar efter betydelse, inte exakt text, så att omformulerade frågor ger cacheträff och hoppar över modellanropet.
- uppslag före varje modellanrop
- 1
- likhetsmått
- 3
- överstyrning av tröskeln
- Per anrop
Steg 1 av 6
Skapa en namnrymd
Ange embedding-storleken och den likhet som räknas som en träff.
Exempelsessionplaying
# Skapa en namnrymd
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.
Problemet
En supportassistent får samma fråga formulerad på hundra olika sätt. En cache med exakt matchning missar nästan alla, så varje omformulering betalar för ett fullständigt modellanrop och väntar på hela svaret.
Så löser HotKV det
En semantisk cache lagrar varje svar bredvid embeddingen av dess fråga och slår upp nya frågor efter likhet. Om en ny prompt ligger tillräckligt nära en som du redan har besvarat kommer det lagrade svaret tillbaka och modellen anropas aldrig. Tröskeln avgör hur nära som är tillräckligt nära.
Steg för steg
Vad som händer, kommando för kommando
- 01
Skapa en namnrymd
Ange embedding-storleken och den likhet som räknas som en träff.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
En miss, så anropa modellen en gång
Första gången en fråga ställs finns inget liknande i cachen, så modellen besvarar den.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Kom ihåg svaret
Spara frågan, svaret och frågans embedding i ett dygn.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
En omformulering ger träff
”forgot my login pass” hamnar nära den lagrade frågan. Svaret och dess likhet kommer tillbaka, och modellen hoppas över.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Strängare för ett uppslag
Ett uppslag kan begära en närmare matchning än namnrymdens standard, för svar där en nästan-träff inte räcker.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Mät besparingarna
Statistik per namnrymd visar hur ofta cachen svarade i stället för modellen.
SCACHE.STATS support_bot
Där det passar
Verkliga scenarier
Interna kunskapsbottar
Anställda frågar om semester, utlägg och VPN-åtkomst med egna ord. Ett svar räcker åt alla tills det löper ut.
Utvecklarverktyg
”How do I paginate?” och ”how to page through results” får samma dokumenterade svar utan ett andra modellanrop.
Inbyggt
Det här får du
Matcha efter betydelse
Liknande frågor delar ett cachat svar, hur de än är formulerade.
SCACHE.GETSCACHE.SETDu styr stränghetsnivån
Ange tröskeln per namnrymd och överstyr den för ett enskilt uppslag.
SCACHE.THRESHOLDBesparingar du kan mäta
Statistik per namnrymd visar träffar, missar och poster.
SCACHE.STATSCosinus, L2 eller inre produkt
Välj det mått som passar din embedding-modell när du skapar namnrymden.
SCACHE.CREATEVanliga frågor
Vad kostar en cacheträff?
Ett embedding-anrop och ett cacheuppslag. Modellanropet och dess genereringstid hoppas över.
Hur undviker jag felaktiga svar från en lös matchning?
Höj tröskeln. En högre tröskel kräver en närmare matchning, så färre frågor ger träff och varje träff är säkrare.
Vilka planer innehåller den?
Den semantiska cachen ingår i planerna Performance och Scale.
Relaterade användningsfall
Prova på din egen arbetslast
HotKV talar Redis-protokollet, så du kan peka en befintlig klient mot det och köra samma kommandon.