Ügyfélszolgálat
A jelszó-visszaállítást, a számlamásolatokat és a szállítási időket újra és újra megkérdezik. Az első után minden változat a gyorsítótárból szolgálódik ki.
AI és LLMLLM-alkalmazásokPerformance és Scale csomagok
Szemantikus válasz-gyorsítótárazás
Gyorsítótárazza az LLM-válaszokat jelentés, nem pontos szöveg alapján, így az átfogalmazott kérdések gyorsítótár-találatot adnak, és kihagyják a modellhívást.
- keresés minden modellhívás előtt
- 1
- hasonlósági metrika
- 3
- küszöb felülbírálása
- Hívásonként
Lépés 1 / 6
Névtér létrehozása
Állítsa be az embedding méretét és azt a hasonlóságot, amely találatnak számít.
Példa munkamenetplaying
# Névtér létrehozása
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.
A probléma
Egy támogatási asszisztens ugyanazt a kérdést száz különböző megfogalmazásban kapja. A pontos egyezésű gyorsítótár szinte mindegyiket elvéti, így minden átfogalmazás egy teljes modellhívás árát fizeti, és megvárja a teljes választ.
Hogyan kezeli a HotKV
A szemantikus gyorsítótár minden választ a kérdés embedding-je mellett tárol, és az új kérdéseket hasonlóság alapján keresi. Ha egy új prompt elég közel van egy már megválaszolthoz, a tárolt válasz jön vissza, és a modellt nem hívja meg. A küszöb dönti el, mennyire közel az elég közel.
Lépésről lépésre
Mi történik, parancsról parancsra
- 01
Névtér létrehozása
Állítsa be az embedding méretét és azt a hasonlóságot, amely találatnak számít.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Tévesztés, ezért egyszer meghívja a modellt
Amikor egy kérdést először tesznek fel, nincs a gyorsítótárban semmi hasonló, így a modell válaszol rá.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
A válasz megjegyzése
Tárolja a kérdést, a választ és a kérdés embedding-jét egy napra.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Egy átfogalmazás találat
A „forgot my login pass” közel esik a tárolt kérdéshez. A válasz és a hasonlóság visszajön, a modellt kihagyja.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Szigorúbb egy kereséshez
Egy keresés a névtér alapértelmezettjénél közelebbi egyezést kérhet azoknál a válaszoknál, ahol a majdnem találat nem elég.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
A megtakarítás mérése
A névterenkénti statisztikák megmutatják, milyen gyakran válaszolt a gyorsítótár a modell helyett.
SCACHE.STATS support_bot
Hol használható
Valós helyzetek
Belső tudásbotok
A munkatársak a szabadságról, a költségekről és a VPN-hozzáférésről a saját szavaikkal kérdeznek. Egyetlen válasz kiszolgálja mindet, amíg le nem jár.
Fejlesztői eszközök
A „How do I paginate?” és a „how to page through results” ugyanazt a dokumentált választ kapja második modellhívás nélkül.
Beépítve
Amit kap
Párosítás jelentés alapján
A hasonló kérdések egyetlen gyorsítótárazott választ osztanak meg, bárhogy is fogalmazták meg őket.
SCACHE.GETSCACHE.SETÖn szabályozza a szigort
Állítsa be a küszöböt névterenként, és bírálja felül egyetlen kereséshez.
SCACHE.THRESHOLDMérhető megtakarítás
A névterenkénti statisztikák mutatják a találatokat, a tévesztéseket és a bejegyzéseket.
SCACHE.STATSKoszinusz, L2 vagy belső szorzat
A névtér létrehozásakor válassza azt a metrikát, amely illik az embedding modelljéhez.
SCACHE.CREATEGyakori kérdések
Mennyibe kerül egy gyorsítótár-találat?
Egy embedding-hívásba és egy gyorsítótár-keresésbe. A modellhívást és annak generálási idejét kihagyja.
Hogyan kerülhetem el a laza egyezésből adódó hibás válaszokat?
Emelje a küszöböt. A magasabb küszöb közelebbi egyezést kíván, így kevesebb kérdés ad találatot, és minden találat biztosabb.
Mely csomagok tartalmazzák?
A szemantikus gyorsítótár a Performance és a Scale csomag része.
Kapcsolódó felhasználási esetek
Próbálja ki a saját munkaterhelésén
A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.