SaaS-ügyfélszolgálat
Ügyfelek ezrei kérdeznek jelszavakról, számlákról és csomagkorlátokról. Sok kérdés ismétlés vagy átfogalmazás, ezekre a gyorsítótárból érkezik válasz. Csak az igazán újak jutnak el a modellig.
AI és LLMLLM-alkalmazásokPerformance és Scale csomagok
AI ügyfélszolgálati asszisztens
Egy támogatási bot, amely az ismétlődő kérdésekre azonnal válaszol, az átfogalmazásokat jelentés alapján párosítja, az új válaszokat a súgóközpontjára alapozza, és soha nem költ túl.
- AI-motor egyetlen szerveren
- 5
- modellhívás új kérdésenként
- 1
- üzemeltetendő extra adatbázis
- 0
Lépés 1 / 6
A bérlő keretének ellenőrzése
Az egyes bérlők keretét egyszer állította be az LLMBUDGET.SET. Bármilyen modellmunka előtt atomikusan terhelje. A keretét túllépő bérlőt itt elutasítja, még a költés előtt.
Példa munkamenetplaying
# A bérlő keretének ellenőrzése
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.
A probléma
Egy valódi támogatási asszisztens több egy promptnál. Kell hozzá gyorsítótár, hogy ugyanazért a kérdésért ne fizessen kétszer, keresés a súgóközpontban, a beszélgetés memóriája, és egy keret, hogy egyetlen ügyfél se tudjon felverni egy hatalmas számlát. Ez általában négy-öt szolgáltatást jelent, és több időt visz a ragasztókód, mint maga a termék.
Hogyan kezeli a HotKV
A HotKV ezeket az elemeket mind parancsként futtatja egyetlen szerveren. Az asszisztens ellenőrzi a bérlő keretét, a pontos ismétléseket a prompt-gyorsítótárból, az átfogalmazásokat a szemantikus gyorsítótárból válaszolja meg, mindenhez, ami új, súgóközponti részeket keres, megőrzi a beszélgetést, és minden új választ gyorsítótáraz a következő kérdező ügyfélnek.
Lépésről lépésre
Mi történik, parancsról parancsra
- 01
A bérlő keretének ellenőrzése
Az egyes bérlők keretét egyszer állította be az LLMBUDGET.SET. Bármilyen modellmunka előtt atomikusan terhelje. A keretét túllépő bérlőt itt elutasítja, még a költés előtt.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Pontos ismétlés, azonnali válasz
A szó szerint ugyanúgy feltett kérdés prompt-gyorsítótár-találat. Nincs embedding, nincs modellhívás.
PCACHE.GET support "How do I reset my password?" - 03
Átfogalmazás, jelentés alapján párosítva
„I forgot my login password” másként van megfogalmazva. Az embeddingje elég közel van a szemantikus gyorsítótár egy kérdéséhez, amelyet egyszer hozott létre az SCACHE.CREATE, így a tárolt válasz visszajön.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Valami új, ezért kontextust keres
Egy kérdés, amelyet még senki nem tett fel. A betöltött súgóközpont feletti hibrid keresés visszaadja a modellnek szükséges részleteket.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Egy modellhívás, megjegyezve
A modell a részletekkel mint kontextussal válaszol. A fordulót hozzáfűzi a beszélgetéshez, amelyet a csevegés indulásakor az AMEM.CONV.CREATE nyitott meg, így a következő üzenetnek megvan az előzménye.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Gyorsítótárazás a következő ügyfélnek
Az új válasz bekerül a szemantikus gyorsítótárba, így a kérdés minden későbbi átfogalmazása találat.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Hol használható
Valós helyzetek
E-kereskedelmi visszaküldési bot
A visszaküldési és szállítási szabályzatokat egyszer töltik be RAG-folyamatként. A válaszok az aktuális szabályzatszövegre épülnek, és a platform minden boltjának saját kerete van.
Belső IT-asszisztens
A munkatársak hétről hétre ugyanazokat a VPN- és laptopkérdéseket teszik fel. Az asszisztens megőrzi minden beszélgetést, felidézi a korábbi fordulókat, és leállítja az elszabadult ciklust, mielőtt az felélné a havi keretet.
Beépítve
Amit kap
Kétrétegű gyorsítótárazás
Pontos prompt-gyorsítótár a szó szerinti ismétlésekhez és szemantikus gyorsítótár az átfogalmazásokhoz, mindkettő saját találati statisztikával.
PCACHE.GETSCACHE.GETMegalapozott válaszok
A súgóközponti cikkek darabolva és indexelve vannak egy RAG-folyamatban, hibrid vektoros és kulcsszavas kereséssel.
RAG.INGESTRAG.SEARCHBeszélgetési memória
Minden csevegés gördülő ablakban őrzi a fordulókat a következő prompthoz.
AMEM.CONV.APPENDAMEM.CONV.WINDOWÜgyfelenkénti keretek
Token- és dollárkorlátok bérlőnként, atomikusan terhelve a modellhívás előtt.
LLMBUDGET.CONSUMEGyakori kérdések
Kell mellé vektoradatbázis is?
Nem. A szemantikus gyorsítótár, a RAG-folyamat és az ügynökmemória mind a HotKV-n belül fut, az alkalmazása többi adata mellett.
Milyen embedding és csevegési modelleket használhatok?
Bármilyet. A HotKV a megadott vektorokat tárolja és keresi, és maga soha nem hív modellt, így a szolgáltatók feletti teljes kontroll az Öné marad.
Mely csomagok tartalmazzák ezeket a parancsokat?
A prompt-gyorsítótár, a szemantikus gyorsítótár, a RAG-folyamatok, az ügynökmemória és az LLM-keretek a Performance és a Scale csomag részei.
Kapcsolódó felhasználási esetek
Próbálja ki a saját munkaterhelésén
A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.