Ütemezett jelentések
Ugyanazokat az összefoglalókat generálják egy irányítópult minden megtekintőjének. Jelentésenként naponta egy modellhívás megtekintésenkénti egy helyett.
AI és LLMLLM-alkalmazásokPerformance és Scale csomagok
Pontos prompt-gyorsítótárazás
Soha ne fizessen kétszer ugyanazért a promptért. Pontos egyezésű LLM-gyorsítótár, amely számolja a megtakarított tokeneket és dollárokat.
- egyezés, nulla hamis találat
- Pontos
- keresési késleltetés a STATS-ban
- p50
- névterenként követett megtakarítás
- $
Lépés 1 / 4
Névtér létrehozása
Adjon neki TTL-t, hogy a válaszok frissüljenek, és azt, hogy egy találat átlagosan mennyit takarít meg.
Példa munkamenetplaying
# Névtér létrehozása
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.
A probléma
A kötegelt feladatok, az újrapróbálkozások, az ütemezett jelentések és a népszerű kérdések újra és újra ugyanazt a promptot küldik a modellnek. Mindegyiket teljes áron számlázzák, és senki sem tudja megmondani, mennyit takarítana meg egy gyorsítótár, mert semmi sem méri.
Hogyan kezeli a HotKV
A prompt-gyorsítótár minden pontos prompthoz eltárolja a választ, azzal a modellel és tokenszámmal együtt, amely a választ előállította. Minden későbbi találat számolva van, így a HotKV jelenteni tudja a ki nem adott kéréseket, tokeneket és dollárokat.
Lépésről lépésre
Mi történik, parancsról parancsra
- 01
Névtér létrehozása
Adjon neki TTL-t, hogy a válaszok frissüljenek, és azt, hogy egy találat átlagosan mennyit takarít meg.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Tévesztés, majd tárolás használati adatokkal
Az első hívás a modellhez megy. A választ eltárolja azzal a modellel és tokenszámmal együtt, amely előállította.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Minden ismétlés ingyenes
Az éjszakai feladat és minden irányítópult-megtekintés ugyanazt kéri. Mindegyik találat.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Nézze meg, mennyit takarított meg
A statisztikák tartalmazzák a találati arányt, a keresési késleltetést és a ki nem fizetett használatot.
PCACHE.STATS reports
Hol használható
Valós helyzetek
Fordítás és lokalizáció
A felhasználói felület szövegeit és a termékleírásokat nyelvenként egyszer fordítják le, utána minden kérésnél a gyorsítótárból szolgálják ki.
Osztályozási folyamatok
Az azonos szövegű jegyek, értékelések és e-mailek újabb modellhívás nélkül kapják ugyanazt a címkét.
Beépítve
Amit kap
Pontos egyezés
Csak az azonos promptra ad találatot, így egy gyorsítótárazott válasz sosem kerül kiszolgálásra más kérdésre.
PCACHE.GETPCACHE.SETHasználatot ismerő
Tárolja a modellt és a tokenszámot minden válasszal, így a megtakarítás valós használatból számolódik.
MODELINPUTOUTPUTMetaadatok és találatszámok
A PCACHE.GETEX a választ a metaadataival és azzal együtt adja vissza, hogy hányszor szolgálták ki.
PCACHE.GETEXTalálati arány és késleltetés
A PCACHE.STATS jelenti a találatokat, tévesztéseket, kiürítéseket, a memóriát, a keresési késleltetést és a megtakarítást.
PCACHE.STATSGyakori kérdések
Mikor használjam a prompt-gyorsítótárat a szemantikus helyett?
Akkor használja a prompt-gyorsítótárat, ha a promptok pontosan ismétlődnek, például kötegelt feladatoknál és rögzített sablonoknál. A szemantikusat akkor, ha az emberek ugyanazt a kérdést másként fogalmazzák meg. Sok alkalmazás mindkettőt ellenőrzi.
Ugyanaz ez, mint a szolgáltató prompt-gyorsítótárazása?
Nem. A szolgáltatói prompt-gyorsítótárazás az ismétlődő előtagokat engedményezi az ő oldalukon. A HotKV-találat egyáltalán nem jut el a szolgáltatóhoz, így a kettő összeadódik.
Mely csomagok tartalmazzák?
A prompt-gyorsítótár a Performance és a Scale csomag része.
Kapcsolódó felhasználási esetek
Próbálja ki a saját munkaterhelésén
A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.