Rapoarte programate
Aceleași rezumate sunt generate pentru fiecare privitor al unui dashboard. Un apel către model pe raport pe zi, în loc de unul pe vizualizare.
IA și LLMAplicații LLMPlanurile Performance și Scale
Caching exact de prompturi
Nu plătiți niciodată de două ori același prompt. Un cache LLM cu potrivire exactă, care numără tokenii și dolarii pe care vi i-a economisit.
- potrivire, zero succese false
- Exact
- latența căutării în STATS
- p50
- economii urmărite pe spațiu de nume
- $
Pasul 1 din 4
Creați un spațiu de nume
Dați-i un TTL ca răspunsurile să se reîmprospăteze și cât economisește în medie un succes.
Sesiune de exempluplaying
# Creați un spațiu de nume
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.
Problema
Joburile în lot, reîncercările, rapoartele programate și întrebările populare trimit același prompt către model iar și iar. Fiecare este facturat integral, iar nimeni nu poate spune cât ar fi economisit un cache, pentru că nimic nu măsoară asta.
Cum o rezolvă HotKV
Cache-ul de prompturi stochează răspunsul pentru fiecare prompt exact, împreună cu modelul și numărul de tokeni ai apelului care l-a produs. Fiecare succes ulterior este numărat, așa că HotKV poate raporta cererile, tokenii și dolarii pe care nu i-ați cheltuit.
Pas cu pas
Ce se întâmplă, comandă cu comandă
- 01
Creați un spațiu de nume
Dați-i un TTL ca răspunsurile să se reîmprospăteze și cât economisește în medie un succes.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Ratare, apoi stocare cu utilizarea
Primul apel merge la model. Răspunsul este stocat cu modelul și numărul de tokeni care l-au produs.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Fiecare repetare este gratuită
Jobul de noapte și fiecare vizualizare de dashboard cer același lucru. Toate sunt succese.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Vedeți cât ați economisit
Statisticile includ rata de succes, latența căutării și utilizarea pe care nu ați plătit-o.
PCACHE.STATS reports
Unde se potrivește
Scenarii din lumea reală
Traducere și localizare
Șirurile din interfață și descrierile de produse sunt traduse o singură dată pe limbă și servite din cache la fiecare cerere de după aceea.
Pipeline-uri de clasificare
Tichetele, recenziile și e-mailurile cu text identic primesc aceeași etichetă fără un alt apel către model.
Integrat
Ce primiți
Potrivire exactă
Un succes doar pentru promptul identic, deci un răspuns din cache nu este niciodată servit pentru o altă întrebare.
PCACHE.GETPCACHE.SETAtent la utilizare
Stocați modelul și numărul de tokeni cu fiecare răspuns, ca economiile să fie calculate din utilizarea reală.
MODELINPUTOUTPUTMetadate și contoare de succese
PCACHE.GETEX returnează răspunsul cu metadatele lui și cu numărul de ori în care a fost servit.
PCACHE.GETEXRata de succes și latența
PCACHE.STATS raportează succesele, ratările, evacuările, memoria, latența căutării și economiile.
PCACHE.STATSÎntrebări frecvente
Când să folosesc cache-ul de prompturi în loc de cel semantic?
Folosiți cache-ul de prompturi când prompturile se repetă exact, cum sunt joburile în lot și șabloanele fixe. Folosiți cache-ul semantic când oamenii formulează aceeași întrebare în feluri diferite. Multe aplicații le verifică pe amândouă.
Este același lucru cu caching-ul de prompturi al furnizorului?
Nu. Caching-ul de prompturi al furnizorului reduce prețul prefixelor repetate, de partea lui. Un succes HotKV nu ajunge deloc la furnizor, deci cele două se adună.
Ce planuri îl includ?
Cache-ul de prompturi face parte din planurile Performance și Scale.
Cazuri de utilizare înrudite
Încercați pe propria sarcină de lucru
HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.