AI och LLMLLM-applikationerPlanerna Performance och Scale

Cache med exakt matchning för prompter

Betala aldrig två gånger för samma prompt. En LLM-cache med exakt matchning som räknar tokens och dollar den sparade åt dig.

matchning, noll falska träffar: Exakt
uppslagslatens i STATS: p50
besparingar spåras per namnrymd: $

Steg 1 av 4

Skapa en namnrymd

Ge den en TTL så att svaren förnyas, och vad en träff sparar i snitt.

Exempelsessionplaying

# Skapa en namnrymd

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

En animerad genomgång med riktiga HotKV-kommandon och exempelsvar. Klicka på valfritt steg för att hoppa dit. Kommandon och svar förblir på engelska, precis som du skriver och ser dem i HotKV.

Problemet

Batchjobb, omförsök, schemalagda rapporter och populära frågor skickar samma prompt till modellen om och om igen. Var och en faktureras fullt ut, och ingen kan säga hur mycket en cache hade sparat eftersom inget mäter det.

Så löser HotKV det

Promptcachen lagrar svaret för varje exakt prompt, tillsammans med modellen och tokenantalen för anropet som gav det. Varje senare träff räknas, så HotKV kan redovisa de förfrågningar, tokens och dollar du inte spenderade.

Steg för steg

Vad som händer, kommando för kommando

01
Skapa en namnrymd
Ge den en TTL så att svaren förnyas, och vad en träff sparar i snitt.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
Miss, sedan lagring med användning
Det första anropet går till modellen. Svaret lagras med den modell och de tokenantal som gav det.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
Varje upprepning är gratis
Det nattliga jobbet och varje visning av instrumentpanelen frågar samma sak. Alla är träffar.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
Se vad du sparade
Statistiken innehåller träffgraden, uppslagslatensen och den användning du slapp betala för.
PCACHE.STATS reports

Där det passar

Verkliga scenarier

Schemalagda rapporter

Samma sammanfattningar genereras för varje tittare av en instrumentpanel. Ett modellanrop per rapport och dag i stället för ett per visning.

Översättning och lokalisering

Gränssnittstexter och produktbeskrivningar översätts en gång per språk och serveras från cachen vid varje förfrågan därefter.

Klassificeringspipelines

Ärenden, recensioner och e-postmeddelanden med identisk text får samma etikett utan ytterligare ett modellanrop.

Inbyggt

Det här får du

Exakt matchning

Träff bara för den identiska prompten, så att ett cachat svar aldrig serveras för en annan fråga.

PCACHE.GETPCACHE.SET

Medveten om användning

Lagra modellen och tokenantalen med varje svar så att besparingarna räknas från verklig användning.

MODELINPUTOUTPUT

Metadata och träffantal

PCACHE.GETEX returnerar svaret med dess metadata och hur ofta det har serverats.

PCACHE.GETEX

Träffgrad och latens

PCACHE.STATS redovisar träffar, missar, borttagningar, minne, uppslagslatens och besparingar.

PCACHE.STATS

Referens:PCACHE.CREATE PCACHE.SET PCACHE.STATS

Vanliga frågor

När ska jag använda promptcachen i stället för den semantiska cachen?

Använd promptcachen när prompter upprepas exakt, som i batchjobb och fasta mallar. Använd den semantiska cachen när människor formulerar samma fråga olika. Många applikationer kontrollerar båda.

Är det samma sak som leverantörens promptcachning?

Nej. Leverantörens promptcachning ger rabatt på upprepade prefix hos dem. En HotKV-träff når aldrig leverantören alls, så de två läggs ihop.

Vilka planer innehåller den?

Promptcachen ingår i planerna Performance och Scale.