AI en LLMLLM-toepassingenPlannen Performance en Scale

Exacte prompt-caching

Betaal nooit twee keer voor dezelfde prompt. Een LLM-cache met exacte match die de tokens en dollars telt die hij je heeft bespaard.

match, nul valse hits: Exact
opzoeklatentie in STATS: p50
besparing bijgehouden per namespace: $

Stap 1 van 4

Een namespace aanmaken

Geef hem een TTL zodat antwoorden verversen, en wat een hit gemiddeld bespaart.

Voorbeeldsessieplaying

# Een namespace aanmaken

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

Een geanimeerde walkthrough met echte HotKV-commando's en voorbeeldantwoorden. Klik op een stap om ernaartoe te springen. Commando's en antwoorden blijven Engels, precies zoals je ze in HotKV typt en ziet.

Het probleem

Batchjobs, retries, geplande rapporten en populaire vragen sturen steeds dezelfde prompt naar het model. Elke keer wordt het volledig in rekening gebracht, en niemand kan zeggen hoeveel een cache had bespaard omdat niets het meet.

Hoe HotKV het aanpakt

De promptcache slaat het antwoord op voor elke exacte prompt, samen met het model en de tokenaantallen van de aanroep die het opleverde. Elke latere hit wordt geteld, zodat HotKV de verzoeken, tokens en dollars kan rapporteren die je niet hebt uitgegeven.

Stap voor stap

Wat er gebeurt, commando voor commando

01
Een namespace aanmaken
Geef hem een TTL zodat antwoorden verversen, en wat een hit gemiddeld bespaart.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
Miss, daarna opslaan met gebruik
De eerste aanroep gaat naar het model. Het antwoord wordt opgeslagen met het model en de tokenaantallen die het opleverden.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
Elke herhaling is gratis
De nachtelijke job en elke dashboardweergave vragen hetzelfde. Ze zijn allemaal hits.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
Zie wat je hebt bespaard
Statistieken omvatten de hitrate, opzoeklatentie en het gebruik dat je niet hebt betaald.
PCACHE.STATS reports

Waar het past

Praktijkscenario's

Geplande rapportage

Dezelfde samenvattingen worden gegenereerd voor elke kijker van een dashboard. Eén modelaanroep per rapport per dag in plaats van één per weergave.

Vertaling en lokalisatie

UI-teksten en productbeschrijvingen worden eenmaal per taal vertaald en daarna bij elk verzoek uit de cache bediend.

Classificatiepipelines

Tickets, reviews en e-mails met identieke tekst krijgen hetzelfde label zonder nieuwe modelaanroep.

Ingebouwd

Wat je krijgt

Exacte match

Alleen een hit voor de identieke prompt, zodat een gecachet antwoord nooit voor een andere vraag wordt geserveerd.

PCACHE.GETPCACHE.SET

Gebruiksbewust

Sla het model en de tokenaantallen bij elk antwoord op, zodat besparingen uit het werkelijke gebruik worden berekend.

MODELINPUTOUTPUT

Metadata en hittellers

PCACHE.GETEX geeft het antwoord terug met zijn metadata en hoe vaak het is geserveerd.

PCACHE.GETEX

Hitrate en latentie

PCACHE.STATS rapporteert hits, misses, verwijderingen, geheugen, opzoeklatentie en besparingen.

PCACHE.STATS

Referentie:PCACHE.CREATE PCACHE.SET PCACHE.STATS

Veelgestelde vragen

Wanneer gebruik ik de promptcache in plaats van de semantische cache?

Gebruik de promptcache wanneer prompts exact herhaald worden, zoals bij batchjobs en vaste templates. Gebruik de semantische cache wanneer mensen dezelfde vraag anders formuleren. Veel applicaties controleren beide.

Is dit hetzelfde als de prompt-caching van de provider?

Nee. Prompt-caching van de provider geeft korting op herhaalde prefixen aan hun kant. Een HotKV-hit bereikt de provider helemaal niet, dus de twee tellen bij elkaar op.

Welke plannen bevatten het?

De promptcache maakt deel uit van de plannen Performance en Scale.