Report pianificati
Gli stessi riepiloghi vengono generati per ogni utente che apre una dashboard. Una chiamata al modello per report al giorno invece di una per visualizzazione.
IA e LLMApplicazioni LLMPiani Performance e Scale
Cache esatta dei prompt
Non pagare mai due volte lo stesso prompt. Una cache LLM a corrispondenza esatta che conta i token e i dollari che ti ha fatto risparmiare.
- corrispondenza, zero falsi hit
- Esatta
- latenza di lookup in STATS
- p50
- risparmi tracciati per namespace
- $
Passo 1 di 4
Crea un namespace
Dagli un TTL perché le risposte si aggiornino, e quanto fa risparmiare in media un hit.
Sessione di esempioplaying
# Crea un namespace
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Una dimostrazione animata con comandi HotKV reali e risposte di esempio. Clicca su un passo qualsiasi per andarci. Comandi e risposte restano in inglese, esattamente come li digiti e li vedi in HotKV.
Il problema
Job batch, retry, report pianificati e domande frequenti inviano lo stesso prompt al modello ancora e ancora. Ognuno viene fatturato per intero, e nessuno sa dire quanto avrebbe fatto risparmiare una cache perché nulla lo misura.
Come lo gestisce HotKV
La cache dei prompt salva la risposta per ogni prompt esatto, insieme al modello e ai conteggi di token della chiamata che l'ha prodotta. Ogni hit successivo viene contato, così HotKV può riportare le richieste, i token e i dollari che non hai speso.
Passo dopo passo
Cosa succede, comando per comando
- 01
Crea un namespace
Dagli un TTL perché le risposte si aggiornino, e quanto fa risparmiare in media un hit.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Miss, poi salva con l'utilizzo
La prima chiamata va al modello. La risposta viene salvata con il modello e i conteggi di token che l'hanno prodotta.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Ogni ripetizione è gratis
Il job notturno e ogni visualizzazione della dashboard chiedono la stessa cosa. Sono tutti hit.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Guarda quanto hai risparmiato
Le statistiche includono l'hit rate, la latenza di lookup e l'utilizzo che non hai pagato.
PCACHE.STATS reports
Dove si usa
Scenari reali
Traduzione e localizzazione
Le stringhe dell'interfaccia e le descrizioni dei prodotti vengono tradotte una volta per lingua e da lì in poi servite dalla cache a ogni richiesta.
Pipeline di classificazione
Ticket, recensioni ed email con testo identico ricevono la stessa etichetta senza un'altra chiamata al modello.
Integrato
Cosa ottieni
Corrispondenza esatta
Un hit solo per il prompt identico, quindi una risposta in cache non viene mai servita per una domanda diversa.
PCACHE.GETPCACHE.SETAttenta all'utilizzo
Salva il modello e i conteggi di token con ogni risposta, così i risparmi vengono calcolati sull'utilizzo reale.
MODELINPUTOUTPUTMetadati e conteggio degli hit
PCACHE.GETEX restituisce la risposta con i suoi metadati e quante volte è stata servita.
PCACHE.GETEXHit rate e latenza
PCACHE.STATS riporta hit, miss, eviction, memoria, latenza di lookup e risparmi.
PCACHE.STATSDomande frequenti
Quando dovrei usare la cache dei prompt invece della cache semantica?
Usa la cache dei prompt quando i prompt si ripetono esattamente, come nei job batch e nei template fissi. Usa la cache semantica quando le persone formulano la stessa domanda in modo diverso. Molte applicazioni le controllano entrambe.
È la stessa cosa del prompt caching del provider?
No. Il prompt caching del provider applica uno sconto ai prefissi ripetuti dal suo lato. Un hit di HotKV non arriva mai al provider, quindi i due risparmi si sommano.
Quali piani la includono?
La cache dei prompt fa parte dei piani Performance e Scale.
Casi d'uso correlati
Provalo sul tuo carico di lavoro
HotKV parla il protocollo Redis, quindi puoi puntarci un client esistente ed eseguire questi stessi comandi.