Plánované reporty
Stejné souhrny se generují pro každého, kdo dashboard zobrazí. Jedno volání modelu na report a den místo jednoho na zobrazení.
AI a LLMAplikace s LLMPlány Performance a Scale
Cachování promptů s přesnou shodou
Nikdy neplaťte dvakrát za stejný prompt. Cache LLM s přesnou shodou, která počítá tokeny a dolary, které vám ušetřila.
- shoda, žádné falešné zásahy
- Přesná
- latence vyhledávání ve STATS
- p50
- úspory sledované pro každý jmenný prostor
- $
Krok 1 z 4
Vytvoření jmenného prostoru
Dejte mu TTL, aby se odpovědi obnovovaly, a průměrnou úsporu na jeden zásah.
Ukázková relaceplaying
# Vytvoření jmenného prostoru
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Animovaný průvodce se skutečnými příkazy HotKV a ukázkovými odpověďmi. Kliknutím na kterýkoli krok na něj přeskočíte. Příkazy a odpovědi zůstávají anglicky, přesně tak, jak je v HotKV zadáváte a vidíte.
Problém
Dávkové úlohy, opakování, plánované reporty a oblíbené otázky posílají modelu stejný prompt znovu a znovu. Každý se účtuje v plné výši a nikdo neumí říct, kolik by cache ušetřila, protože to nic neměří.
Jak to řeší HotKV
Cache promptů ukládá odpověď pro každý přesný prompt spolu s modelem a počty tokenů volání, které ji vytvořilo. Každý další zásah se počítá, takže HotKV umí hlásit požadavky, tokeny a dolary, které jste nevydali.
Krok za krokem
Co se děje, příkaz po příkazu
- 01
Vytvoření jmenného prostoru
Dejte mu TTL, aby se odpovědi obnovovaly, a průměrnou úsporu na jeden zásah.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Minutí, pak uložení se spotřebou
První volání jde k modelu. Odpověď se uloží s modelem a počty tokenů, které ji vytvořily.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Každé opakování je zdarma
Noční úloha i každé zobrazení dashboardu se ptají na totéž. Všechno jsou zásahy.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Podívejte se, kolik jste ušetřili
Statistiky zahrnují míru zásahů, latenci vyhledávání a spotřebu, kterou jste nezaplatili.
PCACHE.STATS reports
Kam to zapadá
Scénáře z praxe
Překlady a lokalizace
Texty rozhraní a popisy produktů se přeloží jednou pro každý jazyk a poté se při každém požadavku obslouží z cache.
Klasifikační pipeline
Tikety, recenze a e-maily s identickým textem dostanou stejný štítek bez dalšího volání modelu.
Zabudováno
Co dostanete
Přesná shoda
Zásah jen pro identický prompt, takže se odpověď z cache nikdy neposkytne pro jinou otázku.
PCACHE.GETPCACHE.SETS ohledem na spotřebu
Ukládejte s každou odpovědí model a počty tokenů, aby se úspory počítaly ze skutečné spotřeby.
MODELINPUTOUTPUTMetadata a počty zásahů
PCACHE.GETEX vrací odpověď s jejími metadaty a s tím, kolikrát byla poskytnuta.
PCACHE.GETEXMíra zásahů a latence
PCACHE.STATS hlásí zásahy, minutí, vytěsnění, paměť, latenci vyhledávání a úspory.
PCACHE.STATSČasté otázky
Kdy použít cache promptů místo sémantické cache?
Cache promptů použijte, když se prompty opakují přesně, například u dávkových úloh a pevných šablon. Sémantickou cache použijte, když lidé stejnou otázku formulují různě. Mnoho aplikací kontroluje obě.
Je to totéž jako cachování promptů u poskytovatele?
Ne. Cachování promptů u poskytovatele zlevňuje opakované prefixy na jeho straně. Zásah v HotKV se k poskytovateli nedostane vůbec, takže se obě úspory sčítají.
Které plány ji zahrnují?
Cache promptů je součástí plánů Performance a Scale.
Související případy použití
Vyzkoušejte to na své zátěži
HotKV mluví protokolem Redisu, takže na něj můžete nasměrovat stávajícího klienta a spustit tytéž příkazy.