Postaveno pro AI stack
Většina týmů přidává ke své LLM aplikaci vektorovou databázi, cache, vyhledávač a hromadu propojovacího kódu. HotKV tyto stavební prvky zabudovává do jednoho in-memory jádra, takže vyhledávání, paměť i kontrola nákladů běží vedle vašich dat.
Vyberte otázku. Sledujte, kde se zodpoví a kolik vrstev se jí vůbec nedotkne.
- 00Otázkaprojde
- LLMBUDGETRozpočet LLMprojde
- PCACHECache promptůzodpovězeno
- SCACHESémantická cache
- RAGRAG pipeline
- 05LLM
Zodpovězeno z cache promptů. Model se vůbec nevolá.
Časy jsou změřené mediány z benchmarku úspor tokenů níže. Čas sémantické cache změřen nebyl, proto se neuvádí.
Devět AI jader, jeden server
Každé z nich je rodina příkazů vedle vašich dat. Otevřete libovolné z nich a uvidíte ho v reálném případu použití.
Proč provozovat AI na HotKV
Totéž multithreadové jádro, které předběhlo Redis a Valkey u každého příkazu, který jsme měřili, obsluhuje také vaše vyhledávání, paměť a ochranná pravidla.
Jedno jádro místo pěti služeb
Vektorové vyhledávání, sémantická cache, RAG, paměť agentů i feature store žijí ve stejném procesu. Žádná samostatná vektorová databáze, cache ani vyhledávací cluster, které byste museli nasazovat, zabezpečovat a udržovat v synchronizaci.
Zásahy cache pod milisekundu
Každý AI stavební prvek běží na stejném multithreadovém jádru, které v našich benchmarcích vedlo před Redisem a Valkey u všech 12 příkazů. V našem testu s LLM se zásahy cache s přesnou shodou vracely zhruba za 0,05 ms, kdežto volání modelu trvalo 1,4 až 2,9 s.
Kontrola nákladů v datové vrstvě
Sémantická cache a cache promptů snižují počet volání LLM, deduplikace embeddingů snižuje počet volání embeddingů a rozpočty na klíč omezují útratu dřív, než k ní dojde. Úspory jsou změřené, ne odhadnuté.
Multitenantní od základu
Jmenné prostory udržují vektory, paměť a rozpočty každého tenanta odděleně a plán Scale přidává registr tenantů a auditní log pro sdílenou AI infrastrukturu napříč týmy a zákazníky.
Platíte za méně tokenů
Stejných 3 000 dotazů zákaznické podpory jsme dvakrát poslali čtyřem aktuálním modelům Claude: jednou přímo modelu, jednou s HotKV před ním.
Zpracované tokeny podle modelu
Co to znamená ve velkém
- Anthropic claude-fable-5-1: 303 100 $ měsíčně bez HotKV, 91 800 $ s ním, zhruba 211 300 $ ušetřeno každý měsíc.
- Anthropic claude-opus-5-5: 146 000 $ měsíčně bez HotKV, 45 000 $ s ním, zhruba 101 000 $ ušetřeno každý měsíc.
- Anthropic claude-sonnet-5-5: 55 100 $ měsíčně bez HotKV, 16 600 $ s ním, zhruba 38 500 $ ušetřeno každý měsíc.
- Anthropic claude-haiku-5-5: 2 700 $ měsíčně bez HotKV, 800 $ s ním, zhruba 1 900 $ ušetřeno každý měsíc.
Při 1 milionu požadavků denně, extrapolováno ze změřených nákladů na jeden požadavek a za předpokladu stejného vzorce provozu. Čtyři modely Claude běžely s krátkými odpověďmi a Fable 5.1 a Opus 5.5 s nejnižší úrovní uvažování, takže u delších odpovědí nebo odpovědí náročných na uvažování by každé ušetřené volání mělo vyšší hodnotu.
Kompletní číslaTokeny, náklady, kvalita odpovědí a kompromis kolem prahu podobnostiZobrazitSkrýt
Spustili jsme Claude Fable 5.1, Opus 5.5, Sonnet 5.5 a Haiku 5.5 na stejných 3 000 požadavcích každý, s HotKV i bez něj. Cachování promptů na straně poskytovatele bylo zapnuté v každém běhu a tokeny i náklady se berou z údajů o spotřebě v každé odpovědi, včetně tokenů na uvažování.
| Model | Ušetřené tokeny | Náklady bez | Náklady s | Nižší o | Volání modelu | Mediánová odpověď |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70 % | 30,31 $ | 9,18 $ | 70 % | 3 000 až 896 | 2,7 s až 127 ms |
| Claude Opus 5.5 | 70 % | 14,60 $ | 4,50 $ | 69 % | 3 000 až 898 | 2,9 s až 126 ms |
| Claude Sonnet 5.5 | 70 % | 5,51 $ | 1,66 $ | 70 % | 3 000 až 897 | 1,8 s až 128 ms |
| Claude Haiku 5.5 | 70 % | 0,27 $ | 0,08 $ | 70 % | 3 000 až 897 | 1,4 s až 125 ms |
Jak dobré jsou odpovědi z cache?
U každé přeformulované otázky obsloužené z cache porovnal jiný model odpověď z cache s čerstvou odpovědí, kterou stejný model dal přesně na tuto otázku, v náhodném pořadí. Žádný model neposuzoval svůj vlastní výstup. Posuzuje jazykový model, ne člověk, a jeho přísnost se mezi modely liší, proto porovnávejte odpověď z cache s čerstvou jen v rámci jednoho modelu.
| Model | Posouzené přeformulované otázky | Odpověď z cache sedí | Čerstvá odpověď sedí |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3 % | 90,2 % |
| Claude Opus 5.5 | 935 | 93,3 % | 99,0 % |
| Claude Sonnet 5.5 | 936 | 77,9 % | 86,1 % |
| Claude Haiku 5.5 | 936 | 67,9 % | 78,6 % |
Práh podobnosti mění úspory za kvalitu odpovědí
Každý řádek je samostatný běh modelu Claude Sonnet 5.5 na stejných 3 000 požadavcích (náklady bez HotKV: 5,51 $).
| Práh | Náklady | Nižší o | Odpověď z cache sedí | Čerstvá odpověď sedí |
|---|---|---|---|---|
| 0,81 | 1,66 $ | 70 % | 77,9 % | 86,1 % |
| 0,85 | 1,88 $ | 66 % | 80,3 % | 85,6 % |
| 0,88 | 1,99 $ | 64 % | 89,5 % | 83,8 % |
| 0,90 | 2,13 $ | 61 % | 87,9 % | 86,5 % |
| 0,95 | 2,22 $ | 60 % | 92,0 % | 90,0 % |
Co tato čísla ukazují a co ne
- Při prahu 0,81 použitém pro výsledky výše odpověď z cache sedí na přesnou otázku o 6 až 11 procentního bodu méně často než čerstvá. Přeformulované otázky tvoří asi 31 % požadavků, takže přes všechny odpovědi to činí zhruba 2 až 3 bodu. V bězích s různými prahy nebyly odpovědi z cache od 0,88 výše horší než čerstvé a přitom stále ušetřily 61 % až 64 % nákladů.
- Údaj „stejný záměr“ výše neznamená „stejná správná odpověď“. V testu 119 záměrně blízkých dvojic otázek, kde jediný detail, například vklad versus výběr, mění správnou odpověď, by u 62 % změněných otázek byla obsloužena odpověď z cache při prahu 0,81, u 25 % při 0,90 a u 10 % při 0,95. Tyto dvojice jsou záměrně těžké a ukazují nejhorší případ, ne to, jak často se to děje v reálném provozu. Pokud jsou špatné odpovědi ve vašem případě použití drahé, zvyšte práh.
- Jedna veřejná datová sada krátkých bankovních otázek, jeden model pro embeddingy a automatický posuzovatel. Vliv prahu byl změřen na jednom modelu. Ostatní tři běžely jen při prahu 0,81. Vaše míra opakování a vaše otázky dají jiná čísla.
3 000 otázek zákaznické podpory vybraných z testovací části Banking77 s pevným seedem (popularita záměrů sleduje Zipfovo rozdělení, s=1,0; otázky se v rámci každého záměru vybírají rovnoměrně, s opakováním). Každá otázka byla modelu poslána se stejnou politikou podpory jako systémový prompt. Základ: každý požadavek volá model, s cachováním promptů poskytovatele zapnutým. HotKV: vyhledání s přesnou shodou (GET na klíč SHA-256 normalizované otázky), poté sémantické vyhledání (SCACHE.GET s embeddingem otázky) a model se volá jen při minutí. Počty tokenů se berou z bloku usage v každé odpovědi API, náklady vycházejí z ceníkových cen a zahrnují volání embeddingů. Práh podobnosti byl zvolen na samostatné trénovací části Banking77 jako nejnižší hodnota, která dává alespoň 98% přesnost shody záměru u sémantických zásahů.
Model pro embeddingy: OpenAI text-embedding-3-small. Práh sémantické shody: 0,81. Datová sada: Banking77 (testovací část) od PolyAI, licence CC BY 4.0. 3 000 požadavků napříč 77 záměry.
Změřeno 11. října 2026. Úspory závisejí na tom, jak často se váš provoz opakuje. Zátěž bez opakovaných nebo podobných otázek neušetří nic.
Dodávejte AI funkce, ne infrastrukturu
Sada příkazů pro AI je součástí každé instance Performance a Scale na HotKV Cloud. Požádejte o předběžný přístup a začněte budovat vyhledávání, paměť a kontrolu nákladů.