Az AI-stackre építve
A legtöbb csapat egy vektoradatbázist, egy gyorsítótárat, egy keresőmotort és rengeteg ragasztókódot illeszt az LLM-alkalmazása mellé. A HotKV ezeket az építőelemeket egyetlen memóriabeli motorba építi, így a keresés, a memória és a költségkontroll közvetlenül az adatai mellett fut.
Válasszon egy kérdést. Nézze meg, hol kap választ, és a stack mekkora részét nem kell érintenie.
- 00Kérdésátengedi
- LLMBUDGETLLM-keretátengedi
- PCACHEPrompt-gyorsítótármegválaszolva
- SCACHESzemantikus gyorsítótár
- RAGRAG-folyamat
- 05LLM
A prompt-gyorsítótárból megválaszolva. A modellt egyáltalán nem hívja meg.
Az idők az alábbi tokenmegtakarítási benchmark mért mediánjai. A szemantikus gyorsítótár idejét nem mértük, ezért nincs megjelenítve.
Kilenc AI-motor, egy szerver
Mindegyik parancsok családja az adatai mellett. Nyissa meg bármelyiket, és nézze meg egy valós felhasználási esetben.
Miért érdemes az AI-t a HotKV-n futtatni
Ugyanaz a többszálú mag, amely minden általunk mért parancsnál megelőzte a Redist és a Valkey-t, a keresést, a memóriát és a védőkorlátokat is futtatja.
Egy motor, nem öt szolgáltatás
A vektorkeresés, a szemantikus gyorsítótár, a RAG, az ügynökmemória és a feature store ugyanabban a folyamatban él. Nincs külön vektoradatbázis, gyorsítótár és keresőklaszter, amelyet telepíteni, védeni és szinkronban tartani kellene.
Ezredmásodperc alatti gyorsítótár-találatok
Minden AI-építőelem ugyanazon a többszálú magon fut, amely a méréseinkben mind a 12 parancsnál megelőzte a Redist és a Valkey-t. Az LLM-tesztünkben a pontos gyorsítótár-találatok körülbelül 0,05 ms alatt érkeztek meg, szemben a modellhívás 1,4–2,9 másodpercével.
Költségkontroll az adatrétegben
A szemantikus és a prompt-gyorsítótár csökkenti az LLM-hívásokat, az embedding-deduplikáció az embedding-hívásokat, a kulcsonkénti keretek pedig még a költés előtt korlátot szabnak. A megtakarítás mért, nem becsült.
Tervezésből adódóan többbérlős
A névterek elkülönítik az egyes bérlők vektorait, memóriáját és kereteit, a Scale csomag pedig bérlőnyilvántartást és auditnaplót ad a csapatok és ügyfelek közös AI-infrastruktúrájához.
Fizessen kevesebb tokenért
Ugyanazt a 3000 ügyfélszolgálati kérdést kétszer küldtük el négy aktuális Claude modellnek: egyszer közvetlenül a modellnek, egyszer a HotKV-val az előtt.
Feldolgozott tokenek modellenként
Mit jelent ez nagy léptékben
- Anthropic claude-fable-5-1: $303 100 havonta a HotKV nélkül, $91 800 vele, havonta körülbelül $211 300 megtakarítás.
- Anthropic claude-opus-5-5: $146 000 havonta a HotKV nélkül, $45 000 vele, havonta körülbelül $101 000 megtakarítás.
- Anthropic claude-sonnet-5-5: $55 100 havonta a HotKV nélkül, $16 600 vele, havonta körülbelül $38 500 megtakarítás.
- Anthropic claude-haiku-5-5: $2700 havonta a HotKV nélkül, $800 vele, havonta körülbelül $1900 megtakarítás.
Napi 1 millió kérésnél, a mért kérésenkénti költségből extrapolálva, azonos forgalmi mintát feltételezve. A négy Claude modell rövid válaszokkal futott, a Fable 5.1 és az Opus 5.5 pedig a legalacsonyabb gondolkodási erőfeszítéssel, így a hosszabb vagy gondolkodásigényes válaszoknál minden elkerült hívás többet érne.
Teljes számokTokenek, költség, válaszminőség és a hasonlósági küszöb kompromisszumaMegjelenítésElrejtés
A Claude Fable 5.1, Opus 5.5, Sonnet 5.5 és Haiku 5.5 modellt futtattuk ugyanazon a 3000 kérésen, HotKV-val és nélküle. A szolgáltató saját prompt-gyorsítótárazása minden futtatásnál be volt kapcsolva, a tokeneket és a költségeket pedig az egyes válaszok használati adataiból vettük, a gondolkodási tokeneket is beleértve.
| Modell | Megtakarított tokenek | Költség nélküle | Költség vele | Alacsonyabb ennyivel | Modellhívások | Medián válaszidő |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3000 – 896 | 2,7 s – 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3000 – 898 | 2,9 s – 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3000 – 897 | 1,8 s – 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3000 – 897 | 1,4 s – 125 ms |
Mennyire jók a gyorsítótárazott válaszok?
Minden gyorsítótárból kiszolgált átfogalmazott kérdésnél egy másik modell összehasonlította a gyorsítótárazott választ azzal az új válasszal, amelyet ugyanaz a modell adott pontosan arra a kérdésre, véletlen sorrendben. Egyetlen modell sem értékelte a saját kimenetét. Ez egy nyelvi modell értékelése, nem emberi felülvizsgálat, és a szigorúsága modellenként eltér, ezért a gyorsítótárazottat és az újat csak egy modellen belül hasonlítsa össze.
| Modell | Értékelt átfogalmazott kérdések | A gyorsítótárazott válasz megfelel | Az új válasz megfelel |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
A hasonlósági küszöb a megtakarítást a válaszminőséggel váltja ki
Minden sor a(z) Claude Sonnet 5.5 külön futtatása ugyanazon a 3000 kérésen (költség HotKV nélkül: $5,51).
| Küszöb | Költség | Alacsonyabb ennyivel | A gyorsítótárazott válasz megfelel | Az új válasz megfelel |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Mit mutatnak és mit nem mutatnak ezek a számok
- A fenti eredményekhez használt 0,81 küszöbnél a gyorsítótárazott válasz 6 – 11 százalékponttal ritkábban felel meg a pontos kérdésnek, mint egy új. Az átfogalmazott kérdések a kérések körülbelül 31%-át teszik ki, így az összes válaszra vetítve ez nagyjából 2 – 3 pont. A küszöbfuttatásokban a 0,88-tól felfelé a gyorsítótárazott válaszok nem voltak rosszabbak az újaknál, miközben a költség 61–64%-át még megtakarították.
- A fenti „azonos szándék” érték nem jelenti azt, hogy „azonos helyes válasz”. Egy 119 szándékosan közeli kérdéspárból álló tesztben, ahol egyetlen részlet, például befizetés és kifizetés, megváltoztatja a helyes választ, a megváltozott kérdések 62%-ára a gyorsítótárazott választ adnák vissza 0,81 küszöbnél, 25%-ára 0,90-nél és 10%-ára 0,95-nél. Ezek a párok szándékosan nehezek, a legrosszabb esetet mutatják, nem azt, hogy az valós forgalomban milyen gyakran fordul elő. Ha a hibás válaszok költségesek az Ön felhasználási esetében, emelje a küszöböt.
- Egyetlen nyilvános adathalmaz rövid banki kérdésekkel, egyetlen embedding modell és egy automatizált értékelő. A küszöbhatást egy modellen mértük. A másik hármat csak 0,81 küszöbnél futtattuk. Az Ön ismétlődési aránya és kérdései más számokat adnak.
3000 ügyfélszolgálati kérdés a Banking77 teszthalmazából, rögzített véletlenszám-maggal (a szándékok népszerűsége Zipf-eloszlást követ, s=1,0; a kérdéseket az egyes szándékokon belül egyenletesen mintavételeztük, ismétlésekkel). Minden kérdést ugyanazzal a támogatási szabályzattal küldtünk a modellnek, mint rendszerprompt. Alapeset: minden kérés a modellt hívja, a szolgáltató saját prompt-gyorsítótárazásával bekapcsolva. HotKV: pontos egyezésű keresés (GET a normalizált kérdés SHA-256 kulcsán), majd szemantikus keresés (SCACHE.GET a kérdés embeddingjével), és a modellt csak találat hiányában hívjuk. A tokenszámokat az egyes API-válaszok használati blokkjából vettük, a költségek listaárakat használnak, és tartalmazzák az embedding-hívásokat. A hasonlósági küszöböt a különálló Banking77 tanítóhalmazon választottuk ki, mint a legalacsonyabb értéket, amely a szemantikus találatoknál legalább 98%-os azonos szándékú pontosságot ad.
Embedding modell: OpenAI text-embedding-3-small. Szemantikus egyezési küszöb: 0,81. Adathalmaz: Banking77 (teszthalmaz), készítette: PolyAI, licenc: CC BY 4.0. 3000 kérés 77 szándékon keresztül.
Mérés időpontja: 2026. október 11.. A megtakarítás attól függ, milyen gyakran ismétlődik a forgalma. Az olyan munkaterhelés, amelyben nincsenek ismétlődő vagy hasonló kérdések, semmit nem takarít meg.
AI-funkciókat szállítson, ne infrastruktúrát
Az AI-parancskészlet a HotKV Cloud minden Performance és Scale példányához jár. Kérjen korai hozzáférést, és kezdjen el keresést, memóriát és költségkontrollt építeni.