Stworzony dla stosu AI
Większość zespołów dokłada do aplikacji LLM bazę wektorową, cache, wyszukiwarkę i stos kodu sklejającego. HotKV wbudowuje te elementy w jeden silnik działający w pamięci, dzięki czemu wyszukiwanie, pamięć i kontrola kosztów działają obok Twoich danych.
Wybierz pytanie. Zobacz, gdzie dostaje odpowiedź i ile warstw stosu w ogóle nie musi uruchamiać.
- 00Pytanieprzechodzi
- LLMBUDGETBudżet LLMprzechodzi
- PCACHECache promptówodpowiedziano
- SCACHECache semantyczny
- RAGPotok RAG
- 05LLM
Odpowiedź z cache promptów. Model nie jest w ogóle wywoływany.
Czasy to zmierzone mediany z poniższego benchmarku oszczędności tokenów. Czasu cache semantycznego nie zmierzono, więc nie jest pokazany.
Dziewięć silników AI, jeden serwer
Każdy z nich to rodzina poleceń obok Twoich danych. Otwórz dowolny, aby zobaczyć go w prawdziwym przypadku użycia.
Dlaczego warto uruchamiać AI na HotKV
Ten sam wielowątkowy rdzeń, który wyprzedził Redis i Valkey w każdym przetestowanym poleceniu, obsługuje także wyszukiwanie, pamięć i zabezpieczenia.
Jeden silnik zamiast pięciu usług
Wyszukiwanie wektorowe, cache semantyczny, RAG, pamięć agentów i feature store działają w tym samym procesie. Nie musisz wdrażać, zabezpieczać i synchronizować osobnej bazy wektorowej, cache i klastra wyszukiwania.
Trafienia w cache poniżej milisekundy
Każdy element AI działa na tym samym wielowątkowym rdzeniu, który wyprzedził Redis i Valkey we wszystkich 12 poleceniach w naszych benchmarkach. W naszym teście LLM dokładne trafienia w cache wracały w około 0,05 ms, wobec 1,4 do 2,9 s dla wywołania modelu.
Kontrola kosztów w warstwie danych
Cache semantyczny i cache promptów ograniczają wywołania LLM, deduplikacja embeddingów ogranicza wywołania embeddingów, a budżety dla każdego klucza ograniczają wydatki, zanim do nich dojdzie. Oszczędności są zmierzone, a nie oszacowane.
Wielodostępność od podstaw
Przestrzenie nazw oddzielają wektory, pamięć i budżety każdego tenanta, a plan Scale dodaje rejestr tenantów i dziennik audytu dla wspólnej infrastruktury AI w zespołach i u klientów.
Płać za mniej tokenów
Wysłaliśmy te same 3000 pytań do obsługi klienta do czterech aktualnych modeli Claude dwa razy: raz prosto do modelu, raz z HotKV z przodu.
Tokeny przetworzone na model
Co to oznacza w dużej skali
- Anthropic claude-fable-5-1: $303 100 miesięcznie bez HotKV, $91 800 z nim, około $211 300 oszczędności co miesiąc.
- Anthropic claude-opus-5-5: $146 000 miesięcznie bez HotKV, $45 000 z nim, około $101 000 oszczędności co miesiąc.
- Anthropic claude-sonnet-5-5: $55 100 miesięcznie bez HotKV, $16 600 z nim, około $38 500 oszczędności co miesiąc.
- Anthropic claude-haiku-5-5: $2700 miesięcznie bez HotKV, $800 z nim, około $1900 oszczędności co miesiąc.
Przy 1 milionie żądań dziennie, ekstrapolowane ze zmierzonego kosztu na żądanie i przy założeniu tego samego wzorca ruchu. Cztery modele Claude działały z krótkimi odpowiedziami, a Fable 5.1 i Opus 5.5 z najniższym wysiłkiem rozumowania, więc dłuższe lub wymagające rozumowania odpowiedzi sprawiłyby, że każde uniknięte wywołanie byłoby warte więcej.
Pełne liczbyTokeny, koszt, jakość odpowiedzi i kompromis progu podobieństwaPokażUkryj
Uruchomiliśmy Claude Fable 5.1, Opus 5.5, Sonnet 5.5 i Haiku 5.5 na tych samych 3000 żądaniach każdy, z HotKV i bez. W każdym uruchomieniu włączony był cache promptów po stronie dostawcy, a tokeny i koszty pochodzą z danych o użyciu w każdej odpowiedzi, wraz z tokenami rozumowania.
| Model | Zaoszczędzone tokeny | Koszt bez | Koszt z | Niższy o | Wywołania modelu | Mediana odpowiedzi |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | od 3000 do 896 | od 2,7 s do 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | od 3000 do 898 | od 2,9 s do 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | od 3000 do 897 | od 1,8 s do 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | od 3000 do 897 | od 1,4 s do 125 ms |
Jak dobre są odpowiedzi z cache?
Dla każdego inaczej sformułowanego pytania obsłużonego z cache inny model porównywał odpowiedź z cache ze świeżą odpowiedzią, jakiej ten sam model udzielił na to dokładne pytanie, w losowej kolejności. Żaden model nie oceniał własnych wyników. To ocenia model językowy, a nie człowiek, a jego surowość różni się między modelami, więc porównuj odpowiedzi z cache ze świeżymi tylko w obrębie jednego modelu.
| Model | Oceniono pytań inaczej sformułowanych | Odpowiedź z cache pasuje | Świeża odpowiedź pasuje |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Próg podobieństwa to kompromis między oszczędnościami a jakością odpowiedzi
Każdy wiersz to osobne uruchomienie Claude Sonnet 5.5 na tych samych 3000 żądaniach (koszt bez HotKV: $5,51).
| Próg | Koszt | Niższy o | Odpowiedź z cache pasuje | Świeża odpowiedź pasuje |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Co te liczby pokazują, a czego nie
- Przy progu 0,81 użytym w powyższych wynikach odpowiedź z cache pasuje do dokładnego pytania rzadziej niż świeża o 6 do 11 punktów procentowych. Inaczej sformułowane pytania to około 31% żądań, więc w skali wszystkich odpowiedzi daje to mniej więcej 2 do 3 punktu. W uruchomieniach z różnymi progami odpowiedzi z cache od 0.88 w górę nie były gorsze od świeżych, a nadal oszczędzały od 61% do 64% kosztów.
- Powyższa wartość „ta sama intencja” nie oznacza „ta sama poprawna odpowiedź”. W teście 119 celowo bliskich par pytań, w których jeden szczegół, na przykład wpłata kontra wypłata, zmienia poprawną odpowiedź, 62% zmienionych pytań dostałoby odpowiedź z cache przy 0,81, 25% przy 0.90 i 10% przy 0.95. Te pary są zbudowane tak, by były trudne, i pokazują najgorszy przypadek, a nie to, jak często zdarza się to w prawdziwym ruchu. Jeśli błędne odpowiedzi są w Twoim przypadku kosztowne, podnieś próg.
- Jeden publiczny zbiór danych krótkich pytań bankowych, jeden model embeddingów i zautomatyzowany sędzia. Efekt progu zmierzono na jednym modelu. Pozostałe trzy uruchomiono tylko przy 0,81. Twój odsetek powtórzeń i pytania dadzą inne liczby.
3000 pytań do obsługi klienta wylosowanych z podziału testowego Banking77 ze stałym ziarnem (popularność intencji podlega rozkładowi Zipfa, s=1.0; pytania są losowane równomiernie w obrębie każdej intencji, z powtórzeniami). Każde pytanie wysyłano do modelu z tą samą polityką obsługi jako promptem systemowym. Punkt odniesienia: każde żądanie wywołuje model, z włączonym cache promptów po stronie dostawcy. HotKV: wyszukiwanie z dokładnym dopasowaniem (GET na kluczu SHA-256 znormalizowanego pytania), następnie wyszukiwanie semantyczne (SCACHE.GET z embeddingiem pytania), a model jest wywoływany tylko przy pudle. Liczby tokenów pochodzą z bloku usage każdej odpowiedzi API; koszty wynikają z cen katalogowych i obejmują wywołania embeddingów. Próg podobieństwa wybrano na osobnym podziale treningowym Banking77 jako najniższą wartość dającą co najmniej 98% precyzji tej samej intencji w trafieniach semantycznych.
Model embeddingów: OpenAI text-embedding-3-small. Próg dopasowania semantycznego: 0,81. Zbiór danych: Banking77 (podział testowy) autorstwa PolyAI, licencja CC BY 4.0. 3000 żądań w 77 intencjach.
Zmierzono 11 października 2026. Oszczędności zależą od tego, jak często Twój ruch się powtarza. Obciążenie bez powtarzających się lub podobnych pytań nic nie oszczędza.
Dostarczaj funkcje AI, a nie infrastrukturę
Zestaw poleceń AI jest dostępny w każdej instancji Performance i Scale w HotKV Cloud. Poproś o wczesny dostęp, aby zacząć budować wyszukiwanie, pamięć i kontrolę kosztów.