Obniż wydatki na tokeny LLM i odpowiadaj na powtarzające się żądania AI z cache w mniej niż milisekundę, korzystając z wielowątkowego magazynu zgodnego z Redis.
HotKV stoi przed Twoimi wywołaniami LLM jako jeden silnik zgodny z Redis. Rozpoznaje prompty, na które już odpowiedział, dokładnie lub w przybliżeniu, i zwraca aplikacji odpowiedź z cache zamiast nowego wywołania API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Zadane już wcześniej, słowo w słowo: bez wywołania modelu cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerPrzykładowy wynik (dane przykładowe)
Scenariusz: ask("How do I reset my password?") dwa razy
Oba wywołania zwracają: "Use the password-reset link on the sign-in page."
Pierwsze wywołanie: pudło w cache → call_llm → zapisana odpowiedź
Drugie wywołanie: odpowiedź z cache → bez wywołania modeluWysłaliśmy te same 3000 pytań do obsługi klienta do czterech aktualnych modeli Claude dwa razy: raz prosto do modelu, raz z HotKV z przodu.
Przy 1 milionie żądań dziennie, ekstrapolowane ze zmierzonego kosztu na żądanie i przy założeniu tego samego wzorca ruchu. Cztery modele Claude działały z krótkimi odpowiedziami, a Fable 5.1 i Opus 5.5 z najniższym wysiłkiem rozumowania, więc dłuższe lub wymagające rozumowania odpowiedzi sprawiłyby, że każde uniknięte wywołanie byłoby warte więcej.
Uruchomiliśmy Claude Fable 5.1, Opus 5.5, Sonnet 5.5 i Haiku 5.5 na tych samych 3000 żądaniach każdy, z HotKV i bez. W każdym uruchomieniu włączony był cache promptów po stronie dostawcy, a tokeny i koszty pochodzą z danych o użyciu w każdej odpowiedzi, wraz z tokenami rozumowania.
| Model | Zaoszczędzone tokeny | Koszt bez | Koszt z | Niższy o | Wywołania modelu | Mediana odpowiedzi |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | od 3000 do 896 | od 2,7 s do 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | od 3000 do 898 | od 2,9 s do 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | od 3000 do 897 | od 1,8 s do 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | od 3000 do 897 | od 1,4 s do 125 ms |
Dla każdego inaczej sformułowanego pytania obsłużonego z cache inny model porównywał odpowiedź z cache ze świeżą odpowiedzią, jakiej ten sam model udzielił na to dokładne pytanie, w losowej kolejności. Żaden model nie oceniał własnych wyników. To ocenia model językowy, a nie człowiek, a jego surowość różni się między modelami, więc porównuj odpowiedzi z cache ze świeżymi tylko w obrębie jednego modelu.
| Model | Oceniono pytań inaczej sformułowanych | Odpowiedź z cache pasuje | Świeża odpowiedź pasuje |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Każdy wiersz to osobne uruchomienie Claude Sonnet 5.5 na tych samych 3000 żądaniach (koszt bez HotKV: $5,51).
| Próg | Koszt | Niższy o | Odpowiedź z cache pasuje | Świeża odpowiedź pasuje |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3000 pytań do obsługi klienta wylosowanych z podziału testowego Banking77 ze stałym ziarnem (popularność intencji podlega rozkładowi Zipfa, s=1.0; pytania są losowane równomiernie w obrębie każdej intencji, z powtórzeniami). Każde pytanie wysyłano do modelu z tą samą polityką obsługi jako promptem systemowym. Punkt odniesienia: każde żądanie wywołuje model, z włączonym cache promptów po stronie dostawcy. HotKV: wyszukiwanie z dokładnym dopasowaniem (GET na kluczu SHA-256 znormalizowanego pytania), następnie wyszukiwanie semantyczne (SCACHE.GET z embeddingiem pytania), a model jest wywoływany tylko przy pudle. Liczby tokenów pochodzą z bloku usage każdej odpowiedzi API; koszty wynikają z cen katalogowych i obejmują wywołania embeddingów. Próg podobieństwa wybrano na osobnym podziale treningowym Banking77 jako najniższą wartość dającą co najmniej 98% precyzji tej samej intencji w trafieniach semantycznych.
Model embeddingów: OpenAI text-embedding-3-small. Próg dopasowania semantycznego: 0,81. Zbiór danych: Banking77 (podział testowy) autorstwa PolyAI, licencja CC BY 4.0. 3000 żądań w 77 intencjach.
Zmierzono 11 października 2026. Oszczędności zależą od tego, jak często Twój ruch się powtarza. Obciążenie bez powtarzających się lub podobnych pytań nic nie oszczędza.
Wczytaliśmy te same embeddingi OpenAI do HotKV i Redis 8 i wykonaliśmy te same 1000 zapytań na każdym, przy 1 do 100 równoległych połączeniach klientów, na jednej maszynie. Oba przechowywały wektory o pełnej precyzji, z tymi samymi ustawieniami indeksu.
Oba silniki przechowywały wektory float32 o pełnej precyzji. Po wczytaniu 999 000 wektorów proces HotKV zajmował 6,77 GB, a Redis 7,01 GB.
Nie zmierzono: domyślnego 8-bitowego trybu skwantowanego Redis, Redis Query Engine, innych zbiorów danych i innego sprzętu. Build HotKV to wersja deweloperska, która nie została wydana. Redis został wczytany przypięty do czterech vCPU i przeszukiwany na ponownie wczytanym indeksie (zobacz artykuł).
| ef | Recall HotKV | Recall Redis | Zapytania/s HotKV | Zapytania/s Redis | Stosunek |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3454 | 3,6x |
| 500 | 0,997 | 0,994 | 7688 | 2483 | 3,1x |
Build HotKV c8dafd37 i Redis 8.10.2, podobieństwo cosinusowe, HNSW z M=16 i ef_construction=200 w obu, float32 w obu (Redis NOQUANT). Recall to recall@10 względem dokładnych wyników brute-force. Mediana z 3 uruchomień na Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Serwery dzieliły 128 vCPU, a generatory obciążenia działały na 32 innych, z tym samym kodem klienta dla obu.
Zbiór danych: embeddingi dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1536 wymiarów) autorstwa Kumar Shivendu and Nirant Kasliwal, licencja MIT, plus 1000 zapytań wyłączonych ze zbioru. Pełna metoda, skrypty i surowe wyniki. Zmierzono 14 października 2026.
HotKV to oprogramowanie komercyjne. Pozwól nam je uruchomić za Ciebie albo uruchom je samodzielnie na infrastrukturze, którą kontrolujesz.
W pełni zarządzana instancja HotKV, hostowana i obsługiwana przez nas w Google Cloud w 42 regionach. Otwieramy falami. Poproś o wczesny dostęp.
Uruchom HotKV na własnych serwerach lub na własnym koncie chmurowym, z plikiem licencji, z pełną kontrolą nad lokalizacją danych i dostępem sieciowym.
Dwanaście oficjalnych bibliotek klienckich. HotKV obsługuje też RESP2 i RESP3, więc Twoi dotychczasowi klienci i narzędzia Redis łączą się bez zmian poza nazwą hosta.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}z GitHuba (hotkv-perl-client)libhotkv (CMake, wydanie na GitHubie)hotkv-cpp (CMake, wydanie na GitHubie)SDK dla Pythona i Node.js zawierają jednoliniowe integracje z frameworkami, z których zespoły już korzystają. Osobne narzędzia open source obejmują LangGraph, MCP i API zgodne z OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Zawiera też HotKVCache do cache z dokładnym dopasowaniem oraz HotKVVectorStore i HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Zawiera też HotKVKVStore i HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Wbudowany cache Redis w LiteLLM już działa z HotKV bez zmian. Sięgnij po tę integrację, gdy chcesz też cache semantycznego.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Dostępne w pakiecie npm @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Dostępne w pakiecie npm @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Checkpointer dla stanu grafu i magazyn pamięci długoterminowej z wyszukiwaniem semantycznym. Nie wymaga licencji HotKV.
Czytaj dokumentacjępip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Pozwala Claude, Cursor i innym asystentom korzystać z kluczy, pamięci agentów, promptów i wyszukiwania dokumentów. Tryb tylko do odczytu i przestrzenie nazw trzymają agentów w ryzach.
Czytaj dokumentacjęgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Proxy typu drop-in, które buforuje wywołania API zgodne z OpenAI oraz Anthropic, także strumieniowe. Zmień jeden adres URL, bez kodu.
Czytaj dokumentacjęZobacz, co sprawia, że HotKV jest szybki, gdzie się sprawdza i jak zacząć.
Wielowątkowy od pierwszego dnia. Przepustowość, która rośnie wraz z liczbą rdzeni, a nie wbrew niej.
Dowiedz się więcejCache semantyczny, RAG, pamięć agentów i kontrola kosztów LLM wbudowane w silnik.
Dowiedz się więcejCache, sesje, kolejki, rankingi. Te same obciążenia co w Redis, przy większej przepustowości.
Dowiedz się więcejTagowanie kluczy, TTL w nanosekundach, wyszukiwanie wektorowe i wbudowane metryki, część głównego silnika.
Dowiedz się więcejWielowątkowy silnik, w którym każdy rdzeń równolegle odczytuje, analizuje i wykonuje polecenia.
Dowiedz się więcejPlany Starter, Performance i Scale w HotKV Cloud, z wliczonym ruchem i bez rocznego zobowiązania.
Dowiedz się więcej