Сократите расходы на токены LLM и отвечайте на повторные ИИ-запросы из кеша быстрее чем за миллисекунду, используя многопоточное Redis-совместимое хранилище.
HotKV стоит перед вашими вызовами LLM как единый Redis-совместимый движок. Он узнаёт промпты, на которые уже отвечал, точно или приблизительно, и отдаёт приложению кешированный ответ вместо нового вызова API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Уже спрашивали слово в слово: вызова модели нет cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerПоказательный результат (примерные данные)
Сценарий: ask("Как сбросить пароль?") дважды
Оба вызова возвращают: "Воспользуйтесь ссылкой для сброса пароля на странице входа."
Первый вызов: промах кеша → call_llm → ответ сохранён
Второй вызов: ответ из кеша → вызова модели нетМы дважды отправили одни и те же 3 000 вопросов службы поддержки четырём актуальным моделям Claude: один раз напрямую модели, один раз с HotKV перед ней.
При 1 миллионе запросов в день, экстраполяция по измеренной стоимости одного запроса при том же характере трафика. Четыре модели Claude работали с короткими ответами, а Fable 5.1 и Opus 5.5 - с наименьшим уровнем рассуждений, поэтому более длинные ответы или ответы с интенсивными рассуждениями сделают каждый избежанный вызов ценнее.
Мы запустили Claude Fable 5.1, Opus 5.5, Sonnet 5.5 и Haiku 5.5 на одних и тех же 3 000 запросах каждую, с HotKV и без него. Собственное кеширование промптов провайдера было включено в каждом запуске, а токены и стоимость взяты из данных об использовании в каждом ответе, включая токены рассуждений.
| Модель | Сэкономлено токенов | Стоимость без HotKV | Стоимость с HotKV | Ниже на | Вызовы модели | Медианный ответ |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | от 3 000 до 896 | от 2,7 s до 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | от 3 000 до 898 | от 2,9 s до 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | от 3 000 до 897 | от 1,8 s до 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | от 3 000 до 897 | от 1,4 s до 125 ms |
Для каждого вопроса другими словами, обслуженного из кеша, другая модель сравнила ответ из кеша с новым ответом, который та же модель дала на этот точный вопрос, в случайном порядке. Ни одна модель не оценивала собственный вывод. Это оценка языковой моделью, а не проверка человеком, и строгость у разных моделей различается, поэтому сравнивайте ответы из кеша и новые только в пределах одной модели.
| Модель | Оценено вопросов другими словами | Ответ из кеша подходит | Новый ответ подходит |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Каждая строка - отдельный запуск Claude Sonnet 5.5 на тех же 3 000 запросах (стоимость без HotKV: $5,51).
| Порог | Стоимость | Ниже на | Ответ из кеша подходит | Новый ответ подходит |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3,000 вопросов службы поддержки, взятых из тестовой выборки Banking77 с фиксированным зерном (популярность намерений следует распределению Ципфа, s=1.0; вопросы выбираются равномерно в пределах каждого намерения, с повторами). Каждый вопрос отправлялся модели с одной и той же политикой поддержки в качестве системного промпта. Базовый вариант: каждый запрос вызывает модель, с включённым собственным кешированием промптов провайдера. HotKV: поиск с точным совпадением (GET по ключу SHA-256 от нормализованного вопроса), затем семантический поиск (SCACHE.GET с эмбеддингом вопроса), и модель вызывается только при промахе. Количество токенов взято из блока данных об использовании в каждом ответе API; стоимость рассчитана по прайс-листу и включает вызовы эмбеддингов. Порог сходства выбран на отдельной обучающей выборке Banking77 как наименьшее значение, дающее не менее 98% точности по совпадению намерений при семантических попаданиях.
Модель эмбеддингов: OpenAI text-embedding-3-small. Порог семантического совпадения: 0,81. Набор данных: Banking77 (тестовая выборка), автор PolyAI, лицензия CC BY 4.0. 3 000 запросов по 77 намерениям.
Измерено 11 октября 2026 г.. Экономия зависит от того, как часто ваш трафик повторяется. Нагрузка без повторяющихся или похожих вопросов ничего не экономит.
Мы загрузили одни и те же эмбеддинги OpenAI в HotKV и Redis 8 и выполнили к каждому одни и те же 1 000 запросов при 1-100 одновременных клиентских соединениях на одной машине. Оба хранили векторы полной точности с одинаковыми настройками индекса.
Оба движка хранили векторы float32 полной точности. После загрузки 999 000 векторов процесс HotKV занимал 6,77 ГБ, а Redis - 7,01 ГБ.
Не измерялись: режим 8-битного квантования Redis по умолчанию, Redis Query Engine, другие наборы данных и другое оборудование. Сборка HotKV - это сборка для разработки, которая не выпускалась. Redis загружался с привязкой к четырём vCPU, а поиск выполнялся на перезагруженном индексе (см. статью).
| ef | Полнота HotKV | Полнота Redis | HotKV, запросов/с | Redis, запросов/с | Отношение |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8 061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6 825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5 241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3 454 | 3,6x |
| 500 | 0,997 | 0,994 | 7 688 | 2 483 | 3,1x |
Сборка HotKV c8dafd37 и Redis 8.10.2, сходство косинусное, HNSW с M=16 и ef_construction=200 на обоих, float32 на обоих (Redis NOQUANT). Полнота - это recall@10 относительно точных результатов полного перебора. Медиана из 3 запусков на Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Серверы делили 128 vCPU, а генераторы нагрузки работали на 32 других, с одним и тем же клиентским кодом для обоих.
Набор данных: эмбеддинги dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1 536 измерений), автор Kumar Shivendu and Nirant Kasliwal, лицензия MIT, плюс 1 000 отложенных запросов. Полная методика, скрипты и исходные результаты. Измерено 14 октября 2026 г..
HotKV является коммерческим программным обеспечением. Мы можем запустить его для вас, или вы можете запустить его сами на инфраструктуре, которую контролируете.
Полностью управляемый экземпляр HotKV, который мы размещаем и обслуживаем в Google Cloud в 42 регионах. Открываем доступ волнами. Запросите ранний доступ.
Запускайте HotKV на собственных серверах или в собственном облачном аккаунте по файлу лицензии, с полным контролем над местом хранения данных и сетевым доступом.
Двенадцать официальных клиентских библиотек. HotKV также понимает RESP2 и RESP3, поэтому ваши существующие клиенты и инструменты Redis подключаются без изменений, кроме имени хоста.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}из GitHub (hotkv-perl-client)libhotkv (CMake, релиз на GitHub)hotkv-cpp (CMake, релиз на GitHub)SDK для Python и Node.js содержат интеграции в одну строку для фреймворков, с которыми команды уже работают. Отдельные инструменты с открытым исходным кодом охватывают LangGraph, MCP и API, совместимые с OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Также включает HotKVCache для кеширования с точным совпадением, а также HotKVVectorStore и HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Также включает HotKVKVStore и HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Встроенный кеш Redis в LiteLLM уже работает с HotKV без изменений. Используйте эту интеграцию, когда вам также нужно семантическое кеширование.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Поставляется в npm-пакете @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Поставляется в npm-пакете @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Чекпоинтер для состояния графа и долговременное хранилище памяти с семантическим поиском. Лицензия HotKV не требуется.
Читать документациюpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Позволяет Claude, Cursor и другим ассистентам использовать ключи, память агентов, промпты и поиск по документам. Режим только для чтения и пространства имён удерживают агентов в границах.
Читать документациюgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Прокси, который можно подставить без изменений и который кеширует вызовы API, совместимые с OpenAI, и API Anthropic, включая потоковую передачу. Измените один URL, код менять не нужно.
Читать документациюУзнайте, что делает HotKV быстрым, где он уместен и как начать.
Многопоточность с первого дня. Пропускная способность растёт вместе с числом ядер, а не вопреки ему.
Узнать большеСемантический кеш, RAG, память агентов и контроль затрат на LLM встроены в движок.
Узнать большеКеширование, сеансы, очереди, таблицы лидеров. Те же нагрузки, что и в Redis, но с более высокой пропускной способностью.
Узнать большеТеги ключей, наносекундные TTL, векторный поиск и встроенные метрики - часть основного движка.
Узнать большеМногопоточный движок, в котором каждое ядро параллельно читает, разбирает и выполняет команды.
Узнать большеТарифы Starter, Performance и Scale в HotKV Cloud с включённым трафиком и без годовой привязки.
Узнать больше