Скоротіть витрати на токени LLM і відповідайте на повторні запити ШІ з кешу менш ніж за мілісекунду, працюючи на багатопотоковому сховищі, сумісному з Redis.
HotKV стоїть перед вашими викликами LLM як єдиний Redis-сумісний рушій. Він впізнає промпти, на які вже відповідав, точно або приблизно, і віддає вашому застосунку відповідь із кешу замість нового виклику API.
import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str: # Вже запитували слово в слово: без виклику моделі cached = client.pcache_get("support", prompt) if cached is not None: return cached.decode() answer = call_llm(prompt) client.pcache_set("support", prompt, answer, ttl=3600) return answerІлюстративний результат (приклад даних)
Сценарій: ask("How do I reset my password?") двічі\nОбидва виклики повертають: "Use the password-reset link on the sign-in page."\nПерший виклик: промах кешу → call_llm → збережена відповідь\nДругий виклик: відповідь із кешу → без виклику моделіМи двічі надіслали ті самі 3 000 запитань клієнтської підтримки чотирьом актуальним моделям Claude, один раз напряму до моделі, один раз із HotKV перед нею.
За 1 мільйона запитів на день, екстраполяція за виміряною вартістю одного запиту з припущенням такого самого патерну трафіку. Чотири моделі Claude працювали з короткими відповідями, а Fable 5.1 та Opus 5.5 з найнижчим рівнем міркування, тож довші відповіді або відповіді з інтенсивними міркуваннями зробили б кожен уникнутий виклик цінним ще більше.
Ми запустили Claude Fable 5.1, Opus 5.5, Sonnet 5.5 і Haiku 5.5 на тих самих 3 000 запитах кожну, з HotKV і без. Кешування промптів на боці провайдера було ввімкнено в кожному запуску, а токени й вартість взято з використання в кожній відповіді, враховуючи токени міркування.
| Модель | Заощаджено токенів | Вартість без | Вартість з | Нижче на | Виклики моделі | Медіанна відповідь |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3 000 to 896 | 2,7 s to 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3 000 to 898 | 2,9 s to 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3 000 to 897 | 1,8 s to 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3 000 to 897 | 1,4 s to 125 ms |
Для кожного переформульованого запитання, обслуженого з кешу, інша модель порівнювала кешовану відповідь зі свіжою відповіддю, яку та сама модель дала на це точне запитання, у випадковому порядку. Жодна модель не оцінювала власний вивід. Це оцінка мовною моделлю, а не людиною, і її суворість різниться між моделями, тому порівнюйте кешовані й свіжі відповіді лише в межах однієї моделі.
| Модель | Оцінено переформульованих запитань | Відповідь із кешу підходить | Нова відповідь підходить |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Кожен рядок є окремим запуском Claude Sonnet 5.5 на тих самих 3 000 запитах (вартість без HotKV: $5,51).
| Поріг | Вартість | Нижче на | Відповідь із кешу підходить | Нова відповідь підходить |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
3 000 запитань клієнтської підтримки з тестової вибірки Banking77 із фіксованим зерном (популярність намірів відповідає розподілу Ціпфа, s=1,0; запитання вибираються рівномірно в межах кожного наміру, з повторами). Кожне запитання надсилалося моделі з тією самою політикою підтримки як системним промптом. Базова лінія: кожен запит викликає модель, з увімкненим кешуванням промптів на боці провайдера. HotKV: пошук за точним збігом (GET за ключем SHA-256 нормалізованого запитання), потім семантичний пошук (SCACHE.GET з ембедингом запитання), і модель викликається лише при промаху. Кількість токенів береться з блоку usage кожної відповіді API, вартість рахується за прейскурантними цінами й включає виклики ембедингів. Поріг подібності обрано на окремій тренувальній вибірці Banking77 як найнижче значення, що дає щонайменше 98% точності збігу намірів на семантичних влучаннях.
Модель ембедингів: OpenAI text-embedding-3-small. Поріг семантичного збігу: 0,81. Набір даних: Banking77 (тестова вибірка) від PolyAI, ліцензія CC BY 4.0. 3 000 запитів за 77 намірами.
Виміряно 11 жовтня 2026 р.. Економія залежить від того, як часто ваш трафік повторюється. Навантаження без повторних чи схожих запитань нічого не заощаджує.
Ми завантажили однакові ембединги OpenAI в HotKV і Redis 8 і виконали ті самі 1 000 запитів до кожного, з 1-100 одночасними клієнтськими з'єднаннями, на одній машині. Обидва зберігали вектори повної точності з однаковими налаштуваннями індексу.
Обидва рушії зберігали вектори float32 повної точності. Після завантаження 999 000 векторів процес HotKV займав 6,77 ГБ, а Redis 7,01 ГБ.
Не вимірювано: типовий 8-бітний квантований режим Redis, Redis Query Engine, інші набори даних та інше обладнання. Збірка HotKV є збіркою розробки, яку не було випущено. Redis завантажували, закріпивши за чотирма vCPU, а шукали по перезавантаженому індексу (див. статтю).
| ef | Повнота HotKV | Повнота Redis | Запитів/с HotKV | Запитів/с Redis | Співвідношення |
|---|---|---|---|---|---|
| 40 | 0,940 | 0,923 | 63 897 | 8 061 | 7,9x |
| 80 | 0,970 | 0,962 | 37 508 | 6 825 | 5,5x |
| 150 | 0,987 | 0,980 | 21 912 | 5 241 | 4,2x |
| 300 | 0,993 | 0,990 | 12 393 | 3 454 | 3,6x |
| 500 | 0,997 | 0,994 | 7 688 | 2 483 | 3,1x |
Збірка HotKV c8dafd37 і Redis 8.10.2, подібність косинусна, HNSW з M=16 і ef_construction=200 в обох, float32 в обох (Redis NOQUANT). Повнота є recall@10 відносно точних результатів повного перебору. Медіана з 3 запусків на Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs. Сервери ділили 128 vCPU, а генератори навантаження працювали на 32 інших, з тим самим клієнтським кодом для обох.
Набір даних: ембединги dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1 536 вимірів) від Kumar Shivendu and Nirant Kasliwal, ліцензія MIT, плюс 1 000 відкладених запитів. Повний метод, скрипти й сирі результати. Виміряно 14 жовтня 2026 р..
HotKV є комерційним програмним забезпеченням. Дозвольте нам запустити його для вас або запустіть самостійно на інфраструктурі, яку ви контролюєте.
Повністю керований екземпляр HotKV, який ми розміщуємо й обслуговуємо в Google Cloud у 42 регіонах. Відкриваємо хвилями. Запросіть ранній доступ.
Запускайте HotKV на власних серверах або у власному хмарному акаунті за файлом ліцензії, з повним контролем над розташуванням даних і мережевим доступом.
Дванадцять офіційних клієнтських бібліотек. HotKV також розмовляє RESP2 і RESP3, тож ваші наявні клієнти й інструменти Redis підключаються без змін, окрім імені хоста.
pip install hotkv-clientnpm install @hotkv/clientgo get github.com/hotkv-ltd/hotkv-go-clientcargo add hotkv-clientcom.hotkv:hotkv-clientdotnet add package HotKV.Clientgem install hotkvcomposer require hotkv/client{:hotkv, "~> 1.0"}з GitHub (hotkv-perl-client)libhotkv (CMake, реліз GitHub)hotkv-cpp (CMake, реліз GitHub)SDK Python і Node.js постачаються з інтеграціями в один рядок для фреймворків, якими команди вже користуються. Окремі інструменти з відкритим кодом покривають LangGraph, MCP і API, сумісні з OpenAI.
pip install "hotkv-client[langchain]"from hotkv.integrations.langchain import HotKVSemanticCache set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))
Також містить HotKVCache для кешування за точним збігом, а також HotKVVectorStore і HotKVChatMessageHistory.
pip install "hotkv-client[llamaindex]"from hotkv.integrations.llama_index import HotKVVectorStore
Також містить HotKVKVStore і HotKVChatStore.
pip install "hotkv-client[litellm]"from hotkv.integrations.litellm import HotKVSemanticCache
Вбудований кеш Redis у LiteLLM уже працює з HotKV без змін. Скористайтеся цією інтеграцією, коли вам також потрібне семантичне кешування.
import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });Постачається в npm-пакеті @hotkv/client.
import { HotKVCache } from "@hotkv/client/langchain";Постачається в npm-пакеті @hotkv/client.
pip install langgraph-checkpoint-hotkvfrom langgraph.checkpoint.hotkv import HotKVSaver from langgraph.store.hotkv import HotKVStore
Чекпойнтер для стану графа та довгострокове сховище пам'яті з семантичним пошуком. Не потребує ліцензії HotKV.
Читати документаціюpip install hotkv-mcpclaude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379
Дозволяє Claude, Cursor та іншим асистентам використовувати ключі, пам'ять агентів, промпти й пошук документів. Режим лише для читання та простори імен тримають агентів у межах.
Читати документаціюgo install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latestclient = OpenAI(base_url="http://localhost:8080/v1")
Готовий проксі, що кешує виклики API, сумісні з OpenAI, та Anthropic, зокрема потокові. Змініть один URL, без коду.
Читати документаціюДізнайтеся, чим HotKV швидкий, де він доречний і як почати.
Багатопотоковий із першого дня. Пропускна здатність зростає разом із кількістю ядер, а не всупереч їй.
Дізнатися більшеСемантичний кеш, RAG, пам'ять агентів і контроль витрат на LLM, вбудовані в рушій.
Дізнатися більшеКешування, сесії, черги, таблиці лідерів. Ті самі навантаження, що й у Redis, але з вищою пропускною здатністю.
Дізнатися більшеТеги ключів, TTL у наносекундах, векторний пошук і вбудовані метрики, частина базового рушія.
Дізнатися більшеБагатопотоковий рушій, де кожне ядро паралельно читає, розбирає та виконує команди.
Дізнатися більшеПлани Starter, Performance і Scale у HotKV Cloud із вбудованим трафіком і без річного зобов'язання.
Дізнатися більше