Створено для стеку ШІ
Більшість команд додають до свого LLM-застосунку векторну базу даних, кеш, пошуковий рушій і купу допоміжного коду. HotKV вбудовує ці примітиви в один рушій в оперативній пам'яті, тож пошук, пам'ять і контроль витрат працюють поруч із вашими даними.
Виберіть запитання. Подивіться, де на нього відповідають і скільки шарів стека йому взагалі не довелося проходити.
- 00Запитанняпроходить
- LLMBUDGETБюджет LLMпроходить
- PCACHEКеш промптіввідповідь
- SCACHEСемантичний кеш
- RAGКонвеєр RAG
- 05LLM
Відповідь із кешу промптів. Модель не викликається.
Час наведено за виміряними медіанами з бенчмарка економії токенів нижче. Час семантичного кешу не вимірювали, тому його не показано.
Дев'ять рушіїв ШІ, один сервер
Кожен із них є родиною команд поруч із вашими даними. Відкрийте будь-який, щоб побачити його в реальному сценарії.
Навіщо запускати ШІ на HotKV
Те саме багатопотокове ядро, яке випередило Redis і Valkey за кожною командою в наших бенчмарках, також виконує ваш пошук, пам'ять і запобіжники.
Один рушій, а не п'ять сервісів
Векторний пошук, семантичний кеш, RAG, пам'ять агентів і feature store працюють в одному процесі. Не потрібно окремо розгортати, захищати й синхронізувати векторну БД, кеш і пошуковий кластер.
Влучання в кеш менш ніж за мілісекунду
Кожен примітив ШІ працює на тому самому багатопотоковому ядрі, яке випередило Redis і Valkey за всіма 12 командами в наших бенчмарках. У нашому тесті LLM точні влучання в кеш поверталися приблизно за 0,05 мс проти 1,4-2,9 с на виклик моделі.
Контроль витрат на рівні даних
Семантичний і промпт-кеш скорочують кількість викликів LLM, дедуплікація ембедингів скорочує виклики ембедингів, а бюджети для кожного ключа обмежують витрати ще до того, як вони виникли. Заощадження виміряні, а не оцінені.
Мультитенантність за задумом
Простори імен відокремлюють вектори, пам'ять і бюджети кожного тенанта, а план Scale додає реєстр тенантів і журнал аудиту для спільної ШІ-інфраструктури між командами та клієнтами.
Платіть за менше токенів
Ми двічі надіслали ті самі 3 000 запитань клієнтської підтримки чотирьом актуальним моделям Claude, один раз напряму до моделі, один раз із HotKV перед нею.
Оброблено токенів на модель
Що це означає у великому масштабі
- Anthropic claude-fable-5-1: $303 100 на місяць без HotKV, $91 800 з ним, близько $211 300 економії щомісяця.
- Anthropic claude-opus-5-5: $146 000 на місяць без HotKV, $45 000 з ним, близько $101 000 економії щомісяця.
- Anthropic claude-sonnet-5-5: $55 100 на місяць без HotKV, $16 600 з ним, близько $38 500 економії щомісяця.
- Anthropic claude-haiku-5-5: $2 700 на місяць без HotKV, $800 з ним, близько $1 900 економії щомісяця.
За 1 мільйона запитів на день, екстраполяція за виміряною вартістю одного запиту з припущенням такого самого патерну трафіку. Чотири моделі Claude працювали з короткими відповідями, а Fable 5.1 та Opus 5.5 з найнижчим рівнем міркування, тож довші відповіді або відповіді з інтенсивними міркуваннями зробили б кожен уникнутий виклик цінним ще більше.
Повні числаТокени, вартість, якість відповідей і компроміс щодо порога подібностіПоказатиСховати
Ми запустили Claude Fable 5.1, Opus 5.5, Sonnet 5.5 і Haiku 5.5 на тих самих 3 000 запитах кожну, з HotKV і без. Кешування промптів на боці провайдера було ввімкнено в кожному запуску, а токени й вартість взято з використання в кожній відповіді, враховуючи токени міркування.
| Модель | Заощаджено токенів | Вартість без | Вартість з | Нижче на | Виклики моделі | Медіанна відповідь |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | 3 000 to 896 | 2,7 s to 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | 3 000 to 898 | 2,9 s to 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | 3 000 to 897 | 1,8 s to 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | 3 000 to 897 | 1,4 s to 125 ms |
Наскільки хороші кешовані відповіді?
Для кожного переформульованого запитання, обслуженого з кешу, інша модель порівнювала кешовану відповідь зі свіжою відповіддю, яку та сама модель дала на це точне запитання, у випадковому порядку. Жодна модель не оцінювала власний вивід. Це оцінка мовною моделлю, а не людиною, і її суворість різниться між моделями, тому порівнюйте кешовані й свіжі відповіді лише в межах однієї моделі.
| Модель | Оцінено переформульованих запитань | Відповідь із кешу підходить | Нова відповідь підходить |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Поріг подібності міняє економію на якість відповідей
Кожен рядок є окремим запуском Claude Sonnet 5.5 на тих самих 3 000 запитах (вартість без HotKV: $5,51).
| Поріг | Вартість | Нижче на | Відповідь із кешу підходить | Нова відповідь підходить |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Що ці числа показують, а що ні
- За порога 0,81, використаного для наведених вище результатів, кешована відповідь підходить до точного запитання на 6-11 відсоткових пунктів рідше, ніж свіжа. Переформульовані запитання становлять близько 31% запитів, тож за всіма відповідями це приблизно від 2 до 3 пунктів. У запусках із порогами кешовані відповіді від 0,88 і вище були не гіршими за свіжі, при цьому все одно заощаджуючи від 61% до 64% вартості.
- Показник «той самий намір» вище не означає «та сама правильна відповідь». У тесті з 119 навмисно близьких пар запитань, де одна деталь, як-от поповнення замість зняття, змінює правильну відповідь, 62% змінених запитань отримали б кешовану відповідь за 0,81, 25% за 0,90 і 10% за 0,95. Ці пари створено складними й вони показують найгірший випадок, а не те, як часто це трапляється в реальному трафіку. Якщо неправильні відповіді для вашого сценарію дорогі, підвищте поріг.
- Один публічний набір даних із короткими банківськими запитаннями, одна модель ембедингів і автоматичний суддя. Вплив порога виміряно на одній моделі. Інші три запускалися лише за 0,81. Ваша частота повторів і ваші запитання дадуть інші числа.
3 000 запитань клієнтської підтримки з тестової вибірки Banking77 із фіксованим зерном (популярність намірів відповідає розподілу Ціпфа, s=1,0; запитання вибираються рівномірно в межах кожного наміру, з повторами). Кожне запитання надсилалося моделі з тією самою політикою підтримки як системним промптом. Базова лінія: кожен запит викликає модель, з увімкненим кешуванням промптів на боці провайдера. HotKV: пошук за точним збігом (GET за ключем SHA-256 нормалізованого запитання), потім семантичний пошук (SCACHE.GET з ембедингом запитання), і модель викликається лише при промаху. Кількість токенів береться з блоку usage кожної відповіді API, вартість рахується за прейскурантними цінами й включає виклики ембедингів. Поріг подібності обрано на окремій тренувальній вибірці Banking77 як найнижче значення, що дає щонайменше 98% точності збігу намірів на семантичних влучаннях.
Модель ембедингів: OpenAI text-embedding-3-small. Поріг семантичного збігу: 0,81. Набір даних: Banking77 (тестова вибірка) від PolyAI, ліцензія CC BY 4.0. 3 000 запитів за 77 намірами.
Виміряно 11 жовтня 2026 р.. Економія залежить від того, як часто ваш трафік повторюється. Навантаження без повторних чи схожих запитань нічого не заощаджує.
Випускайте функції ШІ, а не інфраструктуру
Набір команд ШІ входить до кожного екземпляра Performance і Scale у HotKV Cloud. Запросіть ранній доступ, щоб почати будувати пошук, пам'ять і контроль витрат.