Создан для стека ИИ
Большинство команд пристраивают к своему LLM-приложению векторную базу данных, кеш, поисковый движок и гору связующего кода. HotKV встраивает эти примитивы в один движок в памяти, поэтому поиск, память и контроль затрат работают рядом с вашими данными.
Выберите вопрос. Посмотрите, где на него отвечают и какую часть стека ему вообще не приходится затрагивать.
- 00Вопроспропускает
- LLMBUDGETБюджет LLMпропускает
- PCACHEКеш промптовответ найден
- SCACHEСемантический кеш
- RAGКонвейер RAG
- 05LLM
Ответ из кеша промптов. Модель не вызывается.
Время указано по измеренным медианам из бенчмарка экономии токенов ниже. Время семантического кеша не измерялось, поэтому оно не показано.
Девять ИИ-движков, один сервер
Каждый из них - семейство команд рядом с вашими данными. Откройте любой, чтобы увидеть его в реальном сценарии использования.
Зачем запускать ИИ на HotKV
То же многопоточное ядро, которое опередило Redis и Valkey по каждой команде в наших бенчмарках, обеспечивает и ваш поиск, память и защитные механизмы.
Один движок вместо пяти сервисов
Векторный поиск, семантический кеш, RAG, память агентов и feature store работают в одном процессе. Не нужно разворачивать, защищать и синхронизировать отдельные векторную БД, кеш и поисковый кластер.
Попадания в кеш быстрее миллисекунды
Каждый примитив ИИ работает на том же многопоточном ядре, которое опередило Redis и Valkey по всем 12 командам в наших бенчмарках. В нашем тесте с LLM точные попадания в кеш возвращались примерно за 0.05 мс, тогда как вызов модели занимал от 1,4 до 2,9 с.
Контроль затрат на уровне данных
Семантическое кеширование и кеш промптов сокращают число вызовов LLM, дедупликация эмбеддингов сокращает число вызовов эмбеддингов, а бюджеты для каждого ключа ограничивают расходы до того, как они возникнут. Экономия измерена, а не оценена.
Многопользовательская архитектура по замыслу
Пространства имён разделяют векторы, память и бюджеты каждого арендатора, а тариф Scale добавляет реестр арендаторов и журнал аудита для общей ИИ-инфраструктуры нескольких команд и клиентов.
Платите за меньшее число токенов
Мы дважды отправили одни и те же 3 000 вопросов службы поддержки четырём актуальным моделям Claude: один раз напрямую модели, один раз с HotKV перед ней.
Обработано токенов по моделям
Что это значит в масштабе
- Anthropic claude-fable-5-1: $303 100 в месяц без HotKV, $91 800 с ним, экономия около $211 300 каждый месяц.
- Anthropic claude-opus-5-5: $146 000 в месяц без HotKV, $45 000 с ним, экономия около $101 000 каждый месяц.
- Anthropic claude-sonnet-5-5: $55 100 в месяц без HotKV, $16 600 с ним, экономия около $38 500 каждый месяц.
- Anthropic claude-haiku-5-5: $2 700 в месяц без HotKV, $800 с ним, экономия около $1 900 каждый месяц.
При 1 миллионе запросов в день, экстраполяция по измеренной стоимости одного запроса при том же характере трафика. Четыре модели Claude работали с короткими ответами, а Fable 5.1 и Opus 5.5 - с наименьшим уровнем рассуждений, поэтому более длинные ответы или ответы с интенсивными рассуждениями сделают каждый избежанный вызов ценнее.
Полные цифрыТокены, стоимость, качество ответов и компромисс порога сходстваПоказатьСкрыть
Мы запустили Claude Fable 5.1, Opus 5.5, Sonnet 5.5 и Haiku 5.5 на одних и тех же 3 000 запросах каждую, с HotKV и без него. Собственное кеширование промптов провайдера было включено в каждом запуске, а токены и стоимость взяты из данных об использовании в каждом ответе, включая токены рассуждений.
| Модель | Сэкономлено токенов | Стоимость без HotKV | Стоимость с HotKV | Ниже на | Вызовы модели | Медианный ответ |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30,31 | $9,18 | 70% | от 3 000 до 896 | от 2,7 s до 127 ms |
| Claude Opus 5.5 | 70% | $14,60 | $4,50 | 69% | от 3 000 до 898 | от 2,9 s до 126 ms |
| Claude Sonnet 5.5 | 70% | $5,51 | $1,66 | 70% | от 3 000 до 897 | от 1,8 s до 128 ms |
| Claude Haiku 5.5 | 70% | $0,27 | $0,08 | 70% | от 3 000 до 897 | от 1,4 s до 125 ms |
Насколько хороши ответы из кеша?
Для каждого вопроса другими словами, обслуженного из кеша, другая модель сравнила ответ из кеша с новым ответом, который та же модель дала на этот точный вопрос, в случайном порядке. Ни одна модель не оценивала собственный вывод. Это оценка языковой моделью, а не проверка человеком, и строгость у разных моделей различается, поэтому сравнивайте ответы из кеша и новые только в пределах одной модели.
| Модель | Оценено вопросов другими словами | Ответ из кеша подходит | Новый ответ подходит |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83,3% | 90,2% |
| Claude Opus 5.5 | 935 | 93,3% | 99,0% |
| Claude Sonnet 5.5 | 936 | 77,9% | 86,1% |
| Claude Haiku 5.5 | 936 | 67,9% | 78,6% |
Порог сходства меняет экономию на качество ответов
Каждая строка - отдельный запуск Claude Sonnet 5.5 на тех же 3 000 запросах (стоимость без HotKV: $5,51).
| Порог | Стоимость | Ниже на | Ответ из кеша подходит | Новый ответ подходит |
|---|---|---|---|---|
| 0,81 | $1,66 | 70% | 77,9% | 86,1% |
| 0,85 | $1,88 | 66% | 80,3% | 85,6% |
| 0,88 | $1,99 | 64% | 89,5% | 83,8% |
| 0,90 | $2,13 | 61% | 87,9% | 86,5% |
| 0,95 | $2,22 | 60% | 92,0% | 90,0% |
Что эти цифры показывают и чего не показывают
- При пороге 0,81, использованном для результатов выше, ответ из кеша подходит к точному вопросу реже, чем новый, на 6-11 процентных пунктов. Вопросы другими словами составляют около 31% запросов, поэтому по всем ответам это примерно 2-3 пунктов. В запусках с разными порогами ответы из кеша начиная с 0.88 были не хуже новых, при этом всё равно экономя от 61% до 64% стоимости.
- Показатель «одинаковое намерение» выше не означает «одинаковый правильный ответ». В тесте из 119 намеренно близких пар вопросов, где одна деталь, например «внести» или «снять», меняет правильный ответ, 62% изменённых вопросов получили бы ответ из кеша при пороге 0,81, 25% при 0.90 и 10% при 0.95. Эти пары построены как трудные и показывают худший случай, а не то, как часто это бывает в реальном трафике. Если неверные ответы обходятся вам дорого, повысьте порог.
- Один публичный набор данных коротких банковских вопросов, одна модель эмбеддингов и автоматический судья. Влияние порога измерено на одной модели. Остальные три запускались только при 0,81. У вас частота повторов и вопросы дадут другие цифры.
3,000 вопросов службы поддержки, взятых из тестовой выборки Banking77 с фиксированным зерном (популярность намерений следует распределению Ципфа, s=1.0; вопросы выбираются равномерно в пределах каждого намерения, с повторами). Каждый вопрос отправлялся модели с одной и той же политикой поддержки в качестве системного промпта. Базовый вариант: каждый запрос вызывает модель, с включённым собственным кешированием промптов провайдера. HotKV: поиск с точным совпадением (GET по ключу SHA-256 от нормализованного вопроса), затем семантический поиск (SCACHE.GET с эмбеддингом вопроса), и модель вызывается только при промахе. Количество токенов взято из блока данных об использовании в каждом ответе API; стоимость рассчитана по прайс-листу и включает вызовы эмбеддингов. Порог сходства выбран на отдельной обучающей выборке Banking77 как наименьшее значение, дающее не менее 98% точности по совпадению намерений при семантических попаданиях.
Модель эмбеддингов: OpenAI text-embedding-3-small. Порог семантического совпадения: 0,81. Набор данных: Banking77 (тестовая выборка), автор PolyAI, лицензия CC BY 4.0. 3 000 запросов по 77 намерениям.
Измерено 11 октября 2026 г.. Экономия зависит от того, как часто ваш трафик повторяется. Нагрузка без повторяющихся или похожих вопросов ничего не экономит.
Выпускайте функции ИИ, а не инфраструктуру
Набор команд для ИИ входит в каждый экземпляр Performance и Scale в HotKV Cloud. Запросите ранний доступ, чтобы начать создавать поиск, память и контроль затрат.