Плановые отчёты
Одни и те же сводки генерируются для каждого, кто смотрит дашборд. Один вызов модели на отчёт в день вместо одного на каждый просмотр.
ИИ и LLMПриложения на LLMТарифы Performance и Scale
Кеширование промптов с точным совпадением
Никогда не платите дважды за один и тот же промпт. Кеш LLM с точным совпадением, который считает сэкономленные вам токены и доллары.
- совпадение, ноль ложных попаданий
- Точное
- задержка поиска в STATS
- p50
- экономия учитывается по каждому пространству имён
- $
Шаг 1 из 4
Создание пространства имён
Задайте TTL, чтобы ответы обновлялись, и среднюю экономию от одного попадания.
Пример сеансаplaying
# Создание пространства имён
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Анимированная демонстрация с настоящими командами HotKV и примерами ответов. Нажмите на любой шаг, чтобы перейти к нему. Команды и ответы остаются на английском, ровно так, как вы вводите и видите их в HotKV.
Проблема
Пакетные задания, повторные попытки, плановые отчёты и популярные вопросы раз за разом отправляют модели один и тот же промпт. Каждый оплачивается полностью, и никто не может сказать, сколько сэкономил бы кеш, потому что ничто этого не измеряет.
Как с этим справляется HotKV
Кеш промптов хранит ответ на каждый точный промпт вместе с моделью и числом токенов вызова, который его создал. Каждое последующее попадание учитывается, поэтому HotKV может сообщить, сколько запросов, токенов и долларов вы не потратили.
Шаг за шагом
Что происходит, команда за командой
- 01
Создание пространства имён
Задайте TTL, чтобы ответы обновлялись, и среднюю экономию от одного попадания.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Промах, затем сохранение с данными об использовании
Первый вызов идёт к модели. Ответ сохраняется вместе с моделью и числом токенов, которые его создали.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Каждый повтор бесплатен
Ночное задание и каждый просмотр дашборда спрашивают одно и то же. Все они - попадания.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Смотрим, сколько сэкономлено
Статистика включает долю попаданий, задержку поиска и использование, за которое вы не заплатили.
PCACHE.STATS reports
Где это уместно
Реальные сценарии
Перевод и локализация
Строки интерфейса и описания товаров переводятся один раз на каждый язык и затем обслуживаются из кеша при каждом запросе.
Конвейеры классификации
Обращения, отзывы и письма с одинаковым текстом получают одну и ту же метку без дополнительного вызова модели.
Встроено
Что вы получаете
Точное совпадение
Попадание только для идентичного промпта, поэтому кешированный ответ никогда не выдаётся на другой вопрос.
PCACHE.GETPCACHE.SETС учётом использования
Храните модель и число токенов вместе с каждым ответом, чтобы экономия считалась по реальному использованию.
MODELINPUTOUTPUTМетаданные и число попаданий
PCACHE.GETEX возвращает ответ вместе с его метаданными и числом выдач.
PCACHE.GETEXДоля попаданий и задержка
PCACHE.STATS сообщает попадания, промахи, вытеснения, память, задержку поиска и экономию.
PCACHE.STATSЧастые вопросы
Когда использовать кеш промптов, а не семантический кеш?
Используйте кеш промптов, когда промпты повторяются точно, например в пакетных заданиях и фиксированных шаблонах. Используйте семантический кеш, когда люди формулируют один вопрос по-разному. Многие приложения проверяют оба.
Это то же самое, что кеширование промптов у провайдера?
Нет. Кеширование промптов у провайдера даёт скидку на повторяющиеся префиксы на его стороне. Попадание в HotKV вообще не доходит до провайдера, поэтому эффекты складываются.
Какие тарифы это включают?
Кеш промптов входит в тарифы Performance и Scale.
Связанные сценарии
Попробуйте на своей нагрузке
HotKV понимает протокол Redis, поэтому вы можете подключить к нему существующий клиент и выполнить те же команды.