Планова звітність
Ті самі підсумки генеруються для кожного глядача дашборда. Один виклик моделі на звіт на день замість одного на перегляд.
ШІ та LLMLLM-застосункиПлани Performance і Scale
Кешування точних промптів
Ніколи не платіть двічі за той самий промпт. Кеш LLM з точним збігом, що рахує токени й долари, які він вам заощадив.
- збіг, жодних хибних влучань
- Точний
- затримка пошуку в STATS
- p50
- заощадження відстежуються для кожного простору імен
- $
Крок 1 з 4
Створіть простір імен
Задайте TTL, щоб відповіді оновлювалися, і те, скільки в середньому заощаджує влучання.
Приклад сесіїplaying
# Створіть простір імен
hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
OK
Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.
Проблема
Пакетні завдання, повторні спроби, заплановані звіти та популярні запитання надсилають моделі той самий промпт знову і знову. Кожен тарифікується повністю, і ніхто не може сказати, скільки заощадив би кеш, бо цього ніщо не вимірює.
Як це вирішує HotKV
Кеш промптів зберігає відповідь для кожного точного промпту разом із моделлю та кількістю токенів виклику, що її створив. Кожне наступне влучання лічиться, тож HotKV може звітувати про запити, токени й долари, яких ви не витратили.
Крок за кроком
Що відбувається, команда за командою
- 01
Створіть простір імен
Задайте TTL, щоб відповіді оновлювалися, і те, скільки в середньому заощаджує влучання.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012 - 02
Промах, потім збереження з використанням
Перший виклик іде до моделі. Відповідь зберігається разом з моделлю та кількістю токенів, що її створили.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140 - 03
Кожен повтор безкоштовний
Нічне завдання й кожен перегляд дашборда запитують те саме. Усі вони є влучаннями.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA" - 04
Подивіться, скільки ви заощадили
Статистика включає частку влучань, затримку пошуку та використання, за яке ви не заплатили.
PCACHE.STATS reports
Де це доречно
Реальні сценарії
Переклад і локалізація
Рядки інтерфейсу та описи товарів перекладаються один раз для кожної мови й надалі віддаються з кешу на кожен запит.
Конвеєри класифікації
Заявки, відгуки й листи з однаковим текстом отримують ту саму мітку без додаткового виклику моделі.
Вбудовано
Що ви отримуєте
Точний збіг
Влучання лише для ідентичного промпту, тож кешована відповідь ніколи не віддається на інше запитання.
PCACHE.GETPCACHE.SETЗ урахуванням використання
Зберігайте модель і кількість токенів разом із кожною відповіддю, щоб заощадження обчислювалися за реальним використанням.
MODELINPUTOUTPUTМетадані й лічильники влучань
PCACHE.GETEX повертає відповідь разом з метаданими та кількістю її обслуговувань.
PCACHE.GETEXЧастка влучань і затримка
PCACHE.STATS звітує про влучання, промахи, витіснення, пам'ять, затримку пошуку й заощадження.
PCACHE.STATSПоширені запитання
Коли використовувати кеш промптів замість семантичного кешу?
Використовуйте кеш промптів, коли промпти повторюються точно, як-от пакетні завдання й фіксовані шаблони. Використовуйте семантичний кеш, коли люди формулюють те саме запитання по-різному. Багато застосунків перевіряють обидва.
Це те саме, що кешування промптів у провайдера?
Ні. Кешування промптів у провайдера знижує ціну повторюваних префіксів на його боці. Влучання HotKV взагалі не доходить до провайдера, тож обидва ефекти додаються.
Які плани це містять?
Кеш промптів входить до планів Performance і Scale.
Пов'язані сценарії використання
Спробуйте на власному навантаженні
HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.