Продукти SaaS на ШІ
Кожен план містить місячну квоту токенів. Бюджет застосовується в момент кожного виклику, а не виявляється в рахунку.
ШІ та LLMОперації LLMПлани Performance і Scale
Управління витратами на LLM
Застосовуйте бюджет токенів і витрат для кожного користувача чи тенанта, бачте реальні витрати для кожного бакета й створюйте ембединг однакового тексту лише раз.
- стягнути або відмовити
- Атомарно
- ліміти на вікно
- Токени + $
- ембединг на унікальний текст
- 1x
Крок 1 з 6
Задайте бюджет
2 мільйони токенів і 50 USD на 30 днів для одного тенанта.
Приклад сесіїplaying
# Задайте бюджет
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.
Проблема
Витрати на LLM залежать від використання, і один цикл в агента може витратити місячний бюджет за пів дня. Перевірка використання постфактум лише повідомляє, що ви вже втратили, а перевірка бюджету, що не є атомарною, може бути перевищена паралельними запитами.
Як це вирішує HotKV
HotKV тримає бюджет для кожного користувача чи тенанта й стягує його атомарно, тож запит або дозволений і стягнутий, або відхилений до виклику моделі. Окрема статистика записує реальні токени, вартість і затримку для кожного бакета, а ембединги зберігаються за хешем вмісту, тож однаковий текст перетворюється на ембединг один раз.
Крок за кроком
Що відбувається, команда за командою
- 01
Задайте бюджет
2 мільйони токенів і 50 USD на 30 днів для одного тенанта.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Стягуйте до виклику
Дозволено й стягнуто одним кроком. Потім викликається модель.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Запишіть реальне використання
Вхідні, вихідні та кешовані токени, вартість і затримка виклику, для кожного бакета.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Цикл, що вийшов з-під контролю, досягає ліміту
Агент тенанта не зупиняється. Щойно наступний виклик перевищив би ліміт, його відхиляють і не стягують.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Інші тенанти не зачеплені
Кожен тенант має власний бюджет.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Перевірте, як справи в тенанта
Використання, ліміти, час, що лишився у вікні, і скільки запитів було відхилено.
LLMBUDGET.STATUS tenant:acme
Де це доречно
Реальні сценарії
Внутрішні платформи ШІ
Кожна команда має бюджет. Забутий ноутбук, що крутиться в циклі всю ніч, зупиняється на ліміті.
Обробка документів
Фрагменти договорів повторюються між версіями. Дедуплікація ембедингів означає, що переглянутий документ платить лише за змінені абзаци.
Вбудовано
Що ви отримуєте
Атомарні перевірки бюджету
Запит стягується або відхиляється одним кроком, тож паралельні агенти не можуть разом перевищити ліміт.
LLMBUDGET.CONSUMEТокени й долари
Обмежуйте за кількістю токенів, за вартістю або за обома, у вікні, яке ви задаєте.
LLMBUDGET.SETLLMBUDGET.STATUSРеальні витрати для кожного бакета
Записуйте вхідні, вихідні й кешовані токени, вартість та затримку й читайте їх назад.
LLMSTATS.RECORDLLMSTATS.GETЕмбединги зберігаються раз
Дедуплікація за хешем вмісту означає, що однаковий текст перетворюється на ембединг лише раз.
EMBED.DEDUP.PUTEMBED.DEDUP.GETПоширені запитання
Що буде, коли тенант перевищив бюджет?
LLMBUDGET.CONSUME повертає 0 і не стягує. Тоді ваш застосунок відхиляє запит або переходить на дешевший шлях.
Чи можна обмежувати за вартістю, а не лише за токенами?
Так. Бюджет має ліміт токенів і ліміт вартості в доларах США на вибране вами вікно.
Які плани це містять?
Бюджети LLM, статистика та дедуплікація ембедингів входять до планів Performance і Scale.
Пов'язані сценарії використання
Спробуйте на власному навантаженні
HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.