Продукты SaaS с ИИ
Каждый тариф включает месячный лимит токенов. Бюджет применяется в момент каждого вызова, а не обнаруживается в счёте.
ИИ и LLMЭксплуатация LLMТарифы Performance и Scale
Управление затратами на LLM
Задайте бюджет токенов и расходов на пользователя или арендатора, смотрите реальные расходы по корзинам и создавайте эмбеддинг одинакового текста только один раз.
- списать или отказать
- Атомарно
- лимиты на окно
- Токены + $
- эмбеддинг на уникальный текст
- 1x
Шаг 1 из 6
Задаём бюджет
2 миллиона токенов и 50 USD на 30 дней для одного арендатора.
Пример сеансаplaying
# Задаём бюджет
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Анимированная демонстрация с настоящими командами HotKV и примерами ответов. Нажмите на любой шаг, чтобы перейти к нему. Команды и ответы остаются на английском, ровно так, как вы вводите и видите их в HotKV.
Проблема
Затраты на LLM зависят от использования, и один цикл в агенте может израсходовать месячный бюджет за полдня. Проверка использования постфактум только сообщает, что вы уже потеряли, а проверка бюджета, не являющаяся атомарной, может быть превышена параллельными запросами.
Как с этим справляется HotKV
HotKV хранит бюджет для каждого пользователя или арендатора и списывает с него атомарно, поэтому запрос либо разрешён и списан, либо отклонён до вызова модели. Отдельная статистика записывает реальные токены, стоимость и задержку по корзинам, а эмбеддинги хранятся по хешу содержимого, так что одинаковый текст превращается в эмбеддинг один раз.
Шаг за шагом
Что происходит, команда за командой
- 01
Задаём бюджет
2 миллиона токенов и 50 USD на 30 дней для одного арендатора.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Списываем до вызова
Разрешено и списано за один шаг. Затем вызывается модель.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Записываем реальное использование
Входные, выходные и кешированные токены, стоимость и задержка вызова по корзинам.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Неуправляемый цикл упирается в лимит
Агент арендатора продолжает работать. Как только следующий вызов превысил бы лимит, ему отказывают без списания.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Остальных арендаторов это не затрагивает
У каждого арендатора свой бюджет.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Проверяем, как дела у арендатора
Использование, лимиты, оставшееся время окна и число отклонённых запросов.
LLMBUDGET.STATUS tenant:acme
Где это уместно
Реальные сценарии
Внутренние ИИ-платформы
У каждой команды есть бюджет. Забытый блокнот, который зациклился на ночь, останавливается на лимите.
Обработка документов
Фрагменты договоров повторяются между версиями. Дедуплицированные эмбеддинги означают, что исправленный документ оплачивает только изменённые абзацы.
Встроено
Что вы получаете
Атомарные проверки бюджета
Запрос списывается или отклоняется за один шаг, поэтому параллельные агенты не могут вместе превысить лимит.
LLMBUDGET.CONSUMEТокены и доллары
Ограничивайте по числу токенов, по стоимости или по обоим показателям в заданном вами окне.
LLMBUDGET.SETLLMBUDGET.STATUSРеальные расходы по корзинам
Записывайте входные, выходные и кешированные токены, стоимость и задержку и читайте их обратно.
LLMSTATS.RECORDLLMSTATS.GETЭмбеддинги хранятся один раз
Дедупликация по хешу содержимого означает, что одинаковый текст превращается в эмбеддинг только один раз.
EMBED.DEDUP.PUTEMBED.DEDUP.GETЧастые вопросы
Что происходит, когда арендатор превысил бюджет?
LLMBUDGET.CONSUME возвращает 0 и ничего не списывает. Затем ваше приложение отклоняет запрос или переходит на более дешёвый путь.
Можно ли ограничивать и по стоимости, а не только по токенам?
Да. У бюджета есть лимит токенов и лимит стоимости в долларах США на выбранное вами окно.
Какие тарифы это включают?
Бюджеты LLM, статистика и дедупликация эмбеддингов входят в тарифы Performance и Scale.
Связанные сценарии
Попробуйте на своей нагрузке
HotKV понимает протокол Redis, поэтому вы можете подключить к нему существующий клиент и выполнить те же команды.