Produkty SaaS z AI
Każdy plan zawiera miesięczny limit tokenów. Budżet jest egzekwowany w chwili każdego wywołania, a nie odkrywany na fakturze.
AI i LLMOperacje LLMplany Performance i Scale
Nadzór nad kosztami LLM
Egzekwuj budżet tokenów i wydatków na użytkownika lub tenanta, zobacz rzeczywiste wydatki na zasobnik i osadzaj identyczny tekst tylko raz.
- naliczenie lub odmowa
- Atomic
- limity na okno
- Tokeny + $
- embedding na unikalny tekst
- 1x
Krok 1 z 6
Ustaw budżet
2 miliony tokenów i 50 USD na 30 dni dla jednego tenanta.
Przykładowa sesjaplaying
# Ustaw budżet
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Animowany przegląd z prawdziwymi poleceniami HotKV i przykładowymi odpowiedziami. Kliknij dowolny krok, aby do niego przejść. Polecenia i odpowiedzi pozostają po angielsku, dokładnie tak, jak je wpisujesz i widzisz w HotKV.
Problem
Koszty LLM zależą od użycia, a jedna pętla w agencie może wydać miesięczny budżet w jedno popołudnie. Sprawdzanie zużycia po fakcie mówi tylko, co już straciłeś, a kontrola budżetu, która nie jest atomowa, może zostać przekroczona przez równoległe żądania.
Jak radzi sobie z tym HotKV
HotKV przechowuje budżet dla każdego użytkownika lub tenanta i nalicza go atomowo, więc żądanie jest albo dozwolone i naliczone, albo odrzucone przed wywołaniem modelu. Osobne statystyki zapisują rzeczywiste tokeny, koszt i opóźnienie dla każdego zasobnika, a embeddingi są przechowywane według skrótu treści, więc identyczny tekst jest osadzany raz.
Krok po kroku
Co się dzieje, polecenie po poleceniu
- 01
Ustaw budżet
2 miliony tokenów i 50 USD na 30 dni dla jednego tenanta.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Nalicz przed wywołaniem
Dozwolone i naliczone w jednym kroku. Potem wywoływany jest model.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Zapisz rzeczywiste zużycie
Tokeny wejściowe, wyjściowe i buforowane, koszt i opóźnienie wywołania, dla każdego zasobnika.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Zbuntowana pętla trafia na limit
Agent tenanta idzie dalej. Gdy następne wywołanie przekroczyłoby limit, zostaje odrzucone i nie jest naliczone.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Inni tenanci pozostają nietknięci
Każdy tenant ma własny budżet.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Sprawdź, na czym stoi tenant
Zużycie, limity, czas pozostały w oknie i liczba odrzuconych żądań.
LLMBUDGET.STATUS tenant:acme
Gdzie się sprawdza
Scenariusze z życia
Wewnętrzne platformy AI
Każdy zespół ma budżet. Zapomniany notebook, który zapętla się przez noc, zatrzymuje się na limicie.
Przetwarzanie dokumentów
Fragmenty umów powtarzają się między wersjami. Deduplikowane embeddingi oznaczają, że zmieniony dokument płaci tylko za zmienione akapity.
Wbudowane
Co dostajesz
Atomowe kontrole budżetu
Żądanie jest naliczane lub odrzucane w jednym kroku, więc równoległe agenty nie mogą razem przekroczyć limitu.
LLMBUDGET.CONSUMETokeny i dolary
Limituj według liczby tokenów, kosztu lub obu, w ustawionym oknie.
LLMBUDGET.SETLLMBUDGET.STATUSRzeczywiste wydatki na zasobnik
Zapisuj tokeny wejściowe, wyjściowe i buforowane, koszt i opóźnienie oraz odczytuj je.
LLMSTATS.RECORDLLMSTATS.GETEmbeddingi zapisane raz
Deduplikacja po skrócie treści oznacza, że identyczny tekst jest osadzany tylko raz.
EMBED.DEDUP.PUTEMBED.DEDUP.GETCzęste pytania
Co się dzieje, gdy tenant przekroczy budżet?
LLMBUDGET.CONSUME zwraca 0 i nie nalicza. Twoja aplikacja odrzuca wtedy żądanie lub przechodzi na tańszą ścieżkę.
Czy mogę limitować także według kosztu, a nie tylko tokenów?
Tak. Budżet ma limit tokenów i limit kosztu w dolarach amerykańskich, w wybranym oknie.
Które plany to zawierają?
Budżety LLM, statystyki i deduplikacja embeddingów są częścią planów Performance i Scale.
Powiązane przypadki użycia
Wypróbuj na własnym obciążeniu
HotKV mówi protokołem Redis, więc możesz skierować na niego istniejącego klienta i uruchomić te same polecenia.