IA și LLMOperațiuni LLMPlanurile Performance și Scale

Guvernarea costurilor LLM

Aplicați un buget de tokeni și de cheltuieli pe utilizator sau tenant, vedeți cheltuielile reale pe găleată și transformați în embedding același text o singură dată.

taxare sau refuz
Atomic
limite pe fereastră
Tokeni + $
embedding pe text unic
1x
Pasul 1 din 6
Setați un buget

2 milioane de tokeni și 50 USD pe 30 de zile pentru un tenant.

Sesiune de exempluplaying
# Setați un buget
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK

O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.

Problema

Costurile LLM sunt bazate pe utilizare, iar o singură buclă într-un agent poate cheltui bugetul unei luni într-o după-amiază. Verificarea utilizării după fapt vă spune doar ce ați pierdut deja, iar o verificare de buget care nu este atomică poate fi depășită de cereri concurente.

Cum o rezolvă HotKV

HotKV păstrează un buget pentru fiecare utilizator sau tenant și îl taxează atomic, deci o cerere este fie permisă și taxată, fie refuzată înainte ca modelul să fie apelat. Statistici separate înregistrează tokenii reali, costul și latența pe găleată, iar embeddingurile sunt stocate după hash de conținut, astfel încât textul identic este transformat în embedding o singură dată.

Pas cu pas

Ce se întâmplă, comandă cu comandă

  1. 01

    Setați un buget

    2 milioane de tokeni și 50 USD pe 30 de zile pentru un tenant.

    LLMBUDGET.SET tenant:acme 2000000 50 2592000
  2. 02

    Taxați înainte de apel

    Permis și taxat într-un singur pas. Apoi modelul este apelat.

    LLMBUDGET.CONSUME tenant:acme 1850 0.004
  3. 03

    Înregistrați utilizarea reală

    Tokenii de intrare, de ieșire și din cache, costul și latența apelului, pe găleată.

    LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840
  4. 04

    O buclă scăpată de sub control atinge plafonul

    Agentul tenantului continuă. Odată ce următorul apel ar depăși limita, este refuzat și netaxat.

    LLMBUDGET.CONSUME tenant:acme 90000 4.90
  5. 05

    Ceilalți tenanți nu sunt afectați

    Fiecare tenant are propriul buget.

    LLMBUDGET.CONSUME tenant:beta 900 0.002
  6. 06

    Verificați unde se află un tenant

    Utilizare, limite, timpul rămas în fereastră și câte cereri au fost refuzate.

    LLMBUDGET.STATUS tenant:acme
Unde se potrivește

Scenarii din lumea reală

Produse SaaS cu IA

Fiecare plan include o alocație lunară de tokeni. Bugetul este aplicat în momentul fiecărui apel, nu descoperit pe factură.

Platforme IA interne

Fiecare echipă are un buget. Un notebook uitat, care rulează în buclă peste noapte, se oprește la plafon.

Procesare de documente

Fragmentele de contracte se repetă între versiuni. Embeddingurile deduplicate înseamnă că un document revizuit plătește doar paragrafele care s-au schimbat.

Integrat

Ce primiți

Verificări atomice de buget

O cerere este taxată sau refuzată într-un singur pas, deci agenții concurenți nu pot depăși împreună plafonul.

LLMBUDGET.CONSUME

Tokeni și dolari

Limitați după numărul de tokeni, după cost sau după amândouă, pe o fereastră stabilită de dvs.

LLMBUDGET.SETLLMBUDGET.STATUS

Cheltuieli reale pe găleată

Înregistrați tokenii de intrare, de ieșire și din cache, costul și latența și citiți-le înapoi.

LLMSTATS.RECORDLLMSTATS.GET

Embeddinguri stocate o dată

Deduplicarea după hash de conținut înseamnă că textul identic este transformat în embedding o singură dată.

EMBED.DEDUP.PUTEMBED.DEDUP.GET
Referință:LLMBUDGET.SETLLMBUDGET.CONSUMELLMSTATS.RECORDEMBED.DEDUP.PUT

Întrebări frecvente

Ce se întâmplă când un tenant depășește bugetul?

LLMBUDGET.CONSUME returnează 0 și nu taxează. Aplicația dvs. respinge apoi cererea sau trece pe o cale mai ieftină.

Pot limita după cost, nu doar după tokeni?

Da. Un buget are o limită de tokeni și o limită de cost în dolari americani, pe fereastra pe care o alegeți.

Ce planuri îl includ?

Bugetele LLM, statisticile și deduplicarea embeddingurilor fac parte din planurile Performance și Scale.

Cazuri de utilizare înrudite

Aplicații LLM

Gateway LLM cu caching

Îndreptați SDK-ul OpenAI sau Anthropic spre un singur URL, iar cererile repetate primesc răspuns de la HotKV în loc să fie plătite din nou. Fără modificări de cod.

Explorați
Aplicații LLM

Caching exact de prompturi

Nu plătiți niciodată de două ori același prompt. Un cache LLM cu potrivire exactă, care numără tokenii și dolarii pe care vi i-a economisit.

Explorați
API-uri

Limitarea ratei

Limite de rată atomice, pe server. GCRA într-o singură comandă sau limitatoare cu nume, cu fereastră glisantă, token bucket sau leaky bucket. Fără Lua.

Explorați

Încercați pe propria sarcină de lucru

HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.

Obțineți acces anticipatUrmătorul: Caching de protecție