AI SaaS-termékek
Minden csomag havi tokenkeretet tartalmaz. A keretet minden hívás pillanatában érvényesítik, nem a számlán fedezik fel.
AI és LLMLLM-műveletekPerformance és Scale csomagok
LLM-költségirányítás
Érvényesítsen token- és költési keretet felhasználónként vagy bérlőnként, lássa a valós költést gyűjtőnként, és ugyanazt a szöveget csak egyszer ágyazza be.
- terhelés vagy elutasítás
- Atomikus
- korlát időablakonként
- Token + $
- embedding egyedi szövegenként
- 1x
Lépés 1 / 6
Keret beállítása
2 millió token és 50 USD 30 napra egy bérlőnek.
Példa munkamenetplaying
# Keret beállítása
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Animált bemutató valódi HotKV-parancsokkal és példa-válaszokkal. Kattintson bármelyik lépésre, hogy odaugorjon. A parancsok és a válaszok angolul maradnak, pontosan úgy, ahogy begépeli és látja őket a HotKV-ban.
A probléma
Az LLM-költségek használatalapúak, és egyetlen ciklus egy ügynökben egy délután alatt elköltheti egy hónap keretét. A használat utólagos ellenőrzése csak azt mondja meg, amit már elveszítettek, a nem atomikus keretellenőrzést pedig az egyidejű kérések túlléphetik.
Hogyan kezeli a HotKV
A HotKV minden felhasználónak vagy bérlőnek tart egy keretet, és atomikusan terheli, így egy kérés vagy engedélyezett és terhelt, vagy elutasított, még a modellhívás előtt. Külön statisztikák rögzítik a valós tokeneket, költséget és késleltetést gyűjtőnként, az embeddingek pedig tartalomhash szerint tárolódnak, így az azonos szöveg egyszer kerül beágyazásra.
Lépésről lépésre
Mi történik, parancsról parancsra
- 01
Keret beállítása
2 millió token és 50 USD 30 napra egy bérlőnek.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Terhelés a hívás előtt
Engedélyezve és terhelve egy lépésben. Utána hívják a modellt.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
A valós használat rögzítése
A hívás bemeneti, kimeneti és gyorsítótárazott tokenjei, költsége és késleltetése, gyűjtőnként.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Egy elszabadult ciklus eléri a korlátot
A bérlő ügynöke folytatja. Amint a következő hívás túllépné a korlátot, elutasítja, és nem terheli.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
A többi bérlőt nem érinti
Minden bérlőnek saját kerete van.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Nézze meg, hol tart egy bérlő
Használat, korlátok, az ablakból hátralévő idő és az elutasított kérések száma.
LLMBUDGET.STATUS tenant:acme
Hol használható
Valós helyzetek
Belső AI-platformok
Minden csapatnak van kerete. Egy elfelejtett notebook, amely egész éjjel ciklusban fut, a korlátnál megáll.
Dokumentumfeldolgozás
A szerződésrészletek ismétlődnek a verziók között. A deduplikált embeddingek miatt egy átdolgozott dokumentum csak a megváltozott bekezdésekért fizet.
Beépítve
Amit kap
Atomikus keretellenőrzés
Egy kérés egyetlen lépésben terhelt vagy elutasított, így az egyidejű ügynökök nem léphetik át együtt a korlátot.
LLMBUDGET.CONSUMETokenek és dollárok
Korlátozzon tokenszám szerint, költség szerint vagy mindkettővel, az Ön által megadott ablakban.
LLMBUDGET.SETLLMBUDGET.STATUSValós költés gyűjtőnként
Rögzítse a bemeneti, kimeneti és gyorsítótárazott tokeneket, a költséget és a késleltetést, majd olvassa vissza.
LLMSTATS.RECORDLLMSTATS.GETEmbeddingek egyszeri tárolása
A tartalomhash-alapú deduplikáció azt jelenti, hogy az azonos szöveg csak egyszer kerül beágyazásra.
EMBED.DEDUP.PUTEMBED.DEDUP.GETGyakori kérdések
Mi történik, ha egy bérlő túllépte a keretét?
Az LLMBUDGET.CONSUME 0-t ad vissza, és nem terhel. Az alkalmazása ezután elutasítja a kérést, vagy olcsóbb útvonalra vált.
Korlátozhatok költség szerint is, nem csak tokenek szerint?
Igen. A keretnek van tokenkorlátja és amerikai dollárban megadott költségkorlátja, az Ön által választott ablakban.
Mely csomagok tartalmazzák?
Az LLM-keretek, a statisztikák és az embedding-deduplikáció a Performance és a Scale csomag részei.
Kapcsolódó felhasználási esetek
Próbálja ki a saját munkaterhelésén
A HotKV a Redis protokollt beszéli, így egy meglévő klienst ráirányíthat, és lefuttathatja ugyanezeket a parancsokat.