Yapay zeka SaaS ürünleri
Her plan aylık bir token hakkı içerir. Bütçe, faturada keşfedilmek yerine her çağrı anında uygulanır.
Yapay zeka ve LLMLLM operasyonlarıPerformance ve Scale planları
LLM Maliyet Yönetişimi
Kullanıcı veya kiracı başına bir token ve harcama bütçesi uygulayın, kova başına gerçek harcamayı görün ve aynı metni yalnızca bir kez embed edin.
- tahsil et veya reddet
- Atomik
- pencere başına sınırlar
- Token + $
- benzersiz metin başına embedding
- 1x
Adım 1 / 6
Bir bütçe belirleyin
Bir kiracı için 30 günde 2 milyon token ve 50 USD.
Örnek oturumplaying
# Bir bütçe belirleyin
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Gerçek HotKV komutları ve örnek yanıtlarla animasyonlu bir anlatım. Herhangi bir adıma atlamak için üzerine tıklayın. Komutlar ve yanıtlar, HotKV'de yazdığınız ve gördüğünüz haliyle İngilizce kalır.
Sorun
LLM maliyetleri kullanıma dayalıdır ve bir ajandaki tek bir döngü bir ayın bütçesini bir öğleden sonrada harcayabilir. Kullanımı sonradan denetlemek yalnızca zaten kaybettiğinizi söyler ve atomik olmayan bir bütçe denetimi eşzamanlı isteklerle aşılabilir.
HotKV bunu nasıl ele alır
HotKV her kullanıcı veya kiracı için bir bütçe tutar ve onu atomik olarak tahsil eder; böylece bir istek ya izin verilir ve tahsil edilir ya da model çağrılmadan önce reddedilir. Ayrı istatistikler kova başına gerçek tokenları, maliyeti ve gecikmeyi kaydeder; embedding'ler de içerik özetiyle saklanır, böylece aynı metin bir kez embed edilir.
Adım adım
Ne olur, komut komut
- 01
Bir bütçe belirleyin
Bir kiracı için 30 günde 2 milyon token ve 50 USD.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Çağırmadan önce tahsil edin
Tek adımda izin verilir ve tahsil edilir. Ardından model çağrılır.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Gerçek kullanımı kaydedin
Çağrının giriş, çıkış ve önbellekli tokenları, maliyeti ve gecikmesi, kova başına.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Başıboş bir döngü sınıra ulaşır
Kiracının ajanı devam eder. Bir sonraki çağrı sınırı aşacağı anda reddedilir ve tahsil edilmez.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Diğer kiracılar etkilenmez
Her kiracının kendi bütçesi vardır.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Bir kiracının durumuna bakın
Kullanım, sınırlar, penceredeki kalan süre ve kaç isteğin reddedildiği.
LLMBUDGET.STATUS tenant:acme
Nereye uyar
Gerçek dünya senaryoları
Şirket içi yapay zeka platformları
Her ekibin bir bütçesi vardır. Gece boyunca döngüye giren unutulmuş bir not defteri sınırda durur.
Belge işleme
Sözleşme parçaları sürümler arasında tekrarlanır. Tekilleştirilmiş embedding'ler, revize edilmiş bir belgenin yalnızca değişen paragraflar için ödemesi demektir.
Yerleşik
Neler elde edersiniz
Atomik bütçe denetimleri
Bir istek tek adımda tahsil edilir veya reddedilir; böylece eşzamanlı ajanlar sınırı birlikte aşamaz.
LLMBUDGET.CONSUMEToken ve dolar
Belirlediğiniz bir pencerede token sayısına, maliyete ya da ikisine göre sınırlayın.
LLMBUDGET.SETLLMBUDGET.STATUSKova başına gerçek harcama
Giriş, çıkış ve önbellekli tokenları, maliyeti ve gecikmeyi kaydedin ve geri okuyun.
LLMSTATS.RECORDLLMSTATS.GETBir kez saklanan embedding'ler
İçerik özetiyle tekilleştirme, aynı metnin yalnızca bir kez embed edilmesi demektir.
EMBED.DEDUP.PUTEMBED.DEDUP.GETSık sorulan sorular
Bir kiracı bütçeyi aştığında ne olur?
LLMBUDGET.CONSUME 0 döndürür ve tahsil etmez. Uygulamanız ardından isteği reddeder veya daha ucuz bir yola geçer.
Tokenların yanı sıra maliyete göre de sınırlayabilir miyim?
Evet. Bir bütçenin, seçtiğiniz pencerede bir token sınırı ve ABD doları cinsinden bir maliyet sınırı vardır.
Hangi planlara dahil?
LLM bütçeleri, istatistikler ve embedding tekilleştirme Performance ve Scale planlarının parçasıdır.
İlgili kullanım senaryoları
Kendi iş yükünüzde deneyin
HotKV, Redis protokolünü konuşur; bu yüzden mevcut bir istemciyi ona yönlendirip aynı komutları çalıştırabilirsiniz.