Produk SaaS AI
Setiap paket menyertakan jatah token bulanan. Anggaran ditegakkan pada saat setiap panggilan, bukan ditemukan di faktur.
AI dan LLMOperasi LLMPaket Performance dan Scale
Tata Kelola Biaya LLM
Terapkan anggaran token dan pengeluaran per pengguna atau tenant, lihat pengeluaran nyata per bucket, dan embed teks yang identik hanya sekali.
- bebankan atau tolak
- Atomik
- batas per jendela
- Token + $
- embedding per teks unik
- 1x
Langkah 1 dari 6
Atur anggaran
2 juta token dan 50 USD selama 30 hari untuk satu tenant.
Sesi contohplaying
# Atur anggaran
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK
Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.
Masalahnya
Biaya LLM berbasis penggunaan, dan satu loop pada agen dapat menghabiskan anggaran sebulan dalam satu sore. Memeriksa penggunaan setelah kejadian hanya memberi tahu apa yang sudah hilang, dan pemeriksaan anggaran yang tidak atomik dapat terlampaui oleh permintaan bersamaan.
Cara HotKV menanganinya
HotKV menyimpan anggaran untuk setiap pengguna atau tenant dan membebankannya secara atomik, sehingga sebuah permintaan diizinkan dan dibebani atau ditolak sebelum model dipanggil. Statistik terpisah mencatat token, biaya, dan latensi nyata per bucket, dan embedding disimpan berdasarkan hash konten sehingga teks yang identik di-embed sekali.
Langkah demi langkah
Apa yang terjadi, perintah demi perintah
- 01
Atur anggaran
2 juta token dan 50 USD selama 30 hari untuk satu tenant.
LLMBUDGET.SET tenant:acme 2000000 50 2592000 - 02
Bebankan sebelum memanggil
Diizinkan dan dibebani dalam satu langkah. Lalu model dipanggil.
LLMBUDGET.CONSUME tenant:acme 1850 0.004 - 03
Catat penggunaan nyata
Token masukan, keluaran, dan yang di-cache, biaya, dan latensi panggilan, per bucket.
LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840 - 04
Loop yang lepas kendali mencapai batas
Agen tenant terus berjalan. Begitu panggilan berikutnya akan melampaui batas, ia ditolak dan tidak dibebani.
LLMBUDGET.CONSUME tenant:acme 90000 4.90 - 05
Tenant lain tidak terpengaruh
Setiap tenant memiliki anggarannya sendiri.
LLMBUDGET.CONSUME tenant:beta 900 0.002 - 06
Periksa posisi sebuah tenant
Penggunaan, batas, waktu tersisa di jendela, dan berapa banyak permintaan yang ditolak.
LLMBUDGET.STATUS tenant:acme
Di mana ini cocok
Skenario dunia nyata
Platform AI internal
Setiap tim memiliki anggaran. Notebook terlupakan yang berputar semalaman berhenti di batas.
Pemrosesan dokumen
Chunk kontrak berulang di antara versi. Embedding yang dideduplikasi berarti dokumen revisi hanya membayar paragraf yang berubah.
Bawaan
Yang Anda dapatkan
Pemeriksaan anggaran atomik
Sebuah permintaan dibebani atau ditolak dalam satu langkah, sehingga agen yang bersamaan tidak dapat melampaui batas bersama-sama.
LLMBUDGET.CONSUMEToken dan dolar
Batasi berdasarkan jumlah token, biaya, atau keduanya, selama jendela yang Anda atur.
LLMBUDGET.SETLLMBUDGET.STATUSPengeluaran nyata per bucket
Catat token masukan, keluaran, dan yang di-cache, biaya, dan latensi, lalu baca kembali.
LLMSTATS.RECORDLLMSTATS.GETEmbedding disimpan sekali
Deduplikasi hash konten berarti teks yang identik hanya di-embed sekali.
EMBED.DEDUP.PUTEMBED.DEDUP.GETPertanyaan umum
Apa yang terjadi ketika tenant melebihi anggaran?
LLMBUDGET.CONSUME mengembalikan 0 dan tidak membebankan. Aplikasi Anda kemudian menolak permintaan atau beralih ke jalur yang lebih murah.
Bisakah saya membatasi berdasarkan biaya selain token?
Ya. Anggaran memiliki batas token dan batas biaya dalam dolar AS, selama jendela yang Anda pilih.
Paket mana yang menyertakannya?
Anggaran LLM, statistik, dan deduplikasi embedding adalah bagian dari paket Performance dan Scale.
Kasus penggunaan terkait
Coba pada beban kerja Anda sendiri
HotKV berbicara protokol Redis, jadi Anda dapat mengarahkan klien yang sudah ada ke HotKV dan menjalankan perintah yang sama.