การกำกับดูแลต้นทุน LLM

HotKV จัดการอย่างไร

HotKV เก็บงบประมาณของผู้ใช้หรือผู้เช่าแต่ละรายและหักแบบอะตอมมิก คำขอจึงถูกอนุญาตและหักงบ หรือถูกปฏิเสธก่อนเรียกโมเดล สถิติแยกต่างหากบันทึกโทเค็น ต้นทุน และเวลาแฝงจริงต่อบักเก็ต และ embedding ถูกเก็บตามแฮชของเนื้อหา ข้อความที่เหมือนกันจึงถูกทำ embedding เพียงครั้งเดียว