แท็ก
การใช้ HotKV ในแอปพลิเคชันโมเดลภาษา ทั้งการเรียกโมเดล การนับโทเค็น การนำคำตอบกลับมาใช้ซ้ำ และข้อแลกเปลี่ยนด้านคุณภาพของ semantic caching
4 บทความ ใน LLM
หน่วยความจำของเอเจนต์ AI ไม่ใช่แค่หน้าต่างบริบทที่ยาว เอเจนต์ต้องการหน่วยความจำสี่แบบ เก็บแต่ละแบบอย่างไร และอะไรไม่ควรเก็บ พร้อมคำสั่ง HotKV
MCP server ให้ Claude Code หรือ Cursor มีหน่วยความจำใน HotKV ผ่านเครื่องมือตายตัว 28 ตัว ติดตั้ง เชื่อมต่อ และจำกัดสิทธิ์ด้วยโหมดอ่านอย่างเดียวและ namespace
Prompt caching ทำให้ส่วนต้นของพรอมต์ที่ซ้ำถูกลง ส่วน semantic caching ตัดการเรียกโมเดลออกไป ทำงานอย่างไร เราวัดอะไรได้ และควรใช้แบบไหนเมื่อไร
Four Claude models, 3,000 support requests each: HotKV caching cut model calls, tokens and API cost by about 70%. Results and answer-quality trade-offs.
ตามความอยากรู้ของคุณไป