สร้างมาเพื่อสแตก AI
ทีมส่วนใหญ่ต้องเอา vector database, แคช, search engine และโค้ดเชื่อมต่อจำนวนมากมาต่อพ่วงเข้ากับแอป LLM ของตน HotKV รวมองค์ประกอบเหล่านี้ไว้ในเอนจินในหน่วยความจำตัวเดียว การค้นคืนข้อมูล หน่วยความจำ และการควบคุมต้นทุนจึงทำงานอยู่ติดกับข้อมูลของคุณ
เลือกคำถามหนึ่งข้อ แล้วดูว่ามันถูกตอบที่ไหน และมีสแตกส่วนไหนบ้างที่ไม่ต้องแตะเลย
- 00คำถามผ่านไป
- LLMBUDGETLLM Budgetผ่านไป
- PCACHEPrompt Cacheตอบแล้ว
- SCACHESemantic Cache
- RAGRAG Pipeline
- 05LLM
ตอบจาก prompt cache ไม่มีการเรียกโมเดลเลย
เวลาเป็นค่ามัธยฐานที่วัดได้จากเบนช์มาร์กการประหยัดโทเค็นด้านล่าง ไม่ได้วัดเวลาของ semantic cache จึงไม่แสดงตัวเลข
เอนจิน AI เก้าตัว เซิร์ฟเวอร์เดียว
แต่ละตัวคือกลุ่มคำสั่งที่อยู่ติดกับข้อมูลของคุณ เปิดดูตัวไหนก็ได้เพื่อดูในกรณีใช้งานจริง
ทำไมต้องรัน AI บน HotKV
คอร์แบบมัลติเธรดตัวเดียวกับที่นำ Redis และ Valkey ในทุกคำสั่งที่เราทดสอบ ก็รันการค้นคืนข้อมูล หน่วยความจำ และการป้องกันของคุณด้วย
หนึ่งเอนจิน ไม่ใช่ห้าบริการ
Vector search, semantic cache, RAG, หน่วยความจำของเอเจนต์ และ feature store อยู่ในโปรเซสเดียวกัน ไม่ต้องติดตั้ง รักษาความปลอดภัย และซิงก์ vector DB แคช และคลัสเตอร์ค้นหาแยกกัน
เจอแคชในระดับต่ำกว่ามิลลิวินาที
องค์ประกอบ AI ทุกอย่างทำงานบนคอร์แบบมัลติเธรดตัวเดียวกับที่นำ Redis และ Valkey ในทั้ง 12 คำสั่งที่เราวัดผล ในการทดสอบ LLM ของเรา การเจอแคชแบบตรงกันทุกตัวอักษรตอบกลับในราว 0.05 ms เทียบกับ 1.4 ถึง 2.9 วินาทีสำหรับการเรียกโมเดล
ควบคุมต้นทุนในชั้นข้อมูล
Semantic cache และ prompt cache ลดการเรียก LLM การลดข้อมูลซ้ำของ embedding ลดการเรียก embedding และงบประมาณรายคีย์จำกัดการใช้จ่ายก่อนที่มันจะเกิดขึ้น ส่วนที่ประหยัดได้เป็นตัวเลขที่วัดจริง ไม่ใช่การประมาณ
ออกแบบมาเพื่อหลายผู้เช่า
Namespace แยกเวกเตอร์ หน่วยความจำ และงบประมาณของผู้เช่าแต่ละรายออกจากกัน และแผน Scale เพิ่มทะเบียนผู้เช่าและ audit log สำหรับโครงสร้างพื้นฐาน AI ที่ใช้ร่วมกันข้ามทีมและลูกค้า
จ่ายค่าโทเค็นน้อยลง
เราส่งคำถามจากลูกค้าถึงฝ่ายซัพพอร์ต 3,000 ข้อชุดเดียวกันไปยังโมเดล Claude ปัจจุบันสี่รุ่นสองครั้ง ครั้งหนึ่งส่งตรงถึงโมเดล อีกครั้งมี HotKV อยู่ด้านหน้า
โทเค็นที่ประมวลผลต่อโมเดล
ความหมายเมื่อใช้งานในระดับใหญ่
- Anthropic claude-fable-5-1: $303,100 ต่อเดือนเมื่อไม่มี HotKV, $91,800 เมื่อมี ประหยัดได้ประมาณ $211,300 ทุกเดือน
- Anthropic claude-opus-5-5: $146,000 ต่อเดือนเมื่อไม่มี HotKV, $45,000 เมื่อมี ประหยัดได้ประมาณ $101,000 ทุกเดือน
- Anthropic claude-sonnet-5-5: $55,100 ต่อเดือนเมื่อไม่มี HotKV, $16,600 เมื่อมี ประหยัดได้ประมาณ $38,500 ทุกเดือน
- Anthropic claude-haiku-5-5: $2,700 ต่อเดือนเมื่อไม่มี HotKV, $800 เมื่อมี ประหยัดได้ประมาณ $1,900 ทุกเดือน
ที่ 1 ล้านคำขอต่อวัน ประมาณการจากต้นทุนต่อคำขอที่วัดได้ และสมมติว่ารูปแบบทราฟฟิกเหมือนเดิม โมเดล Claude ทั้งสี่รันด้วยคำตอบสั้น และ Fable 5.1 กับ Opus 5.5 ใช้ระดับการให้เหตุผลต่ำสุด คำตอบที่ยาวกว่าหรือต้องใช้การให้เหตุผลมากจึงทำให้การเรียกที่หลีกเลี่ยงได้แต่ละครั้งมีมูลค่ามากขึ้น
ตัวเลขฉบับเต็มโทเค็น ต้นทุน คุณภาพคำตอบ และการแลกเปลี่ยนของเกณฑ์ความคล้ายแสดงซ่อน
เรารัน Claude Fable 5.1, Opus 5.5, Sonnet 5.5 และ Haiku 5.5 กับคำขอ 3,000 รายการชุดเดียวกันรุ่นละชุด ทั้งแบบมีและไม่มี HotKV เปิด prompt caching ของผู้ให้บริการไว้ในทุกรอบ และโทเค็นกับต้นทุนมาจากข้อมูลการใช้งานของแต่ละคำตอบ รวมโทเค็นการคิดด้วย
| โมเดล | โทเค็นที่ประหยัดได้ | ต้นทุนเมื่อไม่มี | ต้นทุนเมื่อมี | ต่ำลง | การเรียกโมเดล | เวลาตอบสนองมัธยฐาน |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 70% | $30.31 | $9.18 | 70% | 3,000 ถึง 896 | 2.7 s ถึง 127 ms |
| Claude Opus 5.5 | 70% | $14.60 | $4.50 | 69% | 3,000 ถึง 898 | 2.9 s ถึง 126 ms |
| Claude Sonnet 5.5 | 70% | $5.51 | $1.66 | 70% | 3,000 ถึง 897 | 1.8 s ถึง 128 ms |
| Claude Haiku 5.5 | 70% | $0.27 | $0.08 | 70% | 3,000 ถึง 897 | 1.4 s ถึง 125 ms |
คำตอบจากแคชดีแค่ไหน
สำหรับทุกคำถามที่เปลี่ยนคำพูดและตอบจากแคช โมเดลอีกตัวหนึ่งเปรียบเทียบคำตอบจากแคชกับคำตอบใหม่ที่โมเดลเดียวกันตอบคำถามนั้นเป๊ะๆ โดยเรียงลำดับแบบสุ่ม ไม่มีโมเดลใดให้คะแนนเอาต์พุตของตัวเอง นี่เป็นการประเมินโดยโมเดลภาษา ไม่ใช่การตรวจโดยมนุษย์ และความเข้มงวดต่างกันไปในแต่ละโมเดล จึงควรเปรียบเทียบคำตอบจากแคชกับคำตอบใหม่ภายในโมเดลเดียวกันเท่านั้น
| โมเดล | คำถามที่เปลี่ยนคำพูดซึ่งถูกประเมิน | คำตอบจากแคชเหมาะสม | คำตอบใหม่เหมาะสม |
|---|---|---|---|
| Claude Fable 5.1 | 926 | 83.3% | 90.2% |
| Claude Opus 5.5 | 935 | 93.3% | 99.0% |
| Claude Sonnet 5.5 | 936 | 77.9% | 86.1% |
| Claude Haiku 5.5 | 936 | 67.9% | 78.6% |
เกณฑ์ความคล้ายแลกการประหยัดกับคุณภาพคำตอบ
แต่ละแถวคือการรัน Claude Sonnet 5.5 แยกกันบนคำขอ 3,000 รายการชุดเดียวกัน (ต้นทุนเมื่อไม่มี HotKV: $5.51)
| เกณฑ์ | ต้นทุน | ต่ำลง | คำตอบจากแคชเหมาะสม | คำตอบใหม่เหมาะสม |
|---|---|---|---|---|
| 0.81 | $1.66 | 70% | 77.9% | 86.1% |
| 0.85 | $1.88 | 66% | 80.3% | 85.6% |
| 0.88 | $1.99 | 64% | 89.5% | 83.8% |
| 0.90 | $2.13 | 61% | 87.9% | 86.5% |
| 0.95 | $2.22 | 60% | 92.0% | 90.0% |
ตัวเลขเหล่านี้แสดงและไม่ได้แสดงอะไร
- ที่เกณฑ์ 0.81 ซึ่งใช้กับผลข้างต้น คำตอบจากแคชเหมาะกับคำถามนั้นเป๊ะๆ น้อยกว่าคำตอบใหม่ 6 ถึง 11 จุดเปอร์เซ็นต์ คำถามที่เปลี่ยนคำพูดคิดเป็นราว 31% ของคำขอ ดังนั้นเมื่อดูคำตอบทั้งหมดจะเป็นราว 2 ถึง 3 จุด ในการรันเกณฑ์ต่างๆ คำตอบจากแคชตั้งแต่ 0.88 ขึ้นไปไม่ได้แย่กว่าคำตอบใหม่ แต่ยังประหยัดต้นทุนได้ 61% ถึง 64%
- ตัวเลข "เจตนาเดียวกัน" ข้างต้นไม่ได้หมายความว่า "คำตอบที่ถูกต้องเหมือนกัน" ในการทดสอบคู่คำถามที่ใกล้กันโดยตั้งใจ 119 คู่ ซึ่งรายละเอียดเดียว เช่น ฝากเทียบกับถอน เปลี่ยนคำตอบที่ถูกต้อง 62% ของคำถามที่เปลี่ยนไปจะได้รับคำตอบจากแคชที่ 0.81, 25% ที่ 0.90 และ 10% ที่ 0.95 คู่เหล่านี้สร้างขึ้นให้ยากและแสดงกรณีที่เลวร้ายที่สุด ไม่ใช่ความถี่ที่เกิดขึ้นในทราฟฟิกจริง หากคำตอบที่ผิดมีต้นทุนสูงสำหรับกรณีใช้งานของคุณ ให้เพิ่มเกณฑ์
- ชุดข้อมูลสาธารณะหนึ่งชุดของคำถามธนาคารสั้นๆ โมเดล embedding หนึ่งตัว และผู้ประเมินอัตโนมัติ ผลของเกณฑ์วัดบนโมเดลหนึ่งตัว อีกสามตัวรันที่ 0.81 เท่านั้น อัตราการซ้ำและคำถามของคุณจะให้ตัวเลขที่ต่างออกไป
คำถามฝ่ายซัพพอร์ตลูกค้า 3,000 ข้อที่สุ่มจากชุดทดสอบของ Banking77 ด้วย seed คงที่ (ความนิยมของเจตนาเป็นไปตามการแจกแจงแบบ Zipf, s=1.0 คำถามถูกสุ่มอย่างสม่ำเสมอภายในแต่ละเจตนา และมีการซ้ำ) แต่ละคำถามถูกส่งไปยังโมเดลพร้อมนโยบายซัพพอร์ตชุดเดียวกันเป็น system prompt ค่าฐาน: ทุกคำขอเรียกโมเดล โดยเปิด prompt caching ของผู้ให้บริการ HotKV: ค้นหาแบบตรงกันทุกตัวอักษรก่อน (GET บนคีย์ SHA-256 ของคำถามที่ทำให้เป็นมาตรฐานแล้ว) แล้วจึงค้นหาเชิงความหมาย (SCACHE.GET พร้อม embedding ของคำถาม) และเรียกโมเดลเฉพาะเมื่อไม่พบในแคช จำนวนโทเค็นมาจากบล็อก usage ในแต่ละคำตอบของ API ต้นทุนใช้ราคาประกาศและรวมการเรียก embedding เกณฑ์ความคล้ายถูกเลือกจากชุดฝึกของ Banking77 ที่แยกต่างหาก โดยเป็นค่าต่ำสุดที่ให้ความแม่นยำด้านเจตนาเดียวกันอย่างน้อย 98% ในการเจอแคชเชิงความหมาย
โมเดล embedding: OpenAI text-embedding-3-small เกณฑ์การจับคู่เชิงความหมาย: 0.81 ชุดข้อมูล: Banking77 (ชุดทดสอบ) โดย PolyAI ไลเซนส์ CC BY 4.0 3,000 คำขอใน 77 เจตนา
วัดเมื่อ 11 ตุลาคม 2026 การประหยัดขึ้นอยู่กับความถี่ที่ทราฟฟิกของคุณซ้ำกันเอง เวิร์กโหลดที่ไม่มีคำถามซ้ำหรือคล้ายกันจะไม่ประหยัดอะไรเลย
ส่งมอบฟีเจอร์ AI ไม่ใช่โครงสร้างพื้นฐาน
ชุดคำสั่ง AI มาพร้อมกับทุกอินสแตนซ์ Performance และ Scale บน HotKV Cloud ขอสิทธิ์เข้าใช้งานก่อนใครเพื่อเริ่มสร้างการค้นคืนข้อมูล หน่วยความจำ และการควบคุมต้นทุน