AI และ LLMแอปพลิเคชัน LLMแผน Performance และ Scale

ผู้ช่วยซัพพอร์ตลูกค้าด้วย AI

บอตซัพพอร์ตที่ตอบคำถามซ้ำได้ทันที จับคู่คำถามที่เปลี่ยนคำพูดด้วยความหมาย อ้างอิงคำตอบใหม่จากศูนย์ช่วยเหลือของคุณ และไม่ใช้จ่ายเกินงบ

เอนจิน AI ในเซิร์ฟเวอร์เดียว: 5
การเรียกโมเดลต่อคำถามใหม่: 1
ฐานข้อมูลเพิ่มเติมที่ต้องดูแล: 0

ขั้นที่ 1 จาก 6

ตรวจงบประมาณของผู้เช่า

งบประมาณของแต่ละผู้เช่าถูกตั้งไว้ครั้งเดียวด้วย LLMBUDGET.SET ก่อนเริ่มงานของโมเดล ให้หักงบแบบอะตอมมิก ผู้เช่าที่เกินเพดานจะถูกปฏิเสธตรงนี้ก่อนที่จะเสียเงิน

เซสชันตัวอย่างplaying

# ตรวจงบประมาณของผู้เช่า

hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002

ตัวอย่างแบบแอนิเมชันพร้อมคำสั่ง HotKV จริงและคำตอบตัวอย่าง คลิกขั้นตอนใดก็ได้เพื่อข้ามไปยังขั้นนั้น คำสั่งและคำตอบยังคงเป็นภาษาอังกฤษ ตรงตามที่คุณพิมพ์และเห็นใน HotKV

ปัญหา

ผู้ช่วยซัพพอร์ตจริงไม่ได้มีแค่พรอมต์ ต้องมีแคชเพื่อไม่ต้องจ่ายซ้ำสำหรับคำถามเดิม การค้นคืนข้อมูลจากศูนย์ช่วยเหลือ หน่วยความจำของบทสนทนา และงบประมาณเพื่อไม่ให้ลูกค้ารายเดียวทำบิลบวม ซึ่งมักหมายถึงสี่ถึงห้าบริการ และเวลาที่หมดไปกับโค้ดเชื่อมต่อมากกว่าตัวผลิตภัณฑ์

HotKV จัดการอย่างไร

HotKV รันทุกส่วนเหล่านี้เป็นคำสั่งในเซิร์ฟเวอร์เดียว ผู้ช่วยตรวจงบประมาณของผู้เช่า ตอบคำถามซ้ำแบบตรงกันทุกตัวอักษรจาก prompt cache และคำถามที่เปลี่ยนคำพูดจาก semantic cache ดึงข้อความจากศูนย์ช่วยเหลือสำหรับคำถามใหม่ เก็บบทสนทนา และแคชคำตอบใหม่ทุกข้อไว้ให้ลูกค้ารายถัดไปที่ถาม

ทีละขั้นตอน

เกิดอะไรขึ้นบ้าง ทีละคำสั่ง

01
ตรวจงบประมาณของผู้เช่า
งบประมาณของแต่ละผู้เช่าถูกตั้งไว้ครั้งเดียวด้วย LLMBUDGET.SET ก่อนเริ่มงานของโมเดล ให้หักงบแบบอะตอมมิก ผู้เช่าที่เกินเพดานจะถูกปฏิเสธตรงนี้ก่อนที่จะเสียเงิน
LLMBUDGET.CONSUME tenant:acme 900 0.002
02
คำถามซ้ำแบบตรงกัน ตอบทันที
คำถามเดิมที่ถามทุกคำเหมือนกันคือการเจอ prompt cache ไม่มี embedding ไม่มีการเรียกโมเดล
PCACHE.GET support "How do I reset my password?"
03
คำถามที่เปลี่ยนคำพูด จับคู่ด้วยความหมาย
“I forgot my login password” ใช้ถ้อยคำต่างออกไป embedding ของมันใกล้เคียงพอกับคำถามใน semantic cache ซึ่งสร้างไว้ครั้งเดียวด้วย SCACHE.CREATE คำตอบที่เก็บไว้จึงถูกส่งกลับมา
SCACHE.GET support 0.013 -0.21 0.88 ...
04
เป็นคำถามใหม่ จึงค้นคืนบริบท
คำถามที่ยังไม่มีใครถาม การค้นหาไฮบริดบนศูนย์ช่วยเหลือที่นำเข้าไว้จะคืนข้อความที่โมเดลต้องใช้
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66
05
เรียกโมเดลหนึ่งครั้ง แล้วจดจำไว้
โมเดลตอบโดยใช้ข้อความเหล่านั้นเป็นบริบท รอบสนทนานี้ถูกต่อท้ายบทสนทนาที่เปิดไว้ด้วย AMEM.CONV.CREATE ตอนเริ่มแชต ข้อความถัดไปจึงมีประวัติ
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."
06
แคชไว้ให้ลูกค้ารายถัดไป
คำตอบใหม่เข้าไปอยู่ใน semantic cache คำถามที่เปลี่ยนคำพูดจากข้อนี้ในภายหลังทุกข้อจึงเจอแคช
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...

เหมาะกับงานแบบไหน

สถานการณ์จริง

เฮลป์เดสก์ของ SaaS

ลูกค้าหลายพันคนถามเรื่องรหัสผ่าน ใบแจ้งหนี้ และขีดจำกัดของแผน คำถามจำนวนมากเป็นคำถามซ้ำหรือเปลี่ยนคำพูด และตอบจากแคช มีเพียงคำถามใหม่จริงๆ เท่านั้นที่ไปถึงโมเดล

บอตรับคืนสินค้าของอีคอมเมิร์ซ

นโยบายการคืนสินค้าและการจัดส่งถูกนำเข้าครั้งเดียวเป็น RAG pipeline คำตอบอ้างอิงข้อความนโยบายปัจจุบัน และทุกร้านค้าบนแพลตฟอร์มมีงบประมาณของตนเอง

ผู้ช่วยไอทีภายในองค์กร

พนักงานถามคำถามเรื่อง VPN และแล็ปท็อปแบบเดิมทุกสัปดาห์ ผู้ช่วยเก็บแต่ละบทสนทนา ดึงรอบก่อนหน้ากลับมา และหยุดลูปที่ทำงานเกินการควบคุมก่อนที่จะเผาโควตารายเดือนจนหมด

อยู่ในตัว