AI และ LLMแอปพลิเคชัน LLMแผน Performance และ Scale

Exact Prompt Caching

ไม่ต้องจ่ายซ้ำสำหรับพรอมต์เดิม แคช LLM แบบตรงกันทุกตัวอักษรที่นับโทเค็นและดอลลาร์ที่ช่วยคุณประหยัด

ทุกตัวอักษร ไม่มีการเจอแคชผิด: ตรงกัน
เวลาแฝงการค้นหาใน STATS: p50
ติดตามส่วนที่ประหยัดได้ต่อ namespace: $

ขั้นที่ 1 จาก 4

สร้าง namespace

กำหนด TTL เพื่อให้คำตอบรีเฟรช และค่าเฉลี่ยที่การเจอแคชหนึ่งครั้งประหยัดได้

เซสชันตัวอย่างplaying

# สร้าง namespace

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

ตัวอย่างแบบแอนิเมชันพร้อมคำสั่ง HotKV จริงและคำตอบตัวอย่าง คลิกขั้นตอนใดก็ได้เพื่อข้ามไปยังขั้นนั้น คำสั่งและคำตอบยังคงเป็นภาษาอังกฤษ ตรงตามที่คุณพิมพ์และเห็นใน HotKV

ปัญหา

งานแบตช์ การลองใหม่ รายงานตามกำหนดเวลา และคำถามยอดนิยมส่งพรอมต์เดิมไปยังโมเดลซ้ำแล้วซ้ำเล่า แต่ละครั้งถูกเรียกเก็บเต็มจำนวน และไม่มีใครบอกได้ว่าแคชจะประหยัดได้เท่าใด เพราะไม่มีอะไรวัดไว้

HotKV จัดการอย่างไร

Prompt cache เก็บคำตอบของแต่ละพรอมต์ที่ตรงกันทุกตัวอักษร พร้อมโมเดลและจำนวนโทเค็นของการเรียกที่สร้างมัน การเจอแคชทุกครั้งต่อจากนั้นถูกนับ HotKV จึงรายงานคำขอ โทเค็น และดอลลาร์ที่คุณไม่ได้จ่ายได้

ทีละขั้นตอน

เกิดอะไรขึ้นบ้าง ทีละคำสั่ง

01
สร้าง namespace
กำหนด TTL เพื่อให้คำตอบรีเฟรช และค่าเฉลี่ยที่การเจอแคชหนึ่งครั้งประหยัดได้
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
ไม่พบ แล้วเก็บพร้อมข้อมูลการใช้งาน
การเรียกครั้งแรกไปที่โมเดล คำตอบถูกเก็บพร้อมโมเดลและจำนวนโทเค็นที่สร้างมัน
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
ทุกครั้งที่ซ้ำฟรี
งานรอบกลางคืนและทุกการเปิดดูแดชบอร์ดถามสิ่งเดียวกัน ทั้งหมดเป็นการเจอแคช
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
ดูว่าประหยัดได้เท่าใด
สถิติรวมอัตราการเจอแคช เวลาแฝงในการค้นหา และการใช้งานที่คุณไม่ต้องจ่าย
PCACHE.STATS reports

เหมาะกับงานแบบไหน

สถานการณ์จริง

รายงานตามกำหนดเวลา

บทสรุปเดิมถูกสร้างให้ผู้ดูแดชบอร์ดทุกคน เรียกโมเดลหนึ่งครั้งต่อรายงานต่อวัน แทนที่จะเรียกหนึ่งครั้งต่อการดู

การแปลและการปรับให้เข้ากับท้องถิ่น

สตริง UI และคำอธิบายสินค้าถูกแปลหนึ่งครั้งต่อภาษา และเสิร์ฟจากแคชในทุกคำขอหลังจากนั้น

ไปป์ไลน์การจัดหมวดหมู่

ทิกเก็ต รีวิว และอีเมลที่มีข้อความเหมือนกันได้ป้ายกำกับเดียวกันโดยไม่ต้องเรียกโมเดลอีก

อยู่ในตัว

สิ่งที่คุณได้รับ

ตรงกันทุกตัวอักษร

เจอแคชเฉพาะพรอมต์ที่เหมือนกันทุกตัวอักษร จึงไม่เคยส่งคำตอบที่แคชไว้ให้คำถามที่ต่างกัน

PCACHE.GETPCACHE.SET

รู้การใช้งาน

เก็บโมเดลและจำนวนโทเค็นไว้กับคำตอบแต่ละข้อ เพื่อคำนวณส่วนที่ประหยัดได้จากการใช้งานจริง

MODELINPUTOUTPUT

เมตาดาตาและจำนวนครั้งที่เจอแคช

PCACHE.GETEX คืนคำตอบพร้อมเมตาดาตาและจำนวนครั้งที่มันถูกเสิร์ฟ

PCACHE.GETEX

อัตราการเจอแคชและเวลาแฝง

PCACHE.STATS รายงานจำนวนที่เจอ ที่ไม่พบ การไล่ข้อมูล หน่วยความจำ เวลาแฝงในการค้นหา และส่วนที่ประหยัดได้

PCACHE.STATS

ข้อมูลอ้างอิง:PCACHE.CREATE PCACHE.SET PCACHE.STATS

คำถามที่พบบ่อย

เมื่อไรควรใช้ prompt cache แทน semantic cache

ใช้ prompt cache เมื่อพรอมต์ซ้ำกันทุกตัวอักษร เช่น งานแบตช์และเทมเพลตคงที่ ใช้ semantic cache เมื่อผู้คนเรียบเรียงคำถามเดียวกันต่างกัน หลายแอปพลิเคชันตรวจทั้งสองอย่าง

เหมือนกับ prompt caching ของผู้ให้บริการไหม

ไม่เหมือน Prompt caching ของผู้ให้บริการลดราคาส่วนต้นของพรอมต์ที่ซ้ำในฝั่งของเขา ส่วนการเจอแคชของ HotKV ไม่ไปถึงผู้ให้บริการเลย ทั้งสองอย่างจึงประหยัดรวมกันได้

แผนไหนรวมฟีเจอร์นี้

Prompt cache อยู่ในแผน Performance และ Scale