เอาชนะคู่แข่ง

ลดการใช้โทเค็น LLM และตอบคำขอ AI ที่ซ้ำจากแคชในเวลาไม่ถึงมิลลิวินาที บนที่เก็บข้อมูลแบบมัลติเธรดที่เข้ากันได้กับ Redis

เริ่มต้นใช้งาน ดูเพิ่มเติม

โทเค็นที่ Claude ประมวลผลน้อยลง: 70%โทเค็นที่ Claude ประมวลผลน้อยลง
ของคำขอที่ตอบจากแคชเมื่อแคชอุ่นแล้ว: 81%ของคำขอที่ตอบจากแคชเมื่อแคชอุ่นแล้ว
ต่อการเจอแคชแบบตรงกันทุกตัวอักษรหนึ่งครั้ง (โมเดลใช้เวลา 1.4 s): 0.05 msต่อการเจอแคชแบบตรงกันทุกตัวอักษรหนึ่งครั้ง (โมเดลใช้เวลา 1.4 s)

วัดด้วยการเรียก Anthropic API จริง

สร้างมาเพื่องาน LLM

เลิกจ่ายเงินเพื่อตอบคำถามเดิมซ้ำสองครั้ง

HotKV อยู่หน้าการเรียก LLM ของคุณในฐานะเอนจินเดียวที่เข้ากันได้กับ Redis มันจดจำพรอมต์ที่เคยตอบไปแล้ว ทั้งแบบตรงกันทุกตัวอักษรและแบบใกล้เคียง แล้วส่งคำตอบที่แคชไว้ให้แอปพลิเคชันของคุณแทนการเรียก API ใหม่

ตอบพรอมต์ที่ซ้ำจากแคชPython

import hotkv client = hotkv.from_url("hotkv://localhost:6379")client.pcache_create("support", ttl=3600) def ask(prompt: str) -> str:    # เคยถามมาแล้วทุกคำ: ไม่ต้องเรียกโมเดล    cached = client.pcache_get("support", prompt)    if cached is not None:        return cached.decode()     answer = call_llm(prompt)    client.pcache_set("support", prompt, answer, ttl=3600)    return answer

ผลลัพธ์เพื่อประกอบตัวอย่าง (ข้อมูลตัวอย่าง)

สถานการณ์: เรียก ask("How do I reset my password?") สองครั้ง
ทั้งสองการเรียกคืนค่า: "Use the password-reset link on the sign-in page."
การเรียกครั้งแรก: ไม่พบในแคช → call_llm → เก็บคำตอบ
การเรียกครั้งที่สอง: คำตอบจากแคช → ไม่มีการเรียกโมเดล

วัดผลด้วยการเรียก Anthropic API จริง

จ่ายค่าโทเค็นน้อยลง

เราส่งคำถามจากลูกค้าถึงฝ่ายซัพพอร์ต 3,000 ข้อชุดเดียวกันไปยังโมเดล Claude ปัจจุบันสี่รุ่นสองครั้ง ครั้งหนึ่งส่งตรงถึงโมเดล อีกครั้งมี HotKV อยู่ด้านหน้า

โทเค็น (อินพุตรวมเอาต์พุต) ที่โมเดลประมวลผลน้อยลง โดยเปิด prompt caching ของผู้ให้บริการไว้อยู่แล้ว

โทเค็นที่ประมวลผลต่อโมเดล

Anthropic claude-fable-5-1

โทเค็นน้อยลง 70%ต้นทุนต่ำลง 70%

ไม่มี HotKV7.25M โทเค็น · $30.31

ไม่มี HotKV

7.25M โทเค็น · $30.31

มี HotKV2.16M โทเค็น · $9.18

มี HotKV

2.16M โทเค็น · $9.18

Anthropic claude-opus-5-5

โทเค็นน้อยลง 70%ต้นทุนต่ำลง 69%

ไม่มี HotKV7.34M โทเค็น · $14.60

ไม่มี HotKV

7.34M โทเค็น · $14.60

มี HotKV2.20M โทเค็น · $4.50

มี HotKV

2.20M โทเค็น · $4.50

Anthropic claude-sonnet-5-5

โทเค็นน้อยลง 70%ต้นทุนต่ำลง 70%

ไม่มี HotKV7.16M โทเค็น · $5.51

ไม่มี HotKV

7.16M โทเค็น · $5.51

มี HotKV2.14M โทเค็น · $1.66

มี HotKV

2.14M โทเค็น · $1.66

Anthropic claude-haiku-5-5

โทเค็นน้อยลง 70%ต้นทุนต่ำลง 70%

ไม่มี HotKV7.08M โทเค็น · $0.27

ไม่มี HotKV

7.08M โทเค็น · $0.27

มี HotKV2.11M โทเค็น · $0.08

มี HotKV

2.11M โทเค็น · $0.08

81%

ของคำขอที่ตอบจากแคชเมื่อแคชอุ่นแล้ว (1,000 รายการสุดท้ายจากทั้งหมด 3,000)

เร็วขึ้น 11.0 เท่า

เวลาตอบสนองมัธยฐานบน Claude Haiku 5.5 จาก 1.4 s เหลือ 125 ms

0.05 ms

เวลาตอบสำหรับคำถามที่ซ้ำ (โมเดลใช้เวลา 1.4 s)

ความหมายเมื่อใช้งานในระดับใหญ่

Anthropic claude-fable-5-1: $303,100 ต่อเดือนเมื่อไม่มี HotKV, $91,800 เมื่อมี ประหยัดได้ประมาณ $211,300 ทุกเดือน
Anthropic claude-opus-5-5: $146,000 ต่อเดือนเมื่อไม่มี HotKV, $45,000 เมื่อมี ประหยัดได้ประมาณ $101,000 ทุกเดือน
Anthropic claude-sonnet-5-5: $55,100 ต่อเดือนเมื่อไม่มี HotKV, $16,600 เมื่อมี ประหยัดได้ประมาณ $38,500 ทุกเดือน
Anthropic claude-haiku-5-5: $2,700 ต่อเดือนเมื่อไม่มี HotKV, $800 เมื่อมี ประหยัดได้ประมาณ $1,900 ทุกเดือน

ที่ 1 ล้านคำขอต่อวัน ประมาณการจากต้นทุนต่อคำขอที่วัดได้ และสมมติว่ารูปแบบทราฟฟิกเหมือนเดิม โมเดล Claude ทั้งสี่รันด้วยคำตอบสั้น และ Fable 5.1 กับ Opus 5.5 ใช้ระดับการให้เหตุผลต่ำสุด คำตอบที่ยาวกว่าหรือต้องใช้การให้เหตุผลมากจึงทำให้การเรียกที่หลีกเลี่ยงได้แต่ละครั้งมีมูลค่ามากขึ้น

ตัวเลขฉบับเต็มโทเค็น ต้นทุน คุณภาพคำตอบ และการแลกเปลี่ยนของเกณฑ์ความคล้ายแสดง

เรารัน Claude Fable 5.1, Opus 5.5, Sonnet 5.5 และ Haiku 5.5 กับคำขอ 3,000 รายการชุดเดียวกันรุ่นละชุด ทั้งแบบมีและไม่มี HotKV เปิด prompt caching ของผู้ให้บริการไว้ในทุกรอบ และโทเค็นกับต้นทุนมาจากข้อมูลการใช้งานของแต่ละคำตอบ รวมโทเค็นการคิดด้วย

โทเค็น ต้นทุน และเวลาตอบสนองต่อโมเดล Claude ทั้งแบบมีและไม่มี HotKV
โมเดล	โทเค็นที่ประหยัดได้	ต้นทุนเมื่อไม่มี	ต้นทุนเมื่อมี	ต่ำลง	การเรียกโมเดล	เวลาตอบสนองมัธยฐาน
Claude Fable 5.1	70%	$30.31	$9.18	70%	3,000 ถึง 896	2.7 s ถึง 127 ms
Claude Opus 5.5	70%	$14.60	$4.50	69%	3,000 ถึง 898	2.9 s ถึง 126 ms
Claude Sonnet 5.5	70%	$5.51	$1.66	70%	3,000 ถึง 897	1.8 s ถึง 128 ms
Claude Haiku 5.5	70%	$0.27	$0.08	70%	3,000 ถึง 897	1.4 s ถึง 125 ms

คำตอบจากแคชดีแค่ไหน

สำหรับทุกคำถามที่เปลี่ยนคำพูดและตอบจากแคช โมเดลอีกตัวหนึ่งเปรียบเทียบคำตอบจากแคชกับคำตอบใหม่ที่โมเดลเดียวกันตอบคำถามนั้นเป๊ะๆ โดยเรียงลำดับแบบสุ่ม ไม่มีโมเดลใดให้คะแนนเอาต์พุตของตัวเอง นี่เป็นการประเมินโดยโมเดลภาษา ไม่ใช่การตรวจโดยมนุษย์ และความเข้มงวดต่างกันไปในแต่ละโมเดล จึงควรเปรียบเทียบคำตอบจากแคชกับคำตอบใหม่ภายในโมเดลเดียวกันเท่านั้น

สัดส่วนของคำตอบจากแคชและคำตอบใหม่ที่ผู้ประเมินเห็นว่าถูกต้องสำหรับคำถามนั้นเป๊ะๆ ต่อโมเดล
โมเดล	คำถามที่เปลี่ยนคำพูดซึ่งถูกประเมิน	คำตอบจากแคชเหมาะสม	คำตอบใหม่เหมาะสม
Claude Fable 5.1	926	83.3%	90.2%
Claude Opus 5.5	935	93.3%	99.0%
Claude Sonnet 5.5	936	77.9%	86.1%
Claude Haiku 5.5	936	67.9%	78.6%

เกณฑ์ความคล้ายแลกการประหยัดกับคุณภาพคำตอบ

แต่ละแถวคือการรัน Claude Sonnet 5.5 แยกกันบนคำขอ 3,000 รายการชุดเดียวกัน (ต้นทุนเมื่อไม่มี HotKV: $5.51)

การประหยัดต้นทุนและคุณภาพคำตอบที่เกณฑ์ความคล้ายห้าระดับ
เกณฑ์	ต้นทุน	ต่ำลง	คำตอบจากแคชเหมาะสม	คำตอบใหม่เหมาะสม
0.81	$1.66	70%	77.9%	86.1%
0.85	$1.88	66%	80.3%	85.6%
0.88	$1.99	64%	89.5%	83.8%
0.90	$2.13	61%	87.9%	86.5%
0.95	$2.22	60%	92.0%	90.0%

ตัวเลขเหล่านี้แสดงและไม่ได้แสดงอะไร

ที่เกณฑ์ 0.81 ซึ่งใช้กับผลข้างต้น คำตอบจากแคชเหมาะกับคำถามนั้นเป๊ะๆ น้อยกว่าคำตอบใหม่ 6 ถึง 11 จุดเปอร์เซ็นต์ คำถามที่เปลี่ยนคำพูดคิดเป็นราว 31% ของคำขอ ดังนั้นเมื่อดูคำตอบทั้งหมดจะเป็นราว 2 ถึง 3 จุด ในการรันเกณฑ์ต่างๆ คำตอบจากแคชตั้งแต่ 0.88 ขึ้นไปไม่ได้แย่กว่าคำตอบใหม่ แต่ยังประหยัดต้นทุนได้ 61% ถึง 64%
ตัวเลข "เจตนาเดียวกัน" ข้างต้นไม่ได้หมายความว่า "คำตอบที่ถูกต้องเหมือนกัน" ในการทดสอบคู่คำถามที่ใกล้กันโดยตั้งใจ 119 คู่ ซึ่งรายละเอียดเดียว เช่น ฝากเทียบกับถอน เปลี่ยนคำตอบที่ถูกต้อง 62% ของคำถามที่เปลี่ยนไปจะได้รับคำตอบจากแคชที่ 0.81, 25% ที่ 0.90 และ 10% ที่ 0.95 คู่เหล่านี้สร้างขึ้นให้ยากและแสดงกรณีที่เลวร้ายที่สุด ไม่ใช่ความถี่ที่เกิดขึ้นในทราฟฟิกจริง หากคำตอบที่ผิดมีต้นทุนสูงสำหรับกรณีใช้งานของคุณ ให้เพิ่มเกณฑ์
ชุดข้อมูลสาธารณะหนึ่งชุดของคำถามธนาคารสั้นๆ โมเดล embedding หนึ่งตัว และผู้ประเมินอัตโนมัติ ผลของเกณฑ์วัดบนโมเดลหนึ่งตัว อีกสามตัวรันที่ 0.81 เท่านั้น อัตราการซ้ำและคำถามของคุณจะให้ตัวเลขที่ต่างออกไป

คำถามฝ่ายซัพพอร์ตลูกค้า 3,000 ข้อที่สุ่มจากชุดทดสอบของ Banking77 ด้วย seed คงที่ (ความนิยมของเจตนาเป็นไปตามการแจกแจงแบบ Zipf, s=1.0 คำถามถูกสุ่มอย่างสม่ำเสมอภายในแต่ละเจตนา และมีการซ้ำ) แต่ละคำถามถูกส่งไปยังโมเดลพร้อมนโยบายซัพพอร์ตชุดเดียวกันเป็น system prompt ค่าฐาน: ทุกคำขอเรียกโมเดล โดยเปิด prompt caching ของผู้ให้บริการ HotKV: ค้นหาแบบตรงกันทุกตัวอักษรก่อน (GET บนคีย์ SHA-256 ของคำถามที่ทำให้เป็นมาตรฐานแล้ว) แล้วจึงค้นหาเชิงความหมาย (SCACHE.GET พร้อม embedding ของคำถาม) และเรียกโมเดลเฉพาะเมื่อไม่พบในแคช จำนวนโทเค็นมาจากบล็อก usage ในแต่ละคำตอบของ API ต้นทุนใช้ราคาประกาศและรวมการเรียก embedding เกณฑ์ความคล้ายถูกเลือกจากชุดฝึกของ Banking77 ที่แยกต่างหาก โดยเป็นค่าต่ำสุดที่ให้ความแม่นยำด้านเจตนาเดียวกันอย่างน้อย 98% ในการเจอแคชเชิงความหมาย

โมเดล embedding: OpenAI text-embedding-3-small เกณฑ์การจับคู่เชิงความหมาย: 0.81 ชุดข้อมูล: Banking77 (ชุดทดสอบ) โดย PolyAI ไลเซนส์ CC BY 4.0 3,000 คำขอใน 77 เจตนา

วัดเมื่อ 11 ตุลาคม 2026 การประหยัดขึ้นอยู่กับความถี่ที่ทราฟฟิกของคุณซ้ำกันเอง เวิร์กโหลดที่ไม่มีคำถามซ้ำหรือคล้ายกันจะไม่ประหยัดอะไรเลย

วัดเทียบกับ vector set ของ Redis 8.10.2

เร็วกว่า vector set ของ Redis 8 ในการทดสอบของเรา

เราโหลด OpenAI embedding ชุดเดียวกันเข้า HotKV และ Redis 8 แล้วรันคิวรี 1,000 รายการเดียวกันกับแต่ละตัว ด้วยการเชื่อมต่อไคลเอนต์พร้อมกัน 1 ถึง 100 การเชื่อมต่อ บนเครื่องเดียว ทั้งสองเก็บเวกเตอร์ความแม่นยำเต็มและใช้การตั้งค่าดัชนีเดียวกัน

ของจำนวนคิวรีต่อวินาทีของ Redis ตั้งแต่ไคลเอนต์ 1 ถึง 100 ราย ที่ recall 95% ขึ้นไปบนเวกเตอร์ 999,000 รายการ

คิวรีต่อวินาทีที่ recall เท่ากัน

recall 90% ขึ้นไปคิวรีต่อวินาทีมากกว่า 7.9 เท่า

Redis8,061 คิวรี/วินาที

Redis

8,061 คิวรี/วินาที

HotKV63,897 คิวรี/วินาที

HotKV

63,897 คิวรี/วินาที

recall 95% ขึ้นไปคิวรีต่อวินาทีมากกว่า 5.5 เท่า

Redis6,825 คิวรี/วินาที

Redis

6,825 คิวรี/วินาที

HotKV37,508 คิวรี/วินาที

HotKV

37,508 คิวรี/วินาที

recall 99% ขึ้นไปคิวรีต่อวินาทีมากกว่า 5.0 เท่า

Redis2,483 คิวรี/วินาที

Redis

2,483 คิวรี/วินาที

HotKV12,393 คิวรี/วินาที

HotKV

12,393 คิวรี/วินาที

5.0x

โหลดเวกเตอร์ 999,000 รายการได้เร็วกว่า: 188 วินาที เทียบกับ 935 วินาทีของ Redis โดยแต่ละตัวใช้ 32 การเชื่อมต่อ

1.3 ms

เวลาคิวรีมัธยฐานเมื่อมีไคลเอนต์ 50 ราย ที่ recall 95% (Redis: 7.2 ms)

5 จาก 5

ความลึกการค้นหาที่ recall@10 ของ HotKV สูงกว่าของ Redis

ทั้งสองเอนจินเก็บเวกเตอร์ float32 ความแม่นยำเต็ม หลังโหลดเวกเตอร์ 999,000 รายการ โปรเซส HotKV ใช้ 6.77 GB และ Redis ใช้ 7.01 GB

ไม่ได้วัด: โหมดควอนไทซ์ 8 บิตเริ่มต้นของ Redis, Redis Query Engine, ชุดข้อมูลอื่น และฮาร์ดแวร์อื่น บิลด์ HotKV เป็นบิลด์พัฒนาที่ยังไม่ได้ปล่อย Redis ถูกโหลดโดยตรึงไว้กับ vCPU สี่ตัวและค้นหาบนดัชนีที่โหลดใหม่ (ดูบทความ)

ตัวเลขฉบับเต็ม: เวกเตอร์ 999,000 รายการ, ไคลเอนต์ 50 ราย

recall และปริมาณงานของ HotKV และ Redis ในทุกความลึกการค้นหาที่ทดสอบ สำหรับขนาดดัชนีและจำนวนไคลเอนต์ที่เลือก
ef	recall ของ HotKV	recall ของ Redis	คิวรี/วินาทีของ HotKV	คิวรี/วินาทีของ Redis	อัตราส่วน
40	0.940	0.923	63,897	8,061	7.9x
80	0.970	0.962	37,508	6,825	5.5x
150	0.987	0.980	21,912	5,241	4.2x
300	0.993	0.990	12,393	3,454	3.6x
500	0.997	0.994	7,688	2,483	3.1x

HotKV บิลด์ c8dafd37 และ Redis 8.10.2, ความคล้ายแบบ cosine, HNSW ที่ M=16 และ ef_construction=200 ทั้งสองตัว, float32 ทั้งสองตัว (Redis NOQUANT) recall คือ recall@10 เทียบกับผลแบบ brute-force ที่แน่นอน ค่ามัธยฐานของ 3 รอบบน Azure Standard_D160alds_v7, AMD EPYC 9V45, 160 vCPUs เซิร์ฟเวอร์ใช้ 128 vCPU ร่วมกัน และตัวสร้างโหลดรันบนอีก 32 ตัว โดยใช้โค้ดไคลเอนต์เดียวกันสำหรับทั้งสอง

ชุดข้อมูล: embedding dbpedia-entities-openai-1M (OpenAI text-embedding-ada-002, 1,536 มิติ) โดย Kumar Shivendu and Nirant Kasliwal ไลเซนส์ MIT พร้อมคิวรีที่กันไว้ 1,000 รายการ วิธีการฉบับเต็ม สคริปต์ และผลดิบ วัดเมื่อ 14 ตุลาคม 2026

รันได้ตามแบบที่คุณต้องการ

HotKV เป็นซอฟต์แวร์เชิงพาณิชย์ ให้เราดูแลการรันให้คุณ หรือรันเองบนโครงสร้างพื้นฐานที่คุณควบคุมก็ได้

เราโฮสต์ให้

HotKV Cloud

อินสแตนซ์ HotKV แบบมีผู้ดูแลเต็มรูปแบบ โฮสต์และดูแลโดยเราบน Google Cloud ใน 42 รีเจียน เปิดให้ใช้ทีละรอบ ขอสิทธิ์เข้าใช้งานก่อนใคร

เราดูแลการจัดเตรียม การแพตช์ และการมอนิเตอร์ให้
ทุกอินสแตนซ์เป็นเครื่องที่แยกเป็นอิสระพร้อมทรัพยากรเฉพาะ
เลือกได้จาก 42 รีเจียนของ Google Cloud
เรียกเก็บรายเดือนหรือรายปีเป็น USD ผ่าน Stripe คิดราคาตามรีเจียนแบบสดตอนชำระเงิน

ขอสิทธิ์เข้าใช้งานก่อนใคร

คุณโฮสต์เอง

HotKV On-Premise

รัน HotKV บนเซิร์ฟเวอร์ของคุณเองหรือบัญชีคลาวด์ของคุณเอง ภายใต้ไฟล์ไลเซนส์ พร้อมควบคุมที่ตั้งของข้อมูลและการเข้าถึงเครือข่ายได้เต็มที่

แพ็กเกจ Linux สำหรับ x86_64 และ ARM64
ได้รับอนุญาตภายใต้สัญญาไลเซนส์ on-premise แยกต่างหาก
ติดตั้งใน VPC ของคุณเอง เครือข่ายแบบ air-gapped หรือดาต้าเซ็นเตอร์

ติดต่อฝ่ายขาย

SDK ทางการ

ไลบรารีไคลเอนต์ทางการสิบสองตัว HotKV ใช้ RESP2 และ RESP3 ด้วย ไคลเอนต์และเครื่องมือ Redis ที่คุณใช้อยู่จึงเชื่อมต่อได้โดยไม่ต้องแก้ไขอะไรนอกจากโฮสต์เนม

Python

pip install hotkv-client

Node.js

npm install @hotkv/client

go get github.com/hotkv-ltd/hotkv-go-client

Rust

cargo add hotkv-client

Java

com.hotkv:hotkv-client

dotnet add package HotKV.Client

Ruby

gem install hotkv

PHP

composer require hotkv/client

Elixir

{:hotkv, "~> 1.0"}

Perl

จาก GitHub (hotkv-perl-client)

libhotkv (CMake, GitHub release)

C++

hotkv-cpp (CMake, GitHub release)

ทำงานร่วมกับเฟรมเวิร์ก AI ของคุณ

SDK ของ Python และ Node.js มีการเชื่อมต่อแบบบรรทัดเดียวสำหรับเฟรมเวิร์กที่ทีมต่างๆ ใช้สร้างงานอยู่แล้ว เครื่องมือโอเพนซอร์สแยกต่างหากครอบคลุม LangGraph, MCP และ API ที่เข้ากันได้กับ OpenAI

LangChainPython

pip install "hotkv-client[langchain]"

from hotkv.integrations.langchain import HotKVSemanticCache
set_llm_cache(HotKVSemanticCache(client, embedding=embeddings))

ยังมี HotKVCache สำหรับแคชแบบตรงกันทุกตัวอักษร รวมถึง HotKVVectorStore และ HotKVChatMessageHistory

LlamaIndexPython

pip install "hotkv-client[llamaindex]"

from hotkv.integrations.llama_index import HotKVVectorStore

ยังมี HotKVKVStore และ HotKVChatStore

LiteLLMPython

pip install "hotkv-client[litellm]"

from hotkv.integrations.litellm import HotKVSemanticCache

แคช Redis ในตัวของ LiteLLM ใช้งานกับ HotKV ได้อยู่แล้วโดยไม่ต้องแก้ไข เลือกใช้การเชื่อมต่อนี้เมื่อคุณต้องการ semantic caching ด้วย

Vercel AI SDKNode.js

import { hotkvCache } from "@hotkv/client/ai-sdk";
wrapLanguageModel({ model, middleware: hotkvCache({ client }) });

มาพร้อมในแพ็กเกจ npm @hotkv/client

LangChain.jsNode.js

import { HotKVCache } from "@hotkv/client/langchain";

มาพร้อมในแพ็กเกจ npm @hotkv/client

LangGraphPython

pip install langgraph-checkpoint-hotkv

from langgraph.checkpoint.hotkv import HotKVSaver
from langgraph.store.hotkv import HotKVStore

Checkpointer สำหรับสถานะของกราฟ และที่เก็บหน่วยความจำระยะยาวพร้อมการค้นหาเชิงความหมาย ไม่ต้องใช้ไลเซนส์ HotKV

อ่านเอกสาร

MCP serverPython

pip install hotkv-mcp

claude mcp add hotkv -- uvx hotkv-mcp --url hotkv://localhost:6379

ให้ Claude, Cursor และผู้ช่วยตัวอื่นใช้คีย์ หน่วยความจำของเอเจนต์ พรอมต์ และการค้นหาเอกสารได้ โหมดอ่านอย่างเดียวและ namespace ช่วยให้เอเจนต์อยู่ในขอบเขต

อ่านเอกสาร

Caching gatewayGo

go install github.com/hotkv-ltd/hotkv-gateway/cmd/hotkv-gateway@latest

client = OpenAI(base_url="http://localhost:8080/v1")

พร็อกซีที่ใส่แทนได้ทันที แคชการเรียก API ที่เข้ากันได้กับ OpenAI และ Anthropic รวมถึงการสตรีม เปลี่ยน URL เดียว ไม่ต้องแก้โค้ด

อ่านเอกสาร

สำรวจ HotKV™

ทุกอย่างที่คุณควรรู้

เจาะลึกว่าอะไรทำให้ HotKV เร็ว เหมาะกับงานแบบไหน และเริ่มต้นอย่างไร

เอาชนะคู่แข่ง

เลิกจ่ายเงินเพื่อตอบคำถามเดิมซ้ำสองครั้ง

จ่ายค่าโทเค็นน้อยลง

โทเค็นที่ประมวลผลต่อโมเดล

ความหมายเมื่อใช้งานในระดับใหญ่

คำตอบจากแคชดีแค่ไหน

เกณฑ์ความคล้ายแลกการประหยัดกับคุณภาพคำตอบ

ตัวเลขเหล่านี้แสดงและไม่ได้แสดงอะไร

เร็วกว่า vector set ของ Redis 8 ในการทดสอบของเรา

คิวรีต่อวินาทีที่ recall เท่ากัน

ตัวเลขฉบับเต็ม: เวกเตอร์ 999,000 รายการ, ไคลเอนต์ 50 ราย

รันได้ตามแบบที่คุณต้องการ

HotKV Cloud

HotKV On-Premise

SDK ทางการ

ทำงานร่วมกับเฟรมเวิร์ก AI ของคุณ

ทุกอย่างที่คุณควรรู้

Performance

AI Driven

กรณีใช้งาน

ฟีเจอร์

สถาปัตยกรรม

ราคา