AI và LLMỨng dụng LLM

Cổng LLM có caching

Trỏ SDK OpenAI hoặc Anthropic của bạn tới một URL và các yêu cầu lặp lại được trả lời từ HotKV thay vì phải trả tiền lần nữa. Không cần đổi mã.

dòng mã cần đổi: 1
tệp nhị phân tĩnh: ~6 MB
mã nguồn mở: Apache-2.0

Bước 1 trên 5

Khởi động cổng

Một tệp nhị phân hoặc container đặt trước nhà cung cấp. API key của chính người gọi được chuyển tiếp, nên cổng không cần key nào.

Phiên ví dụplaying

# Khởi động cổng

$ hotkv-gateway --upstream https://api.openai.com --semantic --embedding-model text-embedding-3-small

(gateway listening on 127.0.0.1:8080, cache in HotKV)

Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.

Vấn đề

Phần lớn lưu lượng LLM tự lặp lại. Cùng một system prompt và câu hỏi đến đi đến lại từ những người dùng khác nhau, các lần thử lại và các lần chạy kiểm thử, và mỗi lần đều bị tính phí. Thêm một cache bên trong từng dịch vụ, bằng từng ngôn ngữ bạn dùng, vừa chậm vừa dễ sai.

HotKV xử lý như thế nào

hotkv-gateway nằm giữa ứng dụng của bạn và API LLM. Hãy đổi base URL của SDK và các yêu cầu giống hệt nhau sẽ được phục vụ từ HotKV, phản hồi streaming được phát lại dưới dạng stream, các câu hỏi diễn đạt lại có thể được phục vụ theo ý nghĩa, và các yêu cầu giống hệt đang xử lý cùng lúc dùng chung một lần gọi upstream. Nếu HotKV chậm hoặc ngừng hoạt động, các yêu cầu đi thẳng tới nhà cung cấp.

Từng bước một

Điều gì xảy ra, từng lệnh một

01
Khởi động cổng
Một tệp nhị phân hoặc container đặt trước nhà cung cấp. API key của chính người gọi được chuyển tiếp, nên cổng không cần key nào.
hotkv-gateway --upstream https://api.openai.com --semantic --embedding-model text-embedding-3-small
02
Yêu cầu đầu tiên, trượt cache
Chưa có gì được cache. Yêu cầu đi upstream một lần, và phản hồi 200 hoàn chỉnh được lưu.
curl -si localhost:8080/v1/chat/completions -H "Authorization: Bearer $OPENAI_API_KEY" -H "Content-Type: application/json" -d @question.json | grep -i x-hotkv-cache
03
Cùng yêu cầu đó, trúng cache
Một yêu cầu giống hệt, kể cả khi các khóa nằm theo thứ tự khác, được trả lời từ HotKV và không bao giờ tới nhà cung cấp.
curl -si localhost:8080/v1/chat/completions -H "Authorization: Bearer $OPENAI_API_KEY" -H "Content-Type: application/json" -d @question.json | grep -i x-hotkv-cache
04
Một câu hỏi diễn đạt lại
Khi bật semantic cache, một câu hỏi một lượt được diễn đạt khác có thể được phục vụ bằng câu trả lời của một câu tương tự.
curl -si localhost:8080/v1/chat/completions -H "Authorization: Bearer $OPENAI_API_KEY" -H "Content-Type: application/json" -d @rephrased.json | grep -i x-hotkv-cache
05
Một loạt yêu cầu giống hệt
Ba yêu cầu giống hệt đến khi yêu cầu đầu vẫn đang xử lý. Chúng dùng chung một lần gọi upstream.
for i in 1 2 3; do curl -si localhost:8080/v1/chat/completions -H "Authorization: Bearer $OPENAI_API_KEY" -d @new.json & done

Phù hợp ở đâu

Các tình huống thực tế

Các lần chạy đánh giá và CI

Bộ kiểm thử và đánh giá prompt gửi cùng các yêu cầu ở mỗi lần chạy. Phía sau cổng, chỉ các prompt thay đổi mới tốn chi phí.

Nền tảng đa ngôn ngữ

Một backend Python, một worker Node.js và một dịch vụ Go đều có cùng một cache chỉ bằng cách đổi một base URL, không cần thư viện trong từng ngôn ngữ.

Mô hình tự lưu trữ

Đặt trước vLLM hoặc Ollama, cổng tiết kiệm thời gian GPU thay vì phí API, vì các prompt lặp lại không bao giờ tới máy chủ mô hình.

Tích hợp sẵn

Bạn nhận được gì

Cache chính xác và ngữ nghĩa

Các yêu cầu chat, completion và embedding giống hệt được cache, và các câu hỏi chat một lượt cũng có thể khớp theo ý nghĩa (--semantic).

Phát lại streaming

Phản hồi streaming được ghi lại và phát lại dưới dạng stream, nên client hoạt động y như trước.

An toàn theo mặc định

Mỗi API key có cache riêng. Lỗi và câu trả lời bị lọc không bao giờ được lưu, và các yêu cầu có thể bỏ qua cache bằng một header.

Không bao giờ cản đường

Nếu HotKV chậm hoặc không khả dụng, các yêu cầu đi thẳng tới nhà cung cấp. Cổng cũng báo cáo số liệu của mình tại /_hotkv/metrics.

Thay đổi duy nhất trong mã của bạn

python

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1")   # the only change

# For Anthropic: start the gateway with --upstream https://api.anthropic.com
import anthropic
client = anthropic.Anthropic(base_url="http://localhost:8080")

Tham chiếu:hotkv-gateway on GitHub PCACHE.STATS

Câu hỏi thường gặp

Cổng có cần giấy phép HotKV không?

Không. Nó hoạt động trên bất kỳ máy chủ HotKV nào. Với giấy phép bao gồm prompt cache, các mục nằm trong một namespace PCACHE và HotKV theo dõi số token tiết kiệm được. Semantic cache luôn cần giấy phép.

Hai khách hàng có thể thấy câu trả lời của nhau không?

Không. Khóa cache bao gồm thông tin xác thực của người gọi, nên mỗi API key có cache riêng, trừ khi bạn giữ một key upstream duy nhất trong cổng hoặc khởi động nó với --scope global.

Nó hoạt động với những nhà cung cấp nào?

OpenAI, Azure OpenAI, OpenRouter, vLLM, Ollama, LiteLLM và bất cứ thứ gì khác nói API OpenAI, cộng với Messages API của Anthropic với cache chính xác.