AI và LLMỨng dụng LLMCác gói Performance và Scale

Prompt caching khớp chính xác

Không bao giờ trả tiền hai lần cho cùng một prompt. Một cache LLM khớp chính xác đếm số token và đô la nó đã tiết kiệm cho bạn.

khớp, không có lần trúng sai: Chính xác
độ trễ tra cứu trong STATS: p50
khoản tiết kiệm được theo dõi theo từng namespace: $

Bước 1 trên 4

Tạo một namespace

Đặt cho nó một TTL để câu trả lời được làm mới, và mức một lần trúng tiết kiệm được trung bình.

Phiên ví dụplaying

# Tạo một namespace

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

Một hướng dẫn minh họa động với các lệnh HotKV thật và phản hồi ví dụ. Nhấn vào bất kỳ bước nào để nhảy tới đó. Lệnh và phản hồi giữ nguyên bằng tiếng Anh, đúng như bạn gõ và thấy trong HotKV.

Vấn đề

Các tác vụ hàng loạt, lần thử lại, báo cáo theo lịch và các câu hỏi phổ biến gửi cùng một prompt tới mô hình hết lần này đến lần khác. Mỗi lần đều bị tính phí đầy đủ, và không ai nói được một cache sẽ tiết kiệm bao nhiêu vì không có gì đo nó.

HotKV xử lý như thế nào

Prompt cache lưu phản hồi cho từng prompt chính xác, cùng với mô hình và số token của lần gọi đã tạo ra nó. Mỗi lần trúng sau đó đều được đếm, nên HotKV có thể báo cáo số yêu cầu, token và đô la bạn đã không phải chi.

Từng bước một

Điều gì xảy ra, từng lệnh một

01
Tạo một namespace
Đặt cho nó một TTL để câu trả lời được làm mới, và mức một lần trúng tiết kiệm được trung bình.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
Trượt cache, rồi lưu kèm mức sử dụng
Lần gọi đầu đi tới mô hình. Câu trả lời được lưu cùng mô hình và số token đã tạo ra nó.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
Mỗi lần lặp lại đều miễn phí
Tác vụ ban đêm và mỗi lượt xem dashboard đều hỏi cùng một thứ. Tất cả đều là lần trúng.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
Xem bạn đã tiết kiệm được gì
Thống kê bao gồm tỷ lệ trúng, độ trễ tra cứu và mức sử dụng bạn đã không phải trả.
PCACHE.STATS reports

Phù hợp ở đâu

Các tình huống thực tế

Báo cáo theo lịch

Các bản tóm tắt giống nhau được tạo cho mọi người xem một dashboard. Một lần gọi mô hình cho mỗi báo cáo mỗi ngày thay vì một lần cho mỗi lượt xem.

Dịch thuật và bản địa hóa

Chuỗi giao diện và mô tả sản phẩm được dịch một lần cho mỗi ngôn ngữ và được phục vụ từ cache ở mọi yêu cầu sau đó.

Pipeline phân loại

Phiếu hỗ trợ, đánh giá và email có văn bản giống hệt nhau nhận cùng một nhãn mà không cần thêm lần gọi mô hình.

Tích hợp sẵn

Bạn nhận được gì

Khớp chính xác

Chỉ trúng với prompt giống hệt, nên một câu trả lời đã cache không bao giờ được phục vụ cho một câu hỏi khác.

PCACHE.GETPCACHE.SET

Nhận biết mức sử dụng

Lưu mô hình và số token cùng mỗi câu trả lời để khoản tiết kiệm được tính từ mức sử dụng thực.

MODELINPUTOUTPUT

Metadata và số lần trúng

PCACHE.GETEX trả về câu trả lời cùng metadata của nó và số lần nó đã được phục vụ.

PCACHE.GETEX

Tỷ lệ trúng và độ trễ

PCACHE.STATS báo cáo số lần trúng, trượt, loại bỏ, bộ nhớ, độ trễ tra cứu và khoản tiết kiệm.

PCACHE.STATS

Tham chiếu:PCACHE.CREATE PCACHE.SET PCACHE.STATS

Câu hỏi thường gặp

Khi nào nên dùng prompt cache thay vì semantic cache?

Dùng prompt cache khi prompt lặp lại chính xác, như tác vụ hàng loạt và mẫu cố định. Dùng semantic cache khi mọi người diễn đạt cùng một câu hỏi theo cách khác nhau. Nhiều ứng dụng kiểm tra cả hai.

Đây có giống prompt caching của nhà cung cấp không?

Không. Prompt caching của nhà cung cấp giảm giá các tiền tố lặp lại ở phía họ. Một lần trúng HotKV không bao giờ tới nhà cung cấp, nên hai thứ cộng dồn.

Gói nào bao gồm nó?

Prompt cache là một phần của các gói Performance và Scale.