AI dan LLMAplikasi LLMPaket Performance dan Scale

Prompt Caching Persis

Jangan pernah membayar dua kali untuk prompt yang sama. Cache LLM pencocokan persis yang menghitung token dan dolar yang dihematnya untuk Anda.

pencocokan, tanpa hit palsu: Persis
latensi pencarian di STATS: p50
penghematan dilacak per namespace: $

Langkah 1 dari 4

Buat namespace

Beri TTL agar jawaban diperbarui, dan berapa rata-rata yang dihemat sebuah hit.

Sesi contohplaying

# Buat namespace

hotkv> PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012

Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.

Masalahnya

Pekerjaan batch, percobaan ulang, laporan terjadwal, dan pertanyaan populer mengirim prompt yang sama ke model berulang kali. Masing-masing ditagih penuh, dan tidak ada yang bisa mengatakan berapa yang akan dihemat cache karena tidak ada yang mengukurnya.

Cara HotKV menanganinya

Prompt cache menyimpan respons untuk setiap prompt yang persis sama, bersama model dan jumlah token dari panggilan yang menghasilkannya. Setiap hit berikutnya dihitung, sehingga HotKV dapat melaporkan permintaan, token, dan dolar yang tidak Anda keluarkan.

Langkah demi langkah

Apa yang terjadi, perintah demi perintah

01
Buat namespace
Beri TTL agar jawaban diperbarui, dan berapa rata-rata yang dihemat sebuah hit.
PCACHE.CREATE reports TTL 86400 COST_PER_HIT 0.012
02
Miss, lalu simpan dengan penggunaan
Panggilan pertama menuju model. Jawabannya disimpan dengan model dan jumlah token yang menghasilkannya.
PCACHE.SET reports "Summarize Q3 sales for EMEA" "EMEA grew 14% ..." MODEL claude-sonnet-5 INPUT 820 OUTPUT 140
03
Setiap pengulangan gratis
Pekerjaan malam dan setiap tampilan dasbor menanyakan hal yang sama. Semuanya adalah hit.
PCACHE.GETEX reports "Summarize Q3 sales for EMEA"
04
Lihat berapa yang Anda hemat
Statistik mencakup hit rate, latensi pencarian, dan penggunaan yang tidak Anda bayar.
PCACHE.STATS reports

Di mana ini cocok

Skenario dunia nyata

Pelaporan terjadwal

Ringkasan yang sama dibuat untuk setiap penampil dasbor. Satu panggilan model per laporan per hari, bukan satu per tampilan.

Terjemahan dan lokalisasi

String UI dan deskripsi produk diterjemahkan sekali per bahasa dan dilayani dari cache pada setiap permintaan sesudahnya.

Pipeline klasifikasi

Tiket, ulasan, dan email dengan teks identik mendapat label yang sama tanpa panggilan model lagi.

Bawaan

Yang Anda dapatkan

Pencocokan persis

Hit hanya untuk prompt yang identik, sehingga jawaban di cache tidak pernah disajikan untuk pertanyaan yang berbeda.

PCACHE.GETPCACHE.SET

Sadar penggunaan

Simpan model dan jumlah token bersama setiap jawaban sehingga penghematan dihitung dari penggunaan nyata.

MODELINPUTOUTPUT

Metadata dan jumlah hit

PCACHE.GETEX mengembalikan jawaban beserta metadatanya dan seberapa sering ia telah disajikan.

PCACHE.GETEX

Hit rate dan latensi

PCACHE.STATS melaporkan hit, miss, eviksi, memori, latensi pencarian, dan penghematan.

PCACHE.STATS

Referensi:PCACHE.CREATE PCACHE.SET PCACHE.STATS

Pertanyaan umum

Kapan saya sebaiknya memakai prompt cache dan bukan semantic cache?

Pakai prompt cache ketika prompt berulang persis, seperti pekerjaan batch dan template tetap. Pakai semantic cache ketika orang merumuskan pertanyaan yang sama dengan cara berbeda. Banyak aplikasi memeriksa keduanya.

Apakah ini sama dengan prompt caching dari penyedia?

Tidak. Prompt caching dari penyedia memberi diskon pada prefiks yang berulang di sisi mereka. Sebuah hit HotKV tidak pernah sampai ke penyedia sama sekali, jadi keduanya saling menambah.

Paket mana yang menyertakannya?

Prompt cache adalah bagian dari paket Performance dan Scale.