AI dan LLMAplikasi LLMPaket Performance dan Scale

Semantic Caching Respons

Cache jawaban LLM berdasarkan makna, bukan teks persis, sehingga pertanyaan parafrase mengenai cache dan melewati panggilan model.

pencarian sebelum setiap panggilan model
1
metrik kemiripan
3
penggantian ambang batas
Per panggilan
Langkah 1 dari 6
Buat namespace

Atur ukuran embedding dan kemiripan yang dihitung sebagai hit.

Sesi contohplaying
# Buat namespace
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK

Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.

Masalahnya

Asisten dukungan menerima pertanyaan yang sama dengan seratus rumusan berbeda. Cache pencocokan persis melewatkan hampir semuanya, sehingga setiap parafrase membayar satu panggilan model penuh dan menunggu respons penuh.

Cara HotKV menanganinya

Semantic cache menyimpan setiap jawaban di samping embedding pertanyaannya dan mencari pertanyaan baru berdasarkan kemiripan. Jika prompt baru cukup dekat dengan salah satu yang sudah Anda jawab, jawaban yang tersimpan kembali dan model tidak pernah dipanggil. Ambang batas menentukan seberapa dekat yang dianggap cukup dekat.

Langkah demi langkah

Apa yang terjadi, perintah demi perintah

  1. 01

    Buat namespace

    Atur ukuran embedding dan kemiripan yang dihitung sebagai hit.

    SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
  2. 02

    Sebuah miss, jadi panggil model sekali

    Saat pertama kali pertanyaan diajukan tidak ada yang serupa di cache, jadi model yang menjawabnya.

    SCACHE.GET support_bot 0.013 -0.21 0.88 ...
  3. 03

    Ingat jawabannya

    Simpan pertanyaan, jawaban, dan embedding pertanyaan itu, selama satu hari.

    SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400
  4. 04

    Sebuah parafrase mengenai cache

    "forgot my login pass" mendarat dekat dengan pertanyaan yang tersimpan. Jawaban dan kemiripannya kembali, dan model dilewati.

    SCACHE.GET support_bot 0.011 -0.19 0.87 ...
  5. 05

    Lebih ketat untuk satu pencarian

    Sebuah pencarian dapat meminta kecocokan yang lebih dekat daripada default namespace, untuk jawaban yang tidak cukup baik jika hampir cocok.

    SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99
  6. 06

    Ukur penghematannya

    Statistik per namespace menunjukkan seberapa sering cache menjawab menggantikan model.

    SCACHE.STATS support_bot
Di mana ini cocok

Skenario dunia nyata

Dukungan pelanggan

Pengaturan ulang kata sandi, salinan faktur, dan waktu pengiriman ditanyakan berulang kali. Setiap varian setelah yang pertama dilayani dari cache.

Bot pengetahuan internal

Karyawan bertanya tentang hari libur, biaya, dan akses VPN dengan kata-kata mereka sendiri. Satu jawaban melayani semuanya sampai kedaluwarsa.

Alat developer

"How do I paginate?" dan "how to page through results" mendapat jawaban terdokumentasi yang sama tanpa panggilan model kedua.

Bawaan

Yang Anda dapatkan

Cocokkan berdasarkan makna

Pertanyaan serupa berbagi satu jawaban di cache, bagaimanapun rumusannya.

SCACHE.GETSCACHE.SET

Anda mengendalikan ketatnya

Atur ambang batas per namespace dan gantikan pada satu pencarian.

SCACHE.THRESHOLD

Penghematan yang dapat diukur

Statistik per namespace menunjukkan hit, miss, dan entri.

SCACHE.STATS

Cosine, L2, atau inner product

Pilih metrik yang cocok dengan model embedding Anda saat membuat namespace.

SCACHE.CREATE
Referensi:SCACHE.CREATESCACHE.GETSCACHE.SET

Pertanyaan umum

Berapa biaya sebuah cache hit?

Satu panggilan embedding dan satu pencarian cache. Panggilan model dan waktu pembuatannya dilewati.

Bagaimana menghindari jawaban salah dari kecocokan yang longgar?

Naikkan ambang batas. Ambang batas yang lebih tinggi memerlukan kecocokan yang lebih dekat, sehingga lebih sedikit pertanyaan yang mengenai dan setiap hit lebih pasti.

Paket mana yang menyertakannya?

Semantic cache adalah bagian dari paket Performance dan Scale.

Kasus penggunaan terkait

Aplikasi LLM

Prompt Caching Persis

Jangan pernah membayar dua kali untuk prompt yang sama. Cache LLM pencocokan persis yang menghitung token dan dolar yang dihematnya untuk Anda.

Jelajahi
Aplikasi LLM

Gateway LLM dengan Caching

Arahkan SDK OpenAI atau Anthropic Anda ke satu URL dan permintaan yang berulang dijawab dari HotKV, bukan dibayar lagi. Tanpa perubahan kode.

Jelajahi
Aplikasi LLM

Asisten Dukungan Pelanggan AI

Bot dukungan yang menjawab pertanyaan berulang seketika, mencocokkan parafrase berdasarkan makna, mendasarkan jawaban baru pada pusat bantuan Anda, dan tidak pernah boros.

Jelajahi

Coba pada beban kerja Anda sendiri

HotKV berbicara protokol Redis, jadi Anda dapat mengarahkan klien yang sudah ada ke HotKV dan menjalankan perintah yang sama.

Dapatkan akses awalBerikutnya: Prompt Caching