Help desk SaaS
Ribuan pelanggan bertanya tentang kata sandi, faktur, dan batas paket. Banyak pertanyaan berulang atau berupa parafrase dan dijawab dari cache. Hanya yang benar-benar baru yang sampai ke model.
AI dan LLMAplikasi LLMPaket Performance dan Scale
Asisten Dukungan Pelanggan AI
Bot dukungan yang menjawab pertanyaan berulang seketika, mencocokkan parafrase berdasarkan makna, mendasarkan jawaban baru pada pusat bantuan Anda, dan tidak pernah boros.
- mesin AI dalam satu server
- 5
- panggilan model per pertanyaan baru
- 1
- database tambahan untuk dijalankan
- 0
Langkah 1 dari 6
Periksa anggaran tenant
Anggaran setiap tenant diatur sekali dengan LLMBUDGET.SET. Sebelum pekerjaan model apa pun, bebankan secara atomik. Tenant yang melebihi batasnya ditolak di sini, sebelum uang terpakai.
Sesi contohplaying
# Periksa anggaran tenant
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Panduan beranimasi dengan perintah HotKV yang sebenarnya dan balasan contoh. Klik langkah mana pun untuk melompat ke sana. Perintah dan balasan tetap dalam bahasa Inggris, persis seperti yang Anda ketik dan lihat di HotKV.
Masalahnya
Asisten dukungan yang sebenarnya lebih dari sekadar prompt. Ia memerlukan cache agar pertanyaan yang sama tidak dibayar dua kali, pengambilan data dari pusat bantuan, memori percakapan, dan anggaran agar satu pelanggan tidak membengkakkan tagihan. Itu biasanya berarti empat atau lima layanan, dan lebih banyak waktu untuk perekat daripada untuk produk.
Cara HotKV menanganinya
HotKV menjalankan setiap bagian itu sebagai perintah dalam satu server. Asisten memeriksa anggaran tenant, menjawab pertanyaan yang persis berulang dari prompt cache dan parafrase dari semantic cache, mengambil bagian pusat bantuan untuk hal yang baru, menyimpan percakapan, dan meng-cache setiap jawaban baru untuk pelanggan berikutnya yang bertanya.
Langkah demi langkah
Apa yang terjadi, perintah demi perintah
- 01
Periksa anggaran tenant
Anggaran setiap tenant diatur sekali dengan LLMBUDGET.SET. Sebelum pekerjaan model apa pun, bebankan secara atomik. Tenant yang melebihi batasnya ditolak di sini, sebelum uang terpakai.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Pengulangan persis, dijawab seketika
Pertanyaan yang sama persis kata demi kata adalah prompt cache hit. Tanpa embedding, tanpa panggilan model.
PCACHE.GET support "How do I reset my password?" - 03
Sebuah parafrase, dicocokkan berdasarkan makna
"I forgot my login password" dirumuskan dengan cara berbeda. Embedding-nya cukup dekat dengan pertanyaan di semantic cache, yang dibuat sekali dengan SCACHE.CREATE, sehingga jawaban yang tersimpan kembali.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Sesuatu yang baru, jadi ambil konteks
Pertanyaan yang belum pernah diajukan siapa pun. Pencarian hibrida atas pusat bantuan yang sudah diserap mengembalikan bagian yang dibutuhkan model.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Satu panggilan model, diingat
Model menjawab dengan bagian-bagian itu sebagai konteks. Giliran tersebut ditambahkan ke percakapan, yang dibuka dengan AMEM.CONV.CREATE saat chat dimulai, sehingga pesan berikutnya memiliki riwayatnya.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Cache untuk pelanggan berikutnya
Jawaban baru masuk ke semantic cache, sehingga setiap parafrase pertanyaan ini sesudahnya menjadi hit.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Di mana ini cocok
Skenario dunia nyata
Bot pengembalian e-commerce
Kebijakan pengembalian dan pengiriman diserap sekali sebagai pipeline RAG. Jawaban didasarkan pada teks kebijakan terkini dan setiap toko di platform memiliki anggarannya sendiri.
Asisten IT internal
Karyawan menanyakan pertanyaan VPN dan laptop yang sama setiap minggu. Asisten menyimpan setiap percakapan, mengingat giliran sebelumnya, dan menghentikan loop yang lepas kendali sebelum menghabiskan jatah bulanan.
Bawaan
Yang Anda dapatkan
Dua lapisan caching
Prompt cache persis untuk pengulangan kata demi kata dan semantic cache untuk parafrase, masing-masing dengan statistik hit sendiri.
PCACHE.GETSCACHE.GETJawaban yang berdasar
Artikel pusat bantuan dipecah menjadi chunk dan diindeks dalam pipeline RAG dengan pencarian hibrida vektor dan kata kunci.
RAG.INGESTRAG.SEARCHMemori percakapan
Setiap chat menyimpan jendela giliran bergulir untuk prompt berikutnya.
AMEM.CONV.APPENDAMEM.CONV.WINDOWAnggaran per pelanggan
Batas token dan dolar per tenant, dibebankan secara atomik sebelum model dipanggil.
LLMBUDGET.CONSUMEPertanyaan umum
Apakah saya juga memerlukan vector database?
Tidak. Semantic cache, pipeline RAG, dan memori agen semuanya berjalan di dalam HotKV, di samping data aplikasi Anda yang lain.
Model embedding dan chat mana yang bisa saya pakai?
Apa pun. HotKV menyimpan dan mencari vektor yang Anda berikan dan tidak pernah memanggil model itu sendiri, jadi Anda tetap memegang kendali penuh atas penyedia.
Paket mana yang menyertakan perintah ini?
Prompt cache, semantic cache, pipeline RAG, memori agen, dan anggaran LLM adalah bagian dari paket Performance dan Scale.
Kasus penggunaan terkait
Coba pada beban kerja Anda sendiri
HotKV berbicara protokol Redis, jadi Anda dapat mengarahkan klien yang sudah ada ke HotKV dan menjalankan perintah yang sama.