Müşteri desteği
Parola sıfırlama, fatura kopyaları ve gönderim süreleri tekrar tekrar sorulur. İlkinden sonraki her varyant önbellekten sunulur.
Yapay zeka ve LLMLLM uygulamalarıPerformance ve Scale planları
Anlamsal Yanıt Önbellekleme
LLM yanıtlarını birebir metne göre değil, anlamına göre önbelleğe alın; böylece başka sözcüklerle sorulan sorular önbelleğe isabet eder ve model çağrısını atlar.
- her model çağrısından önce arama
- 1
- benzerlik metriği
- 3
- eşik geçersiz kılma
- Çağrı başına
Adım 1 / 6
Bir ad alanı oluşturun
Embedding boyutunu ve isabet sayılan benzerliği ayarlayın.
Örnek oturumplaying
# Bir ad alanı oluşturun
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Gerçek HotKV komutları ve örnek yanıtlarla animasyonlu bir anlatım. Herhangi bir adıma atlamak için üzerine tıklayın. Komutlar ve yanıtlar, HotKV'de yazdığınız ve gördüğünüz haliyle İngilizce kalır.
Sorun
Bir destek asistanı aynı soruyu yüz farklı biçimde ifade edilmiş olarak alır. Birebir eşleşmeli bir önbellek bunların neredeyse hepsini ıskalar; bu yüzden her yeniden ifade tam bir model çağrısı için öder ve tam yanıtı bekler.
HotKV bunu nasıl ele alır
Anlamsal önbellek her yanıtı sorusunun embedding'inin yanında saklar ve yeni soruları benzerliğe göre arar. Yeni bir prompt, yanıtladığınız birine yeterince yakınsa saklanan yanıt geri gelir ve model hiç çağrılmaz. Eşik, ne kadar yakının yeterince yakın olduğunu belirler.
Adım adım
Ne olur, komut komut
- 01
Bir ad alanı oluşturun
Embedding boyutunu ve isabet sayılan benzerliği ayarlayın.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Bir ıskalama, o halde modeli bir kez çağırın
Bir soru ilk kez sorulduğunda önbellekte benzer bir şey yoktur; bu yüzden onu model yanıtlar.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Yanıtı hatırlayın
Soruyu, yanıtı ve sorunun embedding'ini bir gün boyunca saklayın.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Bir yeniden ifade isabet eder
"giriş parolamı unuttum" saklanan soruya yakın düşer. Yanıt ve benzerliği geri gelir, model atlanır.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Tek bir arama için daha katı
Bir arama, ad alanı varsayılanından daha yakın bir eşleşme isteyebilir; ramak kala ıskalamanın yeterli olmadığı yanıtlar için.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Tasarrufu ölçün
Ad alanı başına istatistikler, önbelleğin modelin yerine ne sıklıkla yanıt verdiğini gösterir.
SCACHE.STATS support_bot
Nereye uyar
Gerçek dünya senaryoları
Şirket içi bilgi botları
Çalışanlar tatil, masraf ve VPN erişimini kendi sözcükleriyle sorar. Tek bir yanıt, süresi dolana kadar hepsine hizmet eder.
Geliştirici araçları
"Sayfalamayı nasıl yaparım?" ve "sonuçlarda nasıl sayfa sayfa gezilir" ikinci bir model çağrısı olmadan aynı belgelenmiş yanıtı alır.
Yerleşik
Neler elde edersiniz
Anlamla eşleşme
Benzer sorular, nasıl ifade edilirse edilsin tek bir önbellek yanıtını paylaşır.
SCACHE.GETSCACHE.SETKatılık sizin denetiminizde
Eşiği ad alanı başına ayarlayın ve tek bir aramada geçersiz kılın.
SCACHE.THRESHOLDÖlçülebilir tasarruf
Ad alanı başına istatistikler isabetleri, ıskalamaları ve girdileri gösterir.
SCACHE.STATSKosinüs, L2 veya iç çarpım
Ad alanını oluştururken embedding modelinize uyan metriği seçin.
SCACHE.CREATESık sorulan sorular
Bir önbellek isabeti neye mal olur?
Bir embedding çağrısı ve bir önbellek araması. Model çağrısı ve üretim süresi atlanır.
Gevşek bir eşleşmeden doğan yanlış yanıtlardan nasıl kaçınırım?
Eşiği yükseltin. Daha yüksek bir eşik daha yakın bir eşleşme gerektirir; böylece daha az soru isabet eder ve her isabet daha kesin olur.
Hangi planlara dahil?
Anlamsal önbellek Performance ve Scale planlarının parçasıdır.
İlgili kullanım senaryoları
Kendi iş yükünüzde deneyin
HotKV, Redis protokolünü konuşur; bu yüzden mevcut bir istemciyi ona yönlendirip aynı komutları çalıştırabilirsiniz.