Yapay zeka ve LLMLLM uygulamalarıPerformance ve Scale planları

Yapay Zeka Müşteri Destek Asistanı

Tekrarları anında yanıtlayan, yeniden ifadeleri anlamıyla eşleştiren, yeni yanıtları yardım merkezinize dayandıran ve asla fazla harcamayan bir destek botu.

tek sunucuda yapay zeka motoru
5
yeni soru başına model çağrısı
1
çalıştırılacak ek veritabanı
0
Adım 1 / 6
Kiracının bütçesini denetleyin

Her kiracının bütçesi LLMBUDGET.SET ile bir kez ayarlandı. Herhangi bir model işinden önce, atomik olarak tahsil edin. Sınırını aşan bir kiracı, para harcanmadan burada reddedilir.

Örnek oturumplaying
# Kiracının bütçesini denetleyin
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002

Gerçek HotKV komutları ve örnek yanıtlarla animasyonlu bir anlatım. Herhangi bir adıma atlamak için üzerine tıklayın. Komutlar ve yanıtlar, HotKV'de yazdığınız ve gördüğünüz haliyle İngilizce kalır.

Sorun

Gerçek bir destek asistanı bir prompt'tan fazlasıdır. Aynı sorunun iki kez ödenmemesi için bir önbelleğe, yardım merkezinde getirmeye, konuşmanın belleğine ve tek bir müşterinin faturayı şişirememesi için bir bütçeye ihtiyaç duyar. Bu genellikle dört beş servis ve üründen çok yapıştırma koduna harcanan zaman demektir.

HotKV bunu nasıl ele alır

HotKV bu parçaların her birini tek bir sunucuda komut olarak çalıştırır. Asistan kiracının bütçesini denetler, birebir tekrarları prompt önbelleğinden, yeniden ifadeleri anlamsal önbellekten yanıtlar, yeni olan her şey için yardım merkezi pasajlarını getirir, konuşmayı saklar ve her yeni yanıtı soran bir sonraki müşteri için önbelleğe alır.

Adım adım

Ne olur, komut komut

  1. 01

    Kiracının bütçesini denetleyin

    Her kiracının bütçesi LLMBUDGET.SET ile bir kez ayarlandı. Herhangi bir model işinden önce, atomik olarak tahsil edin. Sınırını aşan bir kiracı, para harcanmadan burada reddedilir.

    LLMBUDGET.CONSUME tenant:acme 900 0.002
  2. 02

    Birebir tekrar, hemen yanıtlanır

    Aynı sorunun kelimesi kelimesine sorulması bir prompt önbelleği isabetidir. Embedding yok, model çağrısı yok.

    PCACHE.GET support "How do I reset my password?"
  3. 03

    Bir yeniden ifade, anlamıyla eşleşir

    "Giriş parolamı unuttum" farklı sözcüklerle ifade edilmiştir. Embedding'i, SCACHE.CREATE ile bir kez oluşturulan anlamsal önbellekteki bir soruya yeterince yakındır; böylece saklanan yanıt geri gelir.

    SCACHE.GET support 0.013 -0.21 0.88 ...
  4. 04

    Yeni bir şey, o halde bağlam getirin

    Henüz kimsenin sormadığı bir soru. Alınmış yardım merkezi üzerinde hibrit arama, modelin ihtiyaç duyduğu pasajları döndürür.

    RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66
  5. 05

    Bir model çağrısı, hatırlanır

    Model, pasajları bağlam olarak kullanarak yanıtlar. Tur, sohbet başladığında AMEM.CONV.CREATE ile açılan konuşmaya eklenir; böylece bir sonraki mesajın geçmişi olur.

    AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."
  6. 06

    Bir sonraki müşteri için önbelleğe alın

    Yeni yanıt anlamsal önbelleğe girer; böylece bu sorunun sonraki her yeniden ifadesi bir isabettir.

    SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Nereye uyar

Gerçek dünya senaryoları

SaaS yardım masası

Binlerce müşteri parolaları, faturaları ve plan sınırlarını sorar. Soruların çoğu tekrar veya yeniden ifadedir ve önbellekten yanıtlanır. Yalnızca gerçekten yeni olanlar modele ulaşır.

E-ticaret iade botu

İade ve teslimat politikaları bir RAG işlem hattı olarak bir kez alınır. Yanıtlar güncel politika metnine dayanır ve platformdaki her mağazanın kendi bütçesi vardır.

Şirket içi BT asistanı

Çalışanlar her hafta aynı VPN ve dizüstü bilgisayar sorularını sorar. Asistan her konuşmayı saklar, önceki turları hatırlar ve başıboş bir döngüyü aylık hak tükenmeden durdurur.

Yerleşik

Neler elde edersiniz

İki önbellekleme katmanı

Kelimesi kelimesine tekrarlar için birebir prompt önbelleği ve yeniden ifadeler için anlamsal önbellek; her birinin kendi isabet istatistikleri var.

PCACHE.GETSCACHE.GET

Temellendirilmiş yanıtlar

Yardım merkezi makaleleri, hibrit vektör ve anahtar sözcük aramalı bir RAG işlem hattında parçalanır ve dizinlenir.

RAG.INGESTRAG.SEARCH

Konuşma belleği

Her sohbet, bir sonraki prompt için kayan bir tur penceresi tutar.

AMEM.CONV.APPENDAMEM.CONV.WINDOW

Müşteri başına bütçeler

Kiracı başına token ve dolar sınırları; model çağrılmadan önce atomik olarak tahsil edilir.

LLMBUDGET.CONSUME
Başvuru:PCACHE.GETSCACHE.GETRAG.SEARCHLLMBUDGET.CONSUME

Sık sorulan sorular

Ayrıca bir vektör veritabanına ihtiyacım var mı?

Hayır. Anlamsal önbellek, RAG işlem hattı ve ajan belleğinin hepsi HotKV'nin içinde, uygulama verilerinizin geri kalanının yanında çalışır.

Hangi embedding ve sohbet modellerini kullanabilirim?

Herhangi birini. HotKV kendisine verdiğiniz vektörleri saklar ve arar, hiçbir zaman kendisi bir model çağırmaz; böylece sağlayıcılar üzerinde tam denetim sizde kalır.

Bu komutlar hangi planlara dahil?

Prompt önbelleği, anlamsal önbellek, RAG işlem hatları, ajan belleği ve LLM bütçeleri Performance ve Scale planlarının parçasıdır.

İlgili kullanım senaryoları

LLM uygulamaları

Anlamsal Yanıt Önbellekleme

LLM yanıtlarını birebir metne göre değil, anlamına göre önbelleğe alın; böylece başka sözcüklerle sorulan sorular önbelleğe isabet eder ve model çağrısını atlar.

Keşfedin
Getirme

RAG Bilgi Asistanları

Kendi belgeleriniz üzerinde soruları yanıtlayın: parçalama, meta veri filtreleri, hibrit vektör ve anahtar sözcük araması ve önbelleğe alınmış yeniden sıralama skorları, tek bir motorda.

Keşfedin
LLM operasyonları

LLM Maliyet Yönetişimi

Kullanıcı veya kiracı başına bir token ve harcama bütçesi uygulayın, kova başına gerçek harcamayı görün ve aynı metni yalnızca bir kez embed edin.

Keşfedin

Kendi iş yükünüzde deneyin

HotKV, Redis protokolünü konuşur; bu yüzden mevcut bir istemciyi ona yönlendirip aynı komutları çalıştırabilirsiniz.

Erken erişim alınSıradaki: LLM Ağ Geçidi