Help desk SaaS
Tysiące klientów pyta o hasła, faktury i limity planów. Wiele pytań to powtórzenia lub parafrazy i dostaje odpowiedź z cache. Do modelu trafiają tylko naprawdę nowe.
AI i LLMAplikacje LLMplany Performance i Scale
Asystent AI obsługi klienta
Bot obsługi klienta, który natychmiast odpowiada na powtórzenia, dopasowuje parafrazy według znaczenia, opiera nowe odpowiedzi na Twoim centrum pomocy i nigdy nie przekracza budżetu.
- silników AI w jednym serwerze
- 5
- wywołanie modelu na nowe pytanie
- 1
- dodatkowych baz danych do uruchomienia
- 0
Krok 1 z 6
Sprawdź budżet tenanta
Budżet każdego tenanta ustawiono raz poleceniem LLMBUDGET.SET. Przed jakąkolwiek pracą modelu naliczaj go atomowo. Tenant powyżej limitu zostaje tu odrzucony, zanim zostaną wydane pieniądze.
Przykładowa sesjaplaying
# Sprawdź budżet tenanta
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Animowany przegląd z prawdziwymi poleceniami HotKV i przykładowymi odpowiedziami. Kliknij dowolny krok, aby do niego przejść. Polecenia i odpowiedzi pozostają po angielsku, dokładnie tak, jak je wpisujesz i widzisz w HotKV.
Problem
Prawdziwy asystent obsługi to coś więcej niż prompt. Potrzebuje cache, aby nie płacić dwa razy za to samo pytanie, wyszukiwania w centrum pomocy, pamięci rozmowy i budżetu, aby jeden klient nie mógł wygenerować wysokiego rachunku. Zwykle oznacza to cztery lub pięć usług i więcej czasu na klej niż na produkt.
Jak radzi sobie z tym HotKV
HotKV uruchamia każdy z tych elementów jako polecenia w jednym serwerze. Asystent sprawdza budżet tenanta, odpowiada na dokładne powtórzenia z cache promptów, a na parafrazy z cache semantycznego, pobiera fragmenty centrum pomocy dla wszystkiego, co nowe, zachowuje rozmowę i buforuje każdą nową odpowiedź dla kolejnego klienta, który zapyta.
Krok po kroku
Co się dzieje, polecenie po poleceniu
- 01
Sprawdź budżet tenanta
Budżet każdego tenanta ustawiono raz poleceniem LLMBUDGET.SET. Przed jakąkolwiek pracą modelu naliczaj go atomowo. Tenant powyżej limitu zostaje tu odrzucony, zanim zostaną wydane pieniądze.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Dokładne powtórzenie, odpowiedź od razu
To samo pytanie zadane słowo w słowo to trafienie w cache promptów. Bez embeddingu, bez wywołania modelu.
PCACHE.GET support "How do I reset my password?" - 03
Parafraza dopasowana według znaczenia
„Zapomniałem hasła do logowania” jest sformułowane inaczej. Jego embedding jest wystarczająco blisko pytania w cache semantycznym, utworzonym raz poleceniem SCACHE.CREATE, więc wraca zapisana odpowiedź.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Coś nowego, więc pobierz kontekst
Pytanie, którego nikt jeszcze nie zadał. Wyszukiwanie hybrydowe w wczytanym centrum pomocy zwraca fragmenty potrzebne modelowi.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Jedno wywołanie modelu, zapamiętane
Model odpowiada, mając fragmenty jako kontekst. Tura jest dopisywana do rozmowy, otwartej poleceniem AMEM.CONV.CREATE na początku czatu, więc następna wiadomość ma swoją historię.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Zapisz w cache dla kolejnego klienta
Nowa odpowiedź trafia do cache semantycznego, więc każda późniejsza parafraza tego pytania jest trafieniem.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Gdzie się sprawdza
Scenariusze z życia
Bot zwrotów w e-commerce
Zasady zwrotów i dostaw są wczytywane raz jako potok RAG. Odpowiedzi opierają się na aktualnym tekście zasad, a każdy sklep na platformie ma własny budżet.
Wewnętrzny asystent IT
Pracownicy co tydzień zadają te same pytania o VPN i laptopy. Asystent zachowuje każdą rozmowę, przywołuje wcześniejsze tury i zatrzymuje zapętlenie, zanim spali miesięczny limit.
Wbudowane
Co dostajesz
Dwie warstwy cache
Dokładny cache promptów dla powtórzeń słowo w słowo i cache semantyczny dla parafraz, każdy z własnymi statystykami trafień.
PCACHE.GETSCACHE.GETOdpowiedzi oparte na źródłach
Artykuły centrum pomocy są dzielone na fragmenty i indeksowane w potoku RAG z hybrydowym wyszukiwaniem wektorowym i po słowach kluczowych.
RAG.INGESTRAG.SEARCHPamięć rozmowy
Każdy czat zachowuje przesuwne okno tur na potrzeby następnego promptu.
AMEM.CONV.APPENDAMEM.CONV.WINDOWBudżety na klienta
Limity tokenów i dolarów na tenanta, naliczane atomowo przed wywołaniem modelu.
LLMBUDGET.CONSUMECzęste pytania
Czy potrzebuję też bazy wektorowej?
Nie. Cache semantyczny, potok RAG i pamięć agentów działają wewnątrz HotKV, obok reszty danych Twojej aplikacji.
Jakich modeli embeddingów i czatu mogę używać?
Dowolnych. HotKV przechowuje i przeszukuje wektory, które mu dasz, i sam nigdy nie wywołuje modelu, więc zachowujesz pełną kontrolę nad dostawcami.
Które plany zawierają te polecenia?
Cache promptów, cache semantyczny, potoki RAG, pamięć agentów i budżety LLM są częścią planów Performance i Scale.
Powiązane przypadki użycia
Wypróbuj na własnym obciążeniu
HotKV mówi protokołem Redis, więc możesz skierować na niego istniejącego klienta i uruchomić te same polecenia.