SaaS-Helpdesk
Tausende Kunden fragen nach Passwörtern, Rechnungen und Tariflimits. Viele Fragen sind Wiederholungen oder Umformulierungen und werden aus dem Cache beantwortet. Nur wirklich neue erreichen das Modell.
KI und LLMLLM-AnwendungenPerformance- und Scale-Tarife
KI-Assistent für den Kundensupport
Ein Support-Bot, der Wiederholungen sofort beantwortet, Umformulierungen über ihre Bedeutung erkennt, neue Antworten auf Ihr Hilfecenter stützt und nie zu viel ausgibt.
- KI-Engines in einem Server
- 5
- Modellaufruf pro neuer Frage
- 1
- zusätzliche Datenbanken im Betrieb
- 0
Schritt 1 von 6
Budget des Mandanten prüfen
Das Budget jedes Mandanten wurde einmal mit LLMBUDGET.SET festgelegt. Vor jeder Modellarbeit wird es atomar belastet. Ein Mandant über seinem Limit wird hier abgewiesen, bevor Geld ausgegeben wird.
Beispielsitzungplaying
# Budget des Mandanten prüfen
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002
Ein animierter Durchlauf mit echten HotKV-Befehlen und Beispielantworten. Klicken Sie auf einen Schritt, um direkt dorthin zu springen. Befehle und Antworten bleiben auf Englisch, genau so, wie Sie sie in HotKV eingeben und sehen.
Das Problem
Ein echter Support-Assistent ist mehr als ein Prompt. Er braucht einen Cache, damit dieselbe Frage nicht zweimal bezahlt wird, Retrieval über das Hilfecenter, ein Gedächtnis für das Gespräch und ein Budget, damit ein einzelner Kunde die Rechnung nicht in die Höhe treiben kann. Das bedeutet meist vier oder fünf Dienste und mehr Zeit für Glue-Code als für das Produkt.
So löst HotKV es
HotKV führt jeden dieser Bausteine als Befehle in einem Server aus. Der Assistent prüft das Budget des Mandanten, beantwortet exakte Wiederholungen aus dem Prompt-Cache und Umformulierungen aus dem semantischen Cache, ruft für alles Neue Passagen aus dem Hilfecenter ab, behält das Gespräch und cacht jede neue Antwort für den nächsten Kunden, der fragt.
Schritt für Schritt
Was passiert, Befehl für Befehl
- 01
Budget des Mandanten prüfen
Das Budget jedes Mandanten wurde einmal mit LLMBUDGET.SET festgelegt. Vor jeder Modellarbeit wird es atomar belastet. Ein Mandant über seinem Limit wird hier abgewiesen, bevor Geld ausgegeben wird.
LLMBUDGET.CONSUME tenant:acme 900 0.002 - 02
Exakte Wiederholung, sofort beantwortet
Dieselbe Frage, Wort für Wort gestellt, ist ein Treffer im Prompt-Cache. Kein Embedding, kein Modellaufruf.
PCACHE.GET support "How do I reset my password?" - 03
Eine Umformulierung, über die Bedeutung erkannt
"I forgot my login password" ist anders formuliert. Sein Embedding liegt nah genug an einer Frage im semantischen Cache, der einmal mit SCACHE.CREATE angelegt wurde, daher kommt die gespeicherte Antwort zurück.
SCACHE.GET support 0.013 -0.21 0.88 ... - 04
Etwas Neues, also Kontext abrufen
Eine Frage, die noch niemand gestellt hat. Die Hybridsuche über das eingespielte Hilfecenter liefert die Passagen, die das Modell braucht.
RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66 - 05
Ein Modellaufruf, der in Erinnerung bleibt
Das Modell antwortet mit den Passagen als Kontext. Der Gesprächsschritt wird an die Konversation angehängt, die zu Beginn des Chats mit AMEM.CONV.CREATE eröffnet wurde, sodass die nächste Nachricht ihren Verlauf hat.
AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days." - 06
Für den nächsten Kunden cachen
Die neue Antwort landet im semantischen Cache, sodass jede spätere Umformulierung dieser Frage ein Treffer ist.
SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Wo es passt
Szenarien aus der Praxis
Retouren-Bot im E-Commerce
Rückgabe- und Lieferrichtlinien werden einmal als RAG-Pipeline eingespielt. Antworten stützen sich auf den aktuellen Richtlinientext, und jeder Shop auf der Plattform hat sein eigenes Budget.
Interner IT-Assistent
Mitarbeitende stellen jede Woche dieselben Fragen zu VPN und Laptop. Der Assistent behält jedes Gespräch, erinnert sich an frühere Schritte und stoppt eine außer Kontrolle geratene Schleife, bevor sie das Monatskontingent verbrennt.
Integriert
Was Sie bekommen
Zwei Caching-Ebenen
Ein exakter Prompt-Cache für wortgleiche Wiederholungen und ein semantischer Cache für Umformulierungen, jeweils mit eigener Trefferstatistik.
PCACHE.GETSCACHE.GETFundierte Antworten
Hilfecenter-Artikel werden in einer RAG-Pipeline in Chunks zerlegt und indexiert, mit hybrider Vektor- und Stichwortsuche.
RAG.INGESTRAG.SEARCHGesprächsgedächtnis
Jeder Chat behält ein gleitendes Fenster an Gesprächsschritten für den nächsten Prompt.
AMEM.CONV.APPENDAMEM.CONV.WINDOWBudgets pro Kunde
Token- und Dollarlimits pro Mandant, atomar belastet, bevor das Modell aufgerufen wird.
LLMBUDGET.CONSUMEHäufige Fragen
Brauche ich zusätzlich eine Vektordatenbank?
Nein. Der semantische Cache, die RAG-Pipeline und das Agentengedächtnis laufen alle in HotKV, direkt neben den übrigen Daten Ihrer Anwendung.
Welche Embedding- und Chatmodelle kann ich verwenden?
Jedes. HotKV speichert und durchsucht die Vektoren, die Sie ihm geben, und ruft selbst nie ein Modell auf. So behalten Sie die volle Kontrolle über Ihre Anbieter.
Welche Tarife enthalten diese Befehle?
Prompt-Cache, semantischer Cache, RAG-Pipelines, Agentengedächtnis und LLM-Budgets sind Teil der Tarife Performance und Scale.
Verwandte Anwendungsfälle
Probieren Sie es mit Ihrer eigenen Workload
HotKV spricht das Redis-Protokoll, sodass Sie einen bestehenden Client darauf richten und genau diese Befehle ausführen können.