AI a LLMAplikace s LLMPlány Performance a Scale

AI asistent zákaznické podpory

Bot podpory, který opakované otázky zodpoví okamžitě, přeformulované najde podle významu, nové odpovědi opře o vaše centrum nápovědy a nikdy nepřekročí rozpočet.

AI jader v jednom serveru
5
volání modelu na novou otázku
1
dalších databází k provozu
0
Krok 1 z 6
Kontrola rozpočtu tenanta

Rozpočet každého tenanta byl jednou nastaven pomocí LLMBUDGET.SET. Před jakoukoli prací modelu ho atomicky strhněte. Tenant nad svým limitem je odmítnut tady, dřív než se utratí peníze.

Ukázková relaceplaying
# Kontrola rozpočtu tenanta
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002

Animovaný průvodce se skutečnými příkazy HotKV a ukázkovými odpověďmi. Kliknutím na kterýkoli krok na něj přeskočíte. Příkazy a odpovědi zůstávají anglicky, přesně tak, jak je v HotKV zadáváte a vidíte.

Problém

Skutečný asistent podpory je víc než prompt. Potřebuje cache, aby se za stejnou otázku neplatilo dvakrát, vyhledávání v centru nápovědy, paměť konverzace a rozpočet, aby jeden zákazník nemohl natočit účet. To obvykle znamená čtyři nebo pět služeb a víc času stráveného lepením než produktem.

Jak to řeší HotKV

HotKV spouští každý z těchto dílů jako příkazy v jednom serveru. Asistent zkontroluje rozpočet tenanta, přesné opakování zodpoví z cache promptů a přeformulování ze sémantické cache, pro cokoli nového vyhledá pasáže z centra nápovědy, uchová konverzaci a každou novou odpověď uloží do cache pro dalšího zákazníka, který se zeptá.

Krok za krokem

Co se děje, příkaz po příkazu

  1. 01

    Kontrola rozpočtu tenanta

    Rozpočet každého tenanta byl jednou nastaven pomocí LLMBUDGET.SET. Před jakoukoli prací modelu ho atomicky strhněte. Tenant nad svým limitem je odmítnut tady, dřív než se utratí peníze.

    LLMBUDGET.CONSUME tenant:acme 900 0.002
  2. 02

    Přesné opakování, odpověď hned

    Stejná otázka položená slovo od slova je zásah cache promptů. Žádný embedding, žádné volání modelu.

    PCACHE.GET support "How do I reset my password?"
  3. 03

    Přeformulování, nalezené podle významu

    „Zapomněl jsem heslo k přihlášení“ je formulované jinak. Jeho embedding je dost blízko otázce v sémantické cache, vytvořené jednou pomocí SCACHE.CREATE, takže se vrátí uložená odpověď.

    SCACHE.GET support 0.013 -0.21 0.88 ...
  4. 04

    Něco nového, takže načteme kontext

    Otázka, kterou ještě nikdo nepoložil. Hybridní vyhledávání nad nahraným centrem nápovědy vrátí pasáže, které model potřebuje.

    RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66
  5. 05

    Jedno volání modelu, zapamatované

    Model odpoví s pasážemi jako kontextem. Replika se připojí ke konverzaci, otevřené pomocí AMEM.CONV.CREATE na začátku chatu, takže další zpráva má svou historii.

    AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."
  6. 06

    Uložit do cache pro dalšího zákazníka

    Nová odpověď se uloží do sémantické cache, takže každé další přeformulování této otázky je zásah.

    SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Kam to zapadá

Scénáře z praxe

Helpdesk SaaS

Tisíce zákazníků se ptají na hesla, faktury a limity plánů. Mnoho otázek jsou opakování nebo přeformulování a obslouží se z cache. K modelu se dostanou jen skutečně nové.

Bot pro vrácení zboží v e-shopu

Pravidla vrácení a doručení se jednou nahrají jako RAG pipeline. Odpovědi vycházejí z aktuálního znění pravidel a každý obchod na platformě má svůj vlastní rozpočet.

Interní IT asistent

Zaměstnanci se každý týden ptají na stejné věci kolem VPN a notebooků. Asistent uchovává každou konverzaci, vybavuje si dřívější repliky a zastaví splašenou smyčku dřív, než spálí měsíční limit.

Zabudováno

Co dostanete

Dvě vrstvy cachování

Cache promptů s přesnou shodou pro opakování slovo od slova a sémantická cache pro přeformulování, každá s vlastními statistikami zásahů.

PCACHE.GETSCACHE.GET

Podložené odpovědi

Články centra nápovědy se dělí na chunky a indexují v RAG pipeline s hybridním vektorovým a klíčovým vyhledáváním.

RAG.INGESTRAG.SEARCH

Paměť konverzace

Každý chat si uchovává posuvné okno replik pro další prompt.

AMEM.CONV.APPENDAMEM.CONV.WINDOW

Rozpočty pro zákazníky

Limity tokenů a dolarů pro každého tenanta, strhávané atomicky dřív, než se zavolá model.

LLMBUDGET.CONSUME
Reference:PCACHE.GETSCACHE.GETRAG.SEARCHLLMBUDGET.CONSUME

Časté otázky

Potřebuji ještě vektorovou databázi?

Ne. Sémantická cache, RAG pipeline i paměť agentů běží uvnitř HotKV, vedle ostatních dat vaší aplikace.

Jaké modely pro embeddingy a chat mohu použít?

Libovolné. HotKV ukládá a prohledává vektory, které mu dáte, a samo žádný model nevolá, takže máte plnou kontrolu nad poskytovateli.

Které plány tyto příkazy zahrnují?

Cache promptů, sémantická cache, RAG pipeline, paměť agentů a rozpočty LLM jsou součástí plánů Performance a Scale.

Související případy použití

Aplikace s LLM

Sémantické cachování odpovědí

Cachujte odpovědi LLM podle významu, ne podle přesného textu, aby přeformulované otázky zasáhly cache a přeskočily volání modelu.

Prozkoumat
Vyhledávání

Znalostní asistenti s RAG

Odpovídejte na otázky nad vlastními dokumenty s dělením na chunky, filtry podle metadat, hybridním vektorovým a klíčovým vyhledáváním a cachovaným skóre přeřazení, vše v jednom jádru.

Prozkoumat
Provoz LLM

Řízení nákladů na LLM

Vynucujte rozpočet tokenů a výdajů pro každého uživatele nebo tenanta, sledujte skutečné výdaje pro každý bucket a embedding identického textu vytvářejte jen jednou.

Prozkoumat

Vyzkoušejte to na své zátěži

HotKV mluví protokolem Redisu, takže na něj můžete nasměrovat stávajícího klienta a spustit tytéž příkazy.

Získat předběžný přístupDalší: Gateway pro LLM