Zákaznická podpora
Obnovení hesla, kopie faktur a doby doručení se ptají znovu a znovu. Každá varianta po první se obslouží z cache.
AI a LLMAplikace s LLMPlány Performance a Scale
Sémantické cachování odpovědí
Cachujte odpovědi LLM podle významu, ne podle přesného textu, aby přeformulované otázky zasáhly cache a přeskočily volání modelu.
- vyhledání před každým voláním modelu
- 1
- metriky podobnosti
- 3
- přepsání prahu
- Na volání
Krok 1 z 6
Vytvoření jmenného prostoru
Nastavte velikost embeddingu a podobnost, která se počítá jako zásah.
Ukázková relaceplaying
# Vytvoření jmenného prostoru
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Animovaný průvodce se skutečnými příkazy HotKV a ukázkovými odpověďmi. Kliknutím na kterýkoli krok na něj přeskočíte. Příkazy a odpovědi zůstávají anglicky, přesně tak, jak je v HotKV zadáváte a vidíte.
Problém
Asistent podpory dostává stejnou otázku formulovanou stovkou různých způsobů. Cache s přesnou shodou téměř všechny mine, takže každé přeformulování platí za plné volání modelu a čeká na celou odpověď.
Jak to řeší HotKV
Sémantická cache ukládá každou odpověď vedle embeddingu její otázky a nové otázky vyhledává podle podobnosti. Pokud je nový prompt dost blízko některému, na který jste už odpověděli, vrátí se uložená odpověď a model se nikdy nevolá. Práh určuje, jak blízko je dost blízko.
Krok za krokem
Co se děje, příkaz po příkazu
- 01
Vytvoření jmenného prostoru
Nastavte velikost embeddingu a podobnost, která se počítá jako zásah.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Minutí, takže jednou zavoláme model
Při prvním položení otázky není v cache nic podobného, takže odpoví model.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Zapamatování odpovědi
Uložte otázku, odpověď a embedding otázky, na jeden den.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Přeformulování zasáhne
„zapomněl jsem heslo k přihlášení“ skončí blízko uložené otázky. Vrátí se odpověď s její podobností a model se přeskočí.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Přísněji pro jedno vyhledání
Vyhledání může požadovat bližší shodu, než je výchozí hodnota jmenného prostoru, u odpovědí, kde téměř shoda nestačí.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Změřte úspory
Statistiky pro každý jmenný prostor ukazují, jak často odpověděla cache místo modelu.
SCACHE.STATS support_bot
Kam to zapadá
Scénáře z praxe
Interní znalostní boti
Zaměstnanci se ptají na dovolenou, výdaje a přístup k VPN vlastními slovy. Jedna odpověď obslouží všechny, dokud nevyprší.
Nástroje pro vývojáře
„Jak stránkovat?“ a „jak procházet výsledky po stránkách“ dostanou stejnou zdokumentovanou odpověď bez druhého volání modelu.
Zabudováno
Co dostanete
Shoda podle významu
Podobné otázky sdílejí jednu odpověď v cache, ať jsou formulované jakkoli.
SCACHE.GETSCACHE.SETPřísnost řídíte vy
Nastavte práh pro jmenný prostor a přepište ho u jednoho vyhledání.
SCACHE.THRESHOLDÚspory, které lze změřit
Statistiky pro každý jmenný prostor ukazují zásahy, minutí a položky.
SCACHE.STATSKosinová, L2 nebo vnitřní součin
Při vytváření jmenného prostoru zvolte metriku, která odpovídá vašemu modelu pro embeddingy.
SCACHE.CREATEČasté otázky
Kolik stojí zásah cache?
Jedno volání embeddingu a vyhledání v cache. Volání modelu a čas jeho generování se přeskočí.
Jak se vyhnout špatným odpovědím z volné shody?
Zvyšte práh. Vyšší práh vyžaduje bližší shodu, takže zasáhne méně otázek a každý zásah je jistější.
Které plány ji zahrnují?
Sémantická cache je součástí plánů Performance a Scale.
Související případy použití
Vyzkoušejte to na své zátěži
HotKV mluví protokolem Redisu, takže na něj můžete nasměrovat stávajícího klienta a spustit tytéž příkazy.