Підтримка клієнтів
Скидання паролів, копії рахунків і терміни доставки запитують знову і знову. Кожен варіант після першого обслуговується з кешу.
ШІ та LLMLLM-застосункиПлани Performance і Scale
Семантичне кешування відповідей
Кешуйте відповіді LLM за змістом, а не за точним текстом, щоб перефразовані запитання потрапляли в кеш і пропускали виклик моделі.
- пошук перед кожним викликом моделі
- 1
- метрики подібності
- 3
- перевизначення порога
- На виклик
Крок 1 з 6
Створіть простір імен
Задайте розмір ембедингу й подібність, яка вважається влучанням.
Приклад сесіїplaying
# Створіть простір імен
hotkv> SCACHE.CREATE support_bot 1536 THRESHOLD 0.92
OK
Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.
Проблема
Асистент підтримки отримує те саме запитання, сформульоване сотнею різних способів. Кеш точного збігу не влучає майже в усі, тож кожне перефразування оплачує повний виклик моделі й чекає повної відповіді.
Як це вирішує HotKV
Семантичний кеш зберігає кожну відповідь поруч із ембедингом її запитання й шукає нові запитання за подібністю. Якщо новий промпт достатньо близький до того, на який ви вже відповідали, повертається збережена відповідь, а модель не викликається. Поріг визначає, наскільки близько вважається достатньо близьким.
Крок за кроком
Що відбувається, команда за командою
- 01
Створіть простір імен
Задайте розмір ембедингу й подібність, яка вважається влучанням.
SCACHE.CREATE support_bot 1536 THRESHOLD 0.92 - 02
Промах, тож викликаємо модель один раз
Коли запитання ставлять уперше, у кеші немає нічого схожого, тож відповідає модель.
SCACHE.GET support_bot 0.013 -0.21 0.88 ... - 03
Запам'ятайте відповідь
Збережіть запитання, відповідь і ембединг запитання на одну добу.
SCACHE.SET support_bot "How do I reset my password?" "Open Settings > Security." 0.013 -0.21 0.88 ... TTL 86400 - 04
Перефразування влучає
"forgot my login pass" лягає близько до збереженого запитання. Відповідь і її подібність повертаються, а модель пропускається.
SCACHE.GET support_bot 0.011 -0.19 0.87 ... - 05
Суворіше для одного пошуку
Пошук може вимагати ближчого збігу, ніж типовий для простору імен, для відповідей, де майже збіг не годиться.
SCACHE.GET support_bot 0.2 0.4 0.1 ... THRESHOLD 0.99 - 06
Виміряйте заощадження
Статистика для кожного простору імен показує, як часто відповідав кеш замість моделі.
SCACHE.STATS support_bot
Де це доречно
Реальні сценарії
Внутрішні боти знань
Співробітники питають про відпустки, витрати та доступ до VPN своїми словами. Одна відповідь обслуговує всі, доки не спливе.
Інструменти для розробників
"How do I paginate?" і "how to page through results" отримують ту саму задокументовану відповідь без другого виклику моделі.
Вбудовано
Що ви отримуєте
Зіставлення за змістом
Схожі запитання ділять одну кешовану відповідь, як би їх не було сформульовано.
SCACHE.GETSCACHE.SETВи контролюєте суворість
Задайте поріг для простору імен і перевизначте його для одного пошуку.
SCACHE.THRESHOLDЗаощадження, які можна виміряти
Статистика для кожного простору імен показує влучання, промахи й записи.
SCACHE.STATSКосинус, L2 або внутрішній добуток
Виберіть метрику, що відповідає вашій моделі ембедингів, під час створення простору імен.
SCACHE.CREATEПоширені запитання
Скільки коштує влучання в кеш?
Один виклик ембедингу та пошук у кеші. Виклик моделі та час її генерації пропускаються.
Як уникнути неправильних відповідей через вільний збіг?
Підвищте поріг. Вищий поріг потребує ближчого збігу, тож влучає менше запитань, а кожне влучання певніше.
Які плани це містять?
Семантичний кеш входить до планів Performance і Scale.
Пов'язані сценарії використання
Спробуйте на власному навантаженні
HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.