ШІ та LLMLLM-застосункиПлани Performance і Scale

Асистент клієнтської підтримки на основі ШІ

Бот підтримки, який миттєво відповідає на повтори, зіставляє перефразування за змістом, підкріплює нові відповіді вашим центром допомоги та ніколи не перевитрачає.

рушіїв ШІ в одному сервері
5
виклик моделі на нове запитання
1
додаткових баз даних для запуску
0
Крок 1 з 6
Перевірте бюджет тенанта

Бюджет кожного тенанта задано один раз через LLMBUDGET.SET. Перед будь-якою роботою моделі стягніть його атомарно. Тенанта, що перевищив ліміт, відхиляють тут, до того як витрачено гроші.

Приклад сесіїplaying
# Перевірте бюджет тенанта
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002

Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.

Проблема

Справжній асистент підтримки це більше, ніж промпт. Йому потрібен кеш, щоб не платити за те саме запитання двічі, пошук по центру допомоги, пам'ять розмови та бюджет, щоб один клієнт не міг наробити рахунок. Зазвичай це чотири-п'ять сервісів і більше часу на склеювання, ніж на сам продукт.

Як це вирішує HotKV

HotKV виконує кожен із цих елементів як команди в одному сервері. Асистент перевіряє бюджет тенанта, відповідає на точні повтори з кешу промптів, а на перефразування із семантичного кешу, добирає уривки з центру допомоги для всього нового, зберігає розмову й кешує кожну нову відповідь для наступного клієнта, який запитає.

Крок за кроком

Що відбувається, команда за командою

  1. 01

    Перевірте бюджет тенанта

    Бюджет кожного тенанта задано один раз через LLMBUDGET.SET. Перед будь-якою роботою моделі стягніть його атомарно. Тенанта, що перевищив ліміт, відхиляють тут, до того як витрачено гроші.

    LLMBUDGET.CONSUME tenant:acme 900 0.002
  2. 02

    Точний повтор, відповідь одразу

    Те саме запитання, поставлене слово в слово, є влучанням у кеш промптів. Без ембедингу, без виклику моделі.

    PCACHE.GET support "How do I reset my password?"
  3. 03

    Перефразування, знайдене за змістом

    "I forgot my login password" сформульовано інакше. Його ембединг достатньо близький до запитання в семантичному кеші, створеному один раз через SCACHE.CREATE, тож повертається збережена відповідь.

    SCACHE.GET support 0.013 -0.21 0.88 ...
  4. 04

    Щось нове, тож добираємо контекст

    Запитання, якого ще ніхто не ставив. Гібридний пошук по завантаженому центру допомоги повертає уривки, потрібні моделі.

    RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66
  5. 05

    Один виклик моделі, із запам'ятовуванням

    Модель відповідає, маючи уривки як контекст. Репліку додано до розмови, відкритої через AMEM.CONV.CREATE на початку чату, тож наступне повідомлення має свою історію.

    AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."
  6. 06

    Закешуйте для наступного клієнта

    Нова відповідь потрапляє в семантичний кеш, тож кожне наступне перефразування цього запитання є влучанням.

    SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Де це доречно

Реальні сценарії

Служба підтримки SaaS

Тисячі клієнтів питають про паролі, рахунки та ліміти планів. Багато запитань є повторами чи перефразуваннями, і на них відповідають з кешу. До моделі доходять лише справді нові.

Бот повернень в електронній комерції

Політики повернення й доставки завантажують один раз як конвеєр RAG. Відповіді спираються на актуальний текст політики, а кожен магазин на платформі має власний бюджет.

Внутрішній IT-асистент

Співробітники щотижня ставлять ті самі питання про VPN і ноутбуки. Асистент зберігає кожну розмову, пригадує попередні репліки й зупиняє цикл, що вийшов з-під контролю, перш ніж він спалить місячний ліміт.

Вбудовано

Що ви отримуєте

Два шари кешування

Кеш точних промптів для повторів слово в слово та семантичний кеш для перефразувань, кожен зі своєю статистикою влучань.

PCACHE.GETSCACHE.GET

Обґрунтовані відповіді

Статті центру допомоги розбиваються на фрагменти та індексуються в конвеєрі RAG з гібридним векторним і ключовим пошуком.

RAG.INGESTRAG.SEARCH

Пам'ять розмови

Кожен чат зберігає ковзне вікно реплік для наступного промпту.

AMEM.CONV.APPENDAMEM.CONV.WINDOW

Бюджети для кожного клієнта

Ліміти токенів і доларів для кожного тенанта, що стягуються атомарно перед викликом моделі.

LLMBUDGET.CONSUME
Довідка:PCACHE.GETSCACHE.GETRAG.SEARCHLLMBUDGET.CONSUME

Поширені запитання

Чи потрібна мені ще й векторна база даних?

Ні. Семантичний кеш, конвеєр RAG і пам'ять агентів працюють усередині HotKV, поруч з рештою даних вашого застосунку.

Які моделі ембедингів і чату я можу використовувати?

Будь-які. HotKV зберігає й шукає надані вами вектори та сам ніколи не викликає модель, тож ви повністю контролюєте провайдерів.

Які плани містять ці команди?

Кеш промптів, семантичний кеш, конвеєри RAG, пам'ять агентів і бюджети LLM входять до планів Performance і Scale.

Пов'язані сценарії використання

LLM-застосунки

Семантичне кешування відповідей

Кешуйте відповіді LLM за змістом, а не за точним текстом, щоб перефразовані запитання потрапляли в кеш і пропускали виклик моделі.

Огляд
Пошук

Асистенти знань на RAG

Відповідайте на запитання по власних документах із розбиттям на фрагменти, фільтрами метаданих, гібридним векторним і ключовим пошуком та кешованими оцінками ранжування, в одному рушії.

Огляд
Операції LLM

Управління витратами на LLM

Застосовуйте бюджет токенів і витрат для кожного користувача чи тенанта, бачте реальні витрати для кожного бакета й створюйте ембединг однакового тексту лише раз.

Огляд

Спробуйте на власному навантаженні

HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.

Отримати ранній доступДалі: Шлюз LLM