ИИ и LLMПриложения на LLMТарифы Performance и Scale

ИИ-ассистент службы поддержки

Бот поддержки, который мгновенно отвечает на повторы, находит перефразированные вопросы по смыслу, строит новые ответы на вашем справочном центре и никогда не превышает бюджет.

ИИ-движков на одном сервере
5
вызов модели на новый вопрос
1
дополнительных баз данных для запуска
0
Шаг 1 из 6
Проверка бюджета арендатора

Бюджет каждого арендатора один раз задаётся командой LLMBUDGET.SET. Перед любой работой с моделью атомарно спишите с него. Арендатору, превысившему лимит, здесь отказывают, прежде чем будут потрачены деньги.

Пример сеансаplaying
# Проверка бюджета арендатора
hotkv> LLMBUDGET.CONSUME tenant:acme 900 0.002

Анимированная демонстрация с настоящими командами HotKV и примерами ответов. Нажмите на любой шаг, чтобы перейти к нему. Команды и ответы остаются на английском, ровно так, как вы вводите и видите их в HotKV.

Проблема

Настоящий ассистент поддержки - это больше, чем промпт. Ему нужен кеш, чтобы не платить дважды за один и тот же вопрос, поиск по справочному центру, память диалога и бюджет, чтобы один клиент не мог раздуть счёт. Обычно это четыре или пять сервисов и больше времени на связующий код, чем на сам продукт.

Как с этим справляется HotKV

HotKV выполняет каждую из этих частей как команды на одном сервере. Ассистент проверяет бюджет арендатора, отвечает на точные повторы из кеша промптов, а на перефразированные вопросы - из семантического кеша, достаёт фрагменты справочного центра для всего нового, хранит диалог и кеширует каждый новый ответ для следующего клиента, который спросит о том же.

Шаг за шагом

Что происходит, команда за командой

  1. 01

    Проверка бюджета арендатора

    Бюджет каждого арендатора один раз задаётся командой LLMBUDGET.SET. Перед любой работой с моделью атомарно спишите с него. Арендатору, превысившему лимит, здесь отказывают, прежде чем будут потрачены деньги.

    LLMBUDGET.CONSUME tenant:acme 900 0.002
  2. 02

    Точный повтор, ответ сразу

    Тот же вопрос, заданный слово в слово, - это попадание в кеш промптов. Ни эмбеддинга, ни вызова модели.

    PCACHE.GET support "How do I reset my password?"
  3. 03

    Перефразированный вопрос, найденный по смыслу

    «I forgot my login password» сформулирован иначе. Его эмбеддинг достаточно близок к вопросу в семантическом кеше, созданном один раз командой SCACHE.CREATE, поэтому возвращается сохранённый ответ.

    SCACHE.GET support 0.013 -0.21 0.88 ...
  4. 04

    Что-то новое, поэтому достаём контекст

    Вопрос, который ещё никто не задавал. Гибридный поиск по загруженному справочному центру возвращает фрагменты, нужные модели.

    RAG.SEARCH helpdesk "refund for an annual plan" K 3 VECTOR 0.41,0.07,0.66
  5. 05

    Один вызов модели, запомненный

    Модель отвечает, получив фрагменты как контекст. Реплика добавляется в диалог, открытый командой AMEM.CONV.CREATE при старте чата, поэтому у следующего сообщения есть своя история.

    AMEM.CONV.APPEND chat:7781 assistant "Annual plans can be refunded within 30 days."
  6. 06

    Кешируем для следующего клиента

    Новый ответ попадает в семантический кеш, поэтому каждый последующий перефразированный вариант этого вопроса становится попаданием.

    SCACHE.SET support "Can I get a refund on the yearly plan?" "Annual plans can be refunded within 30 days." 0.41 0.07 ...
Где это уместно

Реальные сценарии

Справочная служба SaaS

Тысячи клиентов спрашивают о паролях, счетах и лимитах тарифов. Многие вопросы - повторы или перефразирования, и на них отвечают из кеша. До модели доходят только по-настоящему новые.

Бот возвратов для электронной коммерции

Правила возврата и доставки загружаются один раз как конвейер RAG. Ответы опираются на актуальный текст правил, и у каждого магазина на платформе свой бюджет.

Внутренний ИТ-ассистент

Сотрудники каждую неделю задают одни и те же вопросы о VPN и ноутбуках. Ассистент хранит каждый диалог, вспоминает прошлые реплики и останавливает бесконечный цикл, пока он не сжёг месячный лимит.

Встроено

Что вы получаете

Два уровня кеширования

Кеш промптов с точным совпадением для повторов слово в слово и семантический кеш для перефразированных вопросов, у каждого своя статистика попаданий.

PCACHE.GETSCACHE.GET

Обоснованные ответы

Статьи справочного центра разбиваются на фрагменты и индексируются в конвейере RAG с гибридным векторным и ключевым поиском.

RAG.INGESTRAG.SEARCH

Память диалога

Каждый чат хранит скользящее окно реплик для следующего промпта.

AMEM.CONV.APPENDAMEM.CONV.WINDOW

Бюджеты на клиента

Лимиты токенов и долларов на каждого арендатора, списываемые атомарно до вызова модели.

LLMBUDGET.CONSUME
Справочник:PCACHE.GETSCACHE.GETRAG.SEARCHLLMBUDGET.CONSUME

Частые вопросы

Нужна ли ещё и векторная база данных?

Нет. Семантический кеш, конвейер RAG и память агентов работают внутри HotKV, рядом с остальными данными вашего приложения.

Какие модели эмбеддингов и чата можно использовать?

Любые. HotKV хранит и ищет векторы, которые вы ему передаёте, и сам никогда не вызывает модель, поэтому выбор провайдеров полностью за вами.

Какие тарифы включают эти команды?

Кеш промптов, семантический кеш, конвейеры RAG, память агентов и бюджеты LLM входят в тарифы Performance и Scale.

Связанные сценарии

Приложения на LLM

Семантическое кеширование ответов

Кешируйте ответы LLM по смыслу, а не по точному тексту, чтобы перефразированные вопросы попадали в кеш и пропускали вызов модели.

Подробнее
Поиск

Ассистенты знаний на RAG

Отвечайте на вопросы по собственным документам: разбиение на фрагменты, фильтры по метаданным, гибридный векторный и ключевой поиск и кешированные оценки переранжирования в одном движке.

Подробнее
Эксплуатация LLM

Управление затратами на LLM

Задайте бюджет токенов и расходов на пользователя или арендатора, смотрите реальные расходы по корзинам и создавайте эмбеддинг одинакового текста только один раз.

Подробнее

Попробуйте на своей нагрузке

HotKV понимает протокол Redis, поэтому вы можете подключить к нему существующий клиент и выполнить те же команды.

Получить ранний доступДалее: Шлюз LLM