ИИ и LLMЭксплуатация LLMТарифы Performance и Scale

Кеширование защитных проверок и модерации

Повторяйте ответы, уже прошедшие ваши валидаторы, и отклоняйте повторных нарушителей, не вызывая модерацию или модель снова.

кеша, хороший и плохой
2
повторных проверок при попадании
0
TTL для отказов
Короткие
Шаг 1 из 5
Генерируем и проверяем

Пространства имён один раз создаются командами GUARD.CREATE и NCACHE.CREATE. Модель выдаёт JSON, а ваш валидатор проверяет его по схеме, прежде чем что-либо сохранится.

Пример сеансаplaying
# Генерируем и проверяем
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Анимированная демонстрация с настоящими командами HotKV и примерами ответов. Нажмите на любой шаг, чтобы перейти к нему. Команды и ответы остаются на английском, ровно так, как вы вводите и видите их в HotKV.

Проблема

Структурированный вывод и проверки безопасности медленны и стоят денег. Есть вызов модели, проверка по схеме JSON и, возможно, вторая модель, оценивающая ответ. Повторные запросы оплачивают всё это снова. А один и тот же оскорбительный промпт, отправленный скриптом тысячу раз, тысячу раз отправляется на модерацию.

Как с этим справляется HotKV

Кеш защитных проверок хранит только ответы, уже прошедшие вашу проверку по схеме или защитные правила, поэтому попадание заведомо безопасно воспроизвести как есть. Негативный кеш запоминает отказы вроде «отклонено модерацией» с коротким TTL, поэтому повторные плохие запросы отсекаются до того, как дойдут до сервиса модерации или модели.

Шаг за шагом

Что происходит, команда за командой

  1. 01

    Генерируем и проверяем

    Пространства имён один раз создаются командами GUARD.CREATE и NCACHE.CREATE. Модель выдаёт JSON, а ваш валидатор проверяет его по схеме, прежде чем что-либо сохранится.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Повторяем без повторной проверки

    Тот же запрос снова. Сохранённый ответ уже прошёл проверку, поэтому возвращается как есть.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    Модерация отклоняет промпт

    Вредный промпт отклоняется. Отказ запоминается на пять минут.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Скрипт пробует снова

    Тот же промпт чуть позже отсекается из кеша. Модерация и модель не вызываются.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Измеряем оба кеша

    Каждое пространство имён сообщает попадания, промахи, вытеснения и память.

    GUARD.STATS validated
Где это уместно

Реальные сценарии

Структурированное извлечение

Счета и формы превращаются в проверенный JSON. Повторная обработка того же документа возвращает проверенный результат без ещё одного вызова модели.

Потребительские чат-приложения

Скрипты злоупотреблений, бьющие в один и тот же промпт, отклоняются из негативного кеша, и затраты на модерацию остаются неизменными.

Поиски без результата

«User not found» и другие отрицательные ответы кратко кешируются, поэтому повторы не нагружают бэкенд.

Встроено

Что вы получаете

Кеш защитных проверок

Хранятся только ответы, прошедшие ваши проверки, поэтому попадание безопасно воспроизводить.

GUARD.SETGUARD.GET

Негативный кеш

Запоминайте отказы и результаты «не найдено» на короткое время.

NCACHE.SETNCACHE.GET

TTL и лимиты

TTL по умолчанию и лимиты записей для каждого пространства имён, с вытеснением при заполнении.

GUARD.CREATENCACHE.CREATE

Статистика

Попадания, промахи, вытеснения, память и экономия по каждому пространству имён.

GUARD.STATSNCACHE.STATS
Справочник:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Частые вопросы

Проверяет ли HotKV вывод сам?

Нет. Решает ваш валидатор или защитное правило. HotKV хранит только то, что вы положили в кеш защитных проверок после прохождения проверки.

Как долго кешировать отказы?

Обычно недолго, минуты, а не дни, чтобы изменение политики или ложное срабатывание не закрепилось. Задавайте TTL для пространства имён или для записи.

Какие тарифы это включают?

Кеш защитных проверок и негативный кеш входят в тарифы Performance и Scale.

Связанные сценарии

Приложения на LLM

Кеширование промптов с точным совпадением

Никогда не платите дважды за один и тот же промпт. Кеш LLM с точным совпадением, который считает сэкономленные вам токены и доллары.

Подробнее
Эксплуатация LLM

Управление затратами на LLM

Задайте бюджет токенов и расходов на пользователя или арендатора, смотрите реальные расходы по корзинам и создавайте эмбеддинг одинакового текста только один раз.

Подробнее
Приложения на LLM

ИИ-ассистент службы поддержки

Бот поддержки, который мгновенно отвечает на повторы, находит перефразированные вопросы по смыслу, строит новые ответы на вашем справочном центре и никогда не превышает бюджет.

Подробнее

Попробуйте на своей нагрузке

HotKV понимает протокол Redis, поэтому вы можете подключить к нему существующий клиент и выполнить те же команды.

Получить ранний доступДалее: Feature store