Структуроване вилучення
Рахунки й форми перетворюються на перевірений JSON. Повторна обробка того самого документа повертає перевірений результат без нового виклику моделі.
ШІ та LLMОперації LLMПлани Performance і Scale
Кешування запобіжників і модерації
Відтворюйте відповіді, що вже пройшли ваші валідатори, і відхиляйте повторних порушників без повторного виклику модерації чи моделі.
- кеші, добрий і поганий
- 2
- повторних перевірок на влучанні
- 0
- TTL для відмов
- Короткі
Крок 1 з 5
Згенеруйте та перевірте
Простори імен створено один раз через GUARD.CREATE і NCACHE.CREATE. Модель видає JSON, а ваш валідатор перевіряє його за схемою, перш ніж щось зберігається.
Приклад сесіїplaying
# Згенеруйте та перевірте
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK
Анімований покроковий розбір з реальними командами HotKV і прикладами відповідей. Натисніть будь-який крок, щоб перейти до нього. Команди та відповіді залишаються англійською, так само, як ви вводите й бачите їх у HotKV.
Проблема
Структурований вивід і перевірки безпеки повільні й коштують грошей. Є виклик моделі, перевірка схеми JSON і, можливо, друга модель для оцінки відповіді. Повторні запити платять за все знову. А той самий образливий промпт, надісланий скриптом тисячу разів, іде на модерацію тисячу разів.
Як це вирішує HotKV
Кеш запобіжників зберігає лише відповіді, що вже пройшли перевірку схеми чи запобіжників, тож про влучання відомо, що його безпечно відтворити як є. Негативний кеш запам'ятовує відмови, як-от «відхилено модерацією», з коротким TTL, тож повторні погані запити відсікаються до того, як дійдуть до сервісу модерації чи моделі.
Крок за кроком
Що відбувається, команда за командою
- 01
Згенеруйте та перевірте
Простори імен створено один раз через GUARD.CREATE і NCACHE.CREATE. Модель видає JSON, а ваш валідатор перевіряє його за схемою, перш ніж щось зберігається.
GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}" - 02
Відтворіть без повторної перевірки
Той самий запит знову. Збережена відповідь уже пройшла перевірку, тож повертається як є.
GUARD.GET validated "Summarize ticket 812 as JSON" - 03
Модерація відхиляє промпт
Шкідливий промпт відхилено. Відмова запам'ятовується на п'ять хвилин.
NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300 - 04
Скрипт пробує знову
Той самий промпт за мить відсікається з кешу. Модерацію й модель не викликано.
NCACHE.GET refused "prompt:9f31c2" - 05
Виміряйте обидва кеші
Кожен простір імен звітує влучання, промахи, витіснення та пам'ять.
GUARD.STATS validated
Де це доречно
Реальні сценарії
Споживчі чат-застосунки
Скрипти зловживань, що б'ють у той самий промпт, відхиляються з негативного кешу, і витрати на модерацію лишаються сталими.
Пошуки, що не вдалися
«User not found» та інші негативні відповіді ненадовго кешуються, тож повторні спроби не навантажують бекенд.
Вбудовано
Що ви отримуєте
Кеш запобіжників
Зберігаються лише відповіді, що пройшли ваші перевірки, тож влучання безпечно відтворювати.
GUARD.SETGUARD.GETНегативний кеш
Запам'ятовуйте відмови та результати «не знайдено» на короткий час.
NCACHE.SETNCACHE.GETTTL і ліміти
Типові TTL і ліміти записів для простору імен з витісненням, коли він заповнений.
GUARD.CREATENCACHE.CREATEСтатистика
Влучання, промахи, витіснення, пам'ять і заощадження для кожного простору імен.
GUARD.STATSNCACHE.STATSПоширені запитання
Чи сам HotKV перевіряє вивід?
Ні. Рішення ухвалює ваш валідатор чи запобіжник. HotKV зберігає лише те, що ви поклали в кеш запобіжників після проходження перевірки.
Як довго кешувати відмови?
Зазвичай недовго, хвилини, а не дні, щоб зміна політики чи хибне спрацювання не закріпилися. Задайте TTL для простору імен або запису.
Які плани це містять?
Кеш запобіжників і негативний кеш входять до планів Performance і Scale.
Пов'язані сценарії використання
Спробуйте на власному навантаженні
HotKV розмовляє протоколом Redis, тож ви можете направити на нього наявний клієнт і виконувати ті самі команди.