AI i LLMOperacje LLMplany Performance i Scale

Cache zabezpieczeń i moderacji

Odtwarzaj odpowiedzi, które przeszły już Twoje walidatory, i odrzucaj wielokrotnych naruszycieli bez ponownego wywoływania moderacji lub modelu.

cache, dobry i zły
2
ponownych walidacji przy trafieniu
0
TTL dla odmów
Krótkie
Krok 1 z 5
Wygeneruj i zwaliduj

Przestrzenie nazw utworzono raz poleceniami GUARD.CREATE i NCACHE.CREATE. Model tworzy JSON, a Twój walidator sprawdza go względem schematu, zanim cokolwiek zostanie zapisane.

Przykładowa sesjaplaying
# Wygeneruj i zwaliduj
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

Animowany przegląd z prawdziwymi poleceniami HotKV i przykładowymi odpowiedziami. Kliknij dowolny krok, aby do niego przejść. Polecenia i odpowiedzi pozostają po angielsku, dokładnie tak, jak je wpisujesz i widzisz w HotKV.

Problem

Ustrukturyzowane wyniki i kontrole bezpieczeństwa są wolne i kosztują. Jest wywołanie modelu, walidacja schematu JSON i może drugi model oceniający odpowiedź. Powtórzone żądania płacą za to wszystko ponownie. A ten sam obraźliwy prompt, wysłany tysiąc razy przez skrypt, tysiąc razy trafia do moderacji.

Jak radzi sobie z tym HotKV

Cache zabezpieczeń przechowuje tylko odpowiedzi, które przeszły już walidację schematu lub kontrole zabezpieczeń, więc o trafieniu wiadomo, że można je odtworzyć bez zmian. Cache negatywny zapamiętuje odmowy, takie jak „odrzucone przez moderację”, z krótkim TTL, więc powtarzane złe żądania są odsyłane, zanim dotrą do usługi moderacji lub modelu.

Krok po kroku

Co się dzieje, polecenie po poleceniu

  1. 01

    Wygeneruj i zwaliduj

    Przestrzenie nazw utworzono raz poleceniami GUARD.CREATE i NCACHE.CREATE. Model tworzy JSON, a Twój walidator sprawdza go względem schematu, zanim cokolwiek zostanie zapisane.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Odtwórz bez ponownego sprawdzania

    To samo żądanie ponownie. Zapisana odpowiedź przeszła już walidację, więc jest zwracana bez zmian.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    Moderacja odrzuca prompt

    Szkodliwy prompt zostaje odrzucony. Odmowa jest pamiętana przez pięć minut.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Skrypt próbuje ponownie

    Ten sam prompt chwilę później jest odsyłany z cache. Moderacja i model nie są wywoływane.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Zmierz oba cache

    Każda przestrzeń nazw raportuje trafienia, pudła, wywłaszczenia i pamięć.

    GUARD.STATS validated
Gdzie się sprawdza

Scenariusze z życia

Ekstrakcja ustrukturyzowana

Faktury i formularze są zamieniane w zwalidowany JSON. Ponowne przetworzenie tego samego dokumentu zwraca zwalidowany wynik bez kolejnego wywołania modelu.

Konsumenckie aplikacje czatu

Skrypty nadużyć, które bombardują ten sam prompt, są odrzucane z cache negatywnego, co utrzymuje koszty moderacji na stałym poziomie.

Wyszukiwania, które zawodzą

„Nie znaleziono użytkownika” i inne negatywne odpowiedzi są buforowane na krótko, więc ponowienia nie trafiają do backendu.

Wbudowane

Co dostajesz

Cache zabezpieczeń

Przechowywane są tylko odpowiedzi, które przeszły Twoje kontrole, więc trafienie można bezpiecznie odtworzyć.

GUARD.SETGUARD.GET

Cache negatywny

Zapamiętuj odmowy i wyniki „nie znaleziono” na krótki czas.

NCACHE.SETNCACHE.GET

TTL i limity

Domyślne TTL i limity wpisów na przestrzeń nazw, z wywłaszczaniem po zapełnieniu.

GUARD.CREATENCACHE.CREATE

Statystyki

Trafienia, pudła, wywłaszczenia, pamięć i oszczędności na przestrzeń nazw.

GUARD.STATSNCACHE.STATS
Opis:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Częste pytania

Czy HotKV sam waliduje wynik?

Nie. Decyduje Twój walidator lub zabezpieczenie. HotKV przechowuje tylko to, co wstawisz do cache zabezpieczeń po jego przejściu.

Jak długo buforować odmowy?

Zwykle krótko, minuty, a nie dni, aby zmiana polityki lub fałszywy alarm się nie utrwaliły. Ustaw TTL dla przestrzeni nazw lub wpisu.

Które plany to zawierają?

Cache zabezpieczeń i cache negatywny są częścią planów Performance i Scale.

Powiązane przypadki użycia

Aplikacje LLM

Dokładny cache promptów

Nigdy nie płać dwa razy za ten sam prompt. Cache LLM z dokładnym dopasowaniem, który liczy zaoszczędzone tokeny i dolary.

Zobacz
Operacje LLM

Nadzór nad kosztami LLM

Egzekwuj budżet tokenów i wydatków na użytkownika lub tenanta, zobacz rzeczywiste wydatki na zasobnik i osadzaj identyczny tekst tylko raz.

Zobacz
Aplikacje LLM

Asystent AI obsługi klienta

Bot obsługi klienta, który natychmiast odpowiada na powtórzenia, dopasowuje parafrazy według znaczenia, opiera nowe odpowiedzi na Twoim centrum pomocy i nigdy nie przekracza budżetu.

Zobacz

Wypróbuj na własnym obciążeniu

HotKV mówi protokołem Redis, więc możesz skierować na niego istniejącego klienta i uruchomić te same polecenia.

Uzyskaj wczesny dostępDalej: Feature store