IA și LLMOperațiuni LLMPlanurile Performance și Scale

Caching pentru măsuri de protecție și moderare

Reluați răspunsurile care au trecut deja de validatoarele dvs. și refuzați recidiviștii fără să apelați din nou moderarea sau modelul.

cache-uri, bun și rău
2
revalidări la un succes
0
TTL pentru refuzuri
Scurte
Pasul 1 din 5
Generați și validați

Spațiile de nume au fost create o dată cu GUARD.CREATE și NCACHE.CREATE. Modelul produce JSON, iar validatorul dvs. îl verifică față de schemă înainte de a stoca ceva.

Sesiune de exempluplaying
# Generați și validați
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

O demonstrație animată cu comenzi HotKV reale și răspunsuri de exemplu. Faceți clic pe orice pas pentru a sări la el. Comenzile și răspunsurile rămân în engleză, exact așa cum le tastați și le vedeți în HotKV.

Problema

Ieșirea structurată și verificările de siguranță sunt lente și costă bani. Există un apel către model, o validare de schemă JSON și poate un al doilea model care judecă răspunsul. Cererile repetate le plătesc din nou pe toate. Iar același prompt abuziv, trimis de o mie de ori de un script, ajunge la moderare de o mie de ori.

Cum o rezolvă HotKV

Cache-ul de validare stochează doar răspunsurile care au trecut deja de validarea de schemă sau de verificările dvs. de protecție, deci se știe că un succes poate fi reluat ca atare, în siguranță. Cache-ul negativ ține minte refuzurile precum „refused by moderation”, cu un TTL scurt, astfel încât cererile proaste repetate sunt respinse înainte să ajungă la serviciul de moderare sau la model.

Pas cu pas

Ce se întâmplă, comandă cu comandă

  1. 01

    Generați și validați

    Spațiile de nume au fost create o dată cu GUARD.CREATE și NCACHE.CREATE. Modelul produce JSON, iar validatorul dvs. îl verifică față de schemă înainte de a stoca ceva.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    Reluați fără reverificare

    Aceeași cerere din nou. Răspunsul stocat a trecut deja de validare, deci este returnat ca atare.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    Moderarea refuză un prompt

    Un prompt dăunător este refuzat. Refuzul este ținut minte cinci minute.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    Scriptul încearcă din nou

    Același prompt, o clipă mai târziu, este respins din cache. Moderarea și modelul nu sunt apelate.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    Măsurați ambele cache-uri

    Fiecare spațiu de nume raportează succesele, ratările, evacuările și memoria.

    GUARD.STATS validated
Unde se potrivește

Scenarii din lumea reală

Extragere structurată

Facturile și formularele sunt transformate în JSON validat. Reprocesarea aceluiași document returnează rezultatul validat fără un alt apel către model.

Aplicații de chat pentru consumatori

Scripturile abuzive care lovesc același prompt sunt refuzate din cache-ul negativ, ținând constante costurile de moderare.

Căutări care eșuează

„User not found” și alte răspunsuri negative sunt puse scurt în cache, deci reîncercările nu lovesc backendul.

Integrat

Ce primiți

Cache de validare

Sunt stocate doar răspunsurile care au trecut de verificările dvs., deci un succes poate fi reluat în siguranță.

GUARD.SETGUARD.GET

Cache negativ

Țineți minte, pentru scurt timp, refuzurile și rezultatele „negăsit”.

NCACHE.SETNCACHE.GET

TTL și limite

TTL implicite și limite de intrări pe spațiu de nume, cu evacuare când este plin.

GUARD.CREATENCACHE.CREATE

Statistici

Succese, ratări, evacuări, memorie și economii pe spațiu de nume.

GUARD.STATSNCACHE.STATS
Referință:GUARD.SETGUARD.GETNCACHE.SETNCACHE.GET

Întrebări frecvente

Validează HotKV singur ieșirea?

Nu. Validatorul sau protecția dvs. decide. HotKV stochează doar ce ați pus în cache-ul de validare după ce a trecut.

Cât timp ar trebui păstrate refuzurile în cache?

De obicei scurt, minute în loc de zile, ca o schimbare de politică sau un fals pozitiv să nu rămână blocate. Setați TTL-ul pe spațiu de nume sau pe intrare.

Ce planuri îl includ?

Cache-ul de validare și cache-ul negativ fac parte din planurile Performance și Scale.

Cazuri de utilizare înrudite

Aplicații LLM

Caching exact de prompturi

Nu plătiți niciodată de două ori același prompt. Un cache LLM cu potrivire exactă, care numără tokenii și dolarii pe care vi i-a economisit.

Explorați
Operațiuni LLM

Guvernarea costurilor LLM

Aplicați un buget de tokeni și de cheltuieli pe utilizator sau tenant, vedeți cheltuielile reale pe găleată și transformați în embedding același text o singură dată.

Explorați
Aplicații LLM

Asistent IA pentru suportul clienților

Un bot de suport care răspunde instantaneu la repetări, potrivește parafrazele după sens, ancorează răspunsurile noi în centrul dvs. de ajutor și nu depășește niciodată bugetul.

Explorați

Încercați pe propria sarcină de lucru

HotKV vorbește protocolul Redis, așa că puteți îndrepta spre el un client existent și rula aceleași comenzi.

Obțineți acces anticipatUrmătorul: Feature store