AI ו-LLMתפעול LLMתוכניות Performance ו-Scale

מטמון למנגנוני הגנה וניטור תוכן

משמיעים שוב תשובות שכבר עברו את המאמתים שלכם, ודוחים עבריינים חוזרים בלי לקרוא שוב לניטור התוכן או למודל.

מטמונים, טוב ורע
2
אימות מחדש בפגיעה
0
TTL לדחיות
קצרים
צעד 1 מתוך 5
מייצרים ומאמתים

מרחבי השמות נוצרו פעם אחת עם GUARD.CREATE ו-NCACHE.CREATE. המודל מייצר JSON, והמאמת שלכם בודק אותו מול הסכמה לפני שמשהו נשמר.

סשן לדוגמהplaying
# מייצרים ומאמתים
hotkv> GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
OK

הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.

הבעיה

פלט מובנה ובדיקות בטיחות איטיים ועולים כסף. יש קריאה למודל, אימות סכמת JSON, ואולי מודל שני ששופט את התשובה. בקשות חוזרות משלמות על כל זה שוב. ואותו פרומפט פוגעני, שסקריפט שולח אלף פעמים, הולך לניטור תוכן אלף פעמים.

איך HotKV מטפל בזה

מטמון המגן שומר רק תשובות שכבר עברו את אימות הסכמה או את בדיקות מנגנוני ההגנה שלכם, כך שידוע שפגיעה בטוחה להשמעה חוזרת כמות שהיא. המטמון השלילי זוכר דחיות כמו “refused by moderation” עם TTL קצר, כך שבקשות רעות חוזרות נדחות לפני שהן מגיעות לשירות ניטור התוכן או למודל.

צעד אחר צעד

מה קורה, פקודה אחר פקודה

  1. 01

    מייצרים ומאמתים

    מרחבי השמות נוצרו פעם אחת עם GUARD.CREATE ו-NCACHE.CREATE. המודל מייצר JSON, והמאמת שלכם בודק אותו מול הסכמה לפני שמשהו נשמר.

    GUARD.SET validated "Summarize ticket 812 as JSON" "{\"summary\":\"Login fails on Safari\"}"
  2. 02

    משמיעים שוב בלי לבדוק מחדש

    אותה בקשה שוב. התשובה השמורה כבר עברה אימות, ולכן היא מוחזרת כמות שהיא.

    GUARD.GET validated "Summarize ticket 812 as JSON"
  3. 03

    ניטור התוכן דוחה פרומפט

    פרומפט מזיק נדחה. הדחייה נזכרת למשך חמש דקות.

    NCACHE.SET refused "prompt:9f31c2" "refused_by_moderation" TTL 300
  4. 04

    הסקריפט מנסה שוב

    אותו פרומפט רגע אחר כך נדחה מהמטמון. ניטור התוכן והמודל לא נקראים.

    NCACHE.GET refused "prompt:9f31c2"
  5. 05

    מודדים את שני המטמונים

    כל מרחב שמות מדווח על פגיעות, החטאות, פינויים וזיכרון.

    GUARD.STATS validated
איפה זה מתאים

תרחישים מהעולם האמיתי

חילוץ מובנה

חשבוניות וטפסים הופכים ל-JSON מאומת. עיבוד חוזר של אותו מסמך מחזיר את התוצאה המאומתת בלי קריאה נוספת למודל.

אפליקציות צ'אט לצרכנים

סקריפטים של התעללות שמכים שוב ושוב באותו פרומפט נדחים מהמטמון השלילי, וכך עלויות ניטור התוכן נשארות קבועות.

חיפושים שנכשלים

“User not found” ותשובות שליליות אחרות נשמרות לזמן קצר, כך שניסיונות חוזרים לא פוגעים בצד האחורי.

מובנה

מה מקבלים

מטמון מגן

רק תשובות שעברו את הבדיקות שלכם נשמרות, כך שפגיעה בטוחה להשמעה חוזרת.

GUARD.SETGUARD.GET

מטמון שלילי

זוכרים דחיות ותוצאות של “לא נמצא” לזמן קצר.

NCACHE.SETNCACHE.GET

TTL ומגבלות

TTL ברירת מחדל ומגבלות רשומות לכל מרחב שמות, עם פינוי כשהוא מלא.

GUARD.CREATENCACHE.CREATE

סטטיסטיקות

פגיעות, החטאות, פינויים, זיכרון וחיסכון לכל מרחב שמות.

GUARD.STATSNCACHE.STATS

שאלות נפוצות

האם HotKV מאמת את הפלט בעצמו?

לא. המאמת או מנגנון ההגנה שלכם מחליט. HotKV שומר רק את מה שאתם מכניסים למטמון המגן אחרי שעבר.

לכמה זמן כדאי לשמור דחיות במטמון?

בדרך כלל לזמן קצר, דקות ולא ימים, כדי ששינוי מדיניות או תוצאה חיובית שגויה לא יידבקו. קובעים את ה-TTL לכל מרחב שמות או לכל רשומה.

אילו תוכניות כוללות אותו?

מטמון המגן והמטמון השלילי הם חלק מתוכניות Performance ו-Scale.

שימושים קשורים

נסו על עומס העבודה שלכם

HotKV מדבר את פרוטוקול Redis, ולכן אפשר להפנות אליו לקוח קיים ולהריץ את אותן פקודות.