AI ו-LLMיישומי LLMתוכניות Performance ו-Scale

ניהול גרסאות פרומפטים וחזרה לאחור

מנהלים גרסאות של פרומפטי המערכת בשכבת הנתונים, מפיצים חדש לכל השירותים בבת אחת, וחוזרים לאחור בפקודה אחת כשהוא מתנהג לא טוב.

פקודה לחזרה לאחור: 1
פריסות מחדש: 0
גרסאות אחרונות נשמרות כברירת מחדל: 64

צעד 1 מתוך 5

מפרסמים גרסה 1

הגרסה הראשונה של פרומפט המערכת של סוכן התמיכה.

סשן לדוגמהplaying

# מפרסמים גרסה 1

hotkv> PROMPT.PUT support-agent "You are a helpful support agent."

(integer) 1

הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.

הבעיה

פרומפטי מערכת משתנים בתדירות גבוהה יותר מהקוד, ובכל זאת הם בדרך כלל חיים בתוך הקוד. כל תיקון הוא פריסה, שירותים שונים נסחפים לגרסאות שונות, וכשפרומפט חדש מחמיר את העוזר ב-2 בלילה, חזרה לאחור פירושה גרסה נוספת.

איך HotKV מטפל בזה

רישום הפרומפטים שומר ב-HotKV כל גרסה של כל תבנית. השירותים קוראים את הגרסה הפעילה בזמן ריצה, עורך מפרסם גרסה חדשה בפקודה אחת, ובחירת הגרסה הפעילה היא מעבר אטומי יחיד שכל שירות רואה בקריאה הבאה שלו.

צעד אחר צעד

מה קורה, פקודה אחר פקודה

01
מפרסמים גרסה 1
הגרסה הראשונה של פרומפט המערכת של סוכן התמיכה.
PROMPT.PUT support-agent "You are a helpful support agent."
02
השירותים קוראים את הגרסה הפעילה
כל שירות טוען את התבנית בזמן ריצה במקום לקמפל אותה פנימה.
PROMPT.GET support-agent
03
מפיצים גרסה 2
גרסה חדשה עם מטא-דאטה על מי שכתב אותה. היא הופכת לפעילה בכל השירותים בבת אחת.
PROMPT.PUT support-agent "You are a concise, friendly support agent." META "{\"author\":\"maria\"}"
04
משהו לא טוב, חוזרים לאחור
התשובות נעשו תמציתיות מדי. פקודה אחת הופכת את גרסה 1 לפעילה שוב. בלי פריסה ובלי הפעלה מחדש.
PROMPT.SETACTIVE support-agent 1
05
בודקים את ההיסטוריה
הגרסאות האחרונות נשארות ברישום, 64 כברירת מחדל, כך שאפשר להשוות ביניהן או לחזור לכל אחת מהן.
PROMPT.VERSIONS support-agent