AI ו-LLMתפעול LLMתוכניות Performance ו-Scale

ממשל עלויות LLM

אוכפים תקציב טוקנים והוצאה לכל משתמש או דייר, רואים הוצאה אמיתית לכל דלי, ומקודדים טקסט זהה פעם אחת בלבד.

מחייבים או דוחים
אטומי
מגבלות לכל חלון
טוקנים + $
embedding לכל טקסט ייחודי
1x
צעד 1 מתוך 6
קובעים תקציב

2 מיליון טוקנים ו-50 דולר ל-30 יום לדייר אחד.

סשן לדוגמהplaying
# קובעים תקציב
hotkv> LLMBUDGET.SET tenant:acme 2000000 50 2592000
OK

הדגמה מונפשת עם פקודות HotKV אמיתיות ותשובות לדוגמה. לחצו על כל שלב כדי לעבור אליו. הפקודות והתשובות נשארות באנגלית, בדיוק כפי שמקלידים ורואים ב-HotKV.

הבעיה

עלויות LLM מבוססות שימוש, ולולאה אחת בסוכן יכולה לבזבז תקציב של חודש בצהריים אחד. בדיקת שימוש בדיעבד רק אומרת לכם מה כבר איבדתם, ובדיקת תקציב שאינה אטומית עלולה להיחצות על ידי בקשות מקבילות.

איך HotKV מטפל בזה

HotKV מחזיק תקציב לכל משתמש או דייר ומחייב אותו באופן אטומי, כך שבקשה או מאושרת ומחויבת או נדחית לפני שהמודל נקרא. סטטיסטיקות נפרדות רושמות טוקנים אמיתיים, עלות והשהיה לכל דלי, ו-embeddings נשמרים לפי גיבוב תוכן כך שטקסט זהה מקודד פעם אחת.

צעד אחר צעד

מה קורה, פקודה אחר פקודה

  1. 01

    קובעים תקציב

    2 מיליון טוקנים ו-50 דולר ל-30 יום לדייר אחד.

    LLMBUDGET.SET tenant:acme 2000000 50 2592000
  2. 02

    מחייבים לפני הקריאה

    מאושר ומחויב בצעד אחד. ואז המודל נקרא.

    LLMBUDGET.CONSUME tenant:acme 1850 0.004
  3. 03

    רושמים את השימוש האמיתי

    טוקני קלט, פלט ומטמון, עלות והשהיה של הקריאה, לכל דלי.

    LLMSTATS.RECORD tenant:acme 1200 650 0 0.004 840
  4. 04

    לולאה שיצאה משליטה פוגעת בתקרה

    הסוכן של הדייר ממשיך. ברגע שהקריאה הבאה הייתה חוצה את המגבלה, היא נדחית ואינה מחויבת.

    LLMBUDGET.CONSUME tenant:acme 90000 4.90
  5. 05

    דיירים אחרים לא מושפעים

    לכל דייר יש תקציב משלו.

    LLMBUDGET.CONSUME tenant:beta 900 0.002
  6. 06

    בודקים איפה דייר עומד

    שימוש, מגבלות, הזמן שנותר בחלון וכמה בקשות נדחו.

    LLMBUDGET.STATUS tenant:acme
איפה זה מתאים

תרחישים מהעולם האמיתי

מוצרי SaaS מבוססי AI

כל תוכנית כוללת מכסה חודשית של טוקנים. התקציב נאכף ברגע כל קריאה ולא מתגלה בחשבונית.

פלטפורמות AI פנימיות

לכל צוות יש תקציב. מחברת שנשכחה ורצה בלולאה כל הלילה נעצרת בתקרה.

עיבוד מסמכים

מקטעי חוזים חוזרים בין גרסאות. embeddings בלי כפילויות אומרים שמסמך מתוקן משלם רק על הפסקאות ששונו.

מובנה

מה מקבלים

בדיקות תקציב אטומיות

בקשה מחויבת או נדחית בצעד אחד, כך שסוכנים מקבילים לא יכולים לחצות יחד את התקרה.

LLMBUDGET.CONSUME

טוקנים ודולרים

מגבילים לפי מספר טוקנים, לפי עלות, או לפי שניהם, בחלון שאתם קובעים.

LLMBUDGET.SETLLMBUDGET.STATUS

הוצאה אמיתית לכל דלי

רושמים טוקני קלט, פלט ומטמון, עלות והשהיה, וקוראים אותם בחזרה.

LLMSTATS.RECORDLLMSTATS.GET

Embeddings נשמרים פעם אחת

מניעת כפילות לפי גיבוב תוכן אומרת שטקסט זהה מקודד פעם אחת בלבד.

EMBED.DEDUP.PUTEMBED.DEDUP.GET
מקור:LLMBUDGET.SETLLMBUDGET.CONSUMELLMSTATS.RECORDEMBED.DEDUP.PUT

שאלות נפוצות

מה קורה כשדייר חורג מהתקציב?

LLMBUDGET.CONSUME מחזיר 0 ואינו מחייב. האפליקציה שלכם אז דוחה את הבקשה או עוברת לנתיב זול יותר.

האם אפשר להגביל גם לפי עלות ולא רק לפי טוקנים?

כן. לתקציב יש מגבלת טוקנים ומגבלת עלות בדולרים אמריקאיים, על פני החלון שבחרתם.

אילו תוכניות כוללות אותו?

תקציבי LLM, סטטיסטיקות ומניעת כפילות של embeddings הם חלק מתוכניות Performance ו-Scale.

שימושים קשורים

יישומי LLM

שער LLM עם מטמון

מפנים את ה-SDK של OpenAI או של Anthropic לכתובת אחת, ובקשות חוזרות נענות מ-HotKV במקום שישלמו עליהן שוב. בלי שינויי קוד.

לעיון
יישומי LLM

מטמון פרומפטים מדויק

אף פעם לא משלמים פעמיים על אותו פרומפט. מטמון LLM בהתאמה מדויקת שסופר את הטוקנים והדולרים שחסך לכם.

לעיון
ממשקי API

הגבלת קצב

הגבלות קצב אטומיות בצד השרת. GCRA בפקודה אחת, או מגבילים בשם עם חלון נע, token bucket או leaky bucket. בלי Lua.

לעיון

נסו על עומס העבודה שלכם

HotKV מדבר את פרוטוקול Redis, ולכן אפשר להפנות אליו לקוח קיים ולהריץ את אותן פקודות.

גישה מוקדמתהבא: מטמון הגנות