נראות מודל

הגדרה

נראות מודל היא ניטור קלט, פלט, סחיפה, שיהוי, ביטחון וכשלים של מודל לאחר פריסתו. ביישומי הגנה, היא מראה מתי תנאי השטח חרגו מההנחות שנבדקו. האתגר טמון בתוויות חסרות, אמת קרקע מאוחרת ועייפות התרעות, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחסת לכך כמערכת התרעה מוקדמת להידרדרות ביצועי ה-AI של KhanBMS, ומקשרת את הרעיון לפיקוד מודולרי, ביצוע בקצה וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

דיסציפלינת ניטור זמן ריצה

ערך מבצעי

מראה מתי תנאי השטח חרגו מההנחות שנבדקו

סיכון עיקרי

תוויות חסרות, אמת קרקע מאוחרת ועייפות התרעות

תפקיד KhanBMS

מערכת ההתרעה המוקדמת להידרדרות ביצועי ה-AI של KhanBMS

מונחים קשורים

• כיול ביטחון
  הבטחת התאמה בין ציוני ביטחון של מודל לבין הסבירות האמיתית לנכונות בעולם האמיתי.
• MLOps לביטחון (MLOps-D)
  שיטות עבודה מחזוריות לבנייה, בדיקה, אישור, פריסה, ניטור ועדכון של בינה מלאכותית צבאית.
• זיהוי חריגות מבצעי
  זיהוי מבוסס בינה מלאכותית של התנהגות חריגה של פלטפורמה, פעילות רשת, תבניות חיישנים או פעילות אויב.
• רישום מודלים בקצה
  קטלוג מנוהל גרסאות העוקב אחר אילו מודלים, מתאמים, חתימות ומדיניות נפרסים לצמתים טקטיים.