בינה מלאכותית ניתנת להסבר/ XAI

הגדרה

בינה מלאכותית ניתנת להסבר היא שיטות המציגות מדוע מערכת בינה מלאכותית הפיקה חיזוי, המלצה או פעולה. ביישומים ביטחוניים, היא מסייעת למפעילים לאתגר, לכייל ולתעד החלטות הנתמכות בבינה מלאכותית. הקושי טמון בהסברים קוסמטיים שאינם משקפים את התנהגות המודל בפועל, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציוניים וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחסת לכך כאל ליווי הכרחי להמלצות KhanBMS המשפיעות על החלטות משימה, ומקשרת את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

דיסציפלינת אמון ושקיפות

ערך מבצעי

מסייעת למפעילים לאתגר, לכייל ולתעד החלטות הנתמכות בבינה מלאכותית

סיכון עיקרי

הסברים קוסמטיים שאינם משקפים את התנהגות המודל בפועל

תפקיד KhanBMS

ליווי הכרחי להמלצות KhanBMS המשפיעות על החלטות משימה

מונחים קשורים

• למידת מכונה ניתנת לפירוש (IML)
  גישות מידול שההיגיון הפנימי שלהן ניתן להבנה ישירה או עם הסבר מינימלי בדיעבד.
• פרשנות מנגנונית
  ניתוח מעגלים פנימיים, מאפיינים וייצוגים של רשתות נוירונים להבנת התנהגות מודלים.
• בינה מלאכותית לתמיכה בהחלטות (DSAI)
  מערכות בינה מלאכותית המסנתזות נתונים, חלופות, סיכונים והסברים עבור מפקדים או מפעילי מערכות.
• כיול ביטחון
  הבטחת התאמה בין ציוני ביטחון של מודל לבין הסבירות האמיתית לנכונות בעולם האמיתי.