צוות אדום לבינה מלאכותית

הגדרה

צוות אדום לבינה מלאכותית הוא בדיקות יריבות מובנות של מערכות בינה מלאכותית לחשיפת התנהגות לא בטוחה, מוטה, ניתנת לניצול או שבירה. ביישומים ביטחוניים, הוא מאתר כשלים לפני שאויב, משתמש או סביבה עושים זאת. הקושי טמון בפערי כיסוי ובבדיקות שהופכות למיושנות ככל שהמודלים משתנים, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס לכך כפרקטיקה מתמשכת של KhanBMS, ולא כאירוע קבלה חד-פעמי, ומקשר את הרעיון לפיקוד מודולרי, ביצוע בקצה (edge execution) וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

דיסציפלינת הערכה

ערך מבצעי

מאפיין כשלים לפני שאויב, משתמש או סביבה עושים זאת

סיכון עיקרי

פערי כיסוי ובדיקות שהופכות למיושנות ככל שהמודלים משתנים

תפקיד KhanBMS

פרקטיקה מתמשכת של KhanBMS, לא אירוע קבלה חד-פעמי

מונחים קשורים

• למידת מכונה יריבית (AML)
  חקר והגנה מפני התקפות המבצעות מניפולציה בבינה מלאכותית באמצעות קלטים מתוכננים, נתונים מזוהמים או גניבת מודל.
• דיון רב-סוכנים (MAD)
  טכניקה שבה מספר סוכני מודל מתווכחים, מבקרים ומתקנים תשובות לפני שמתקבלת החלטה.
• עמידות בפני פריצת מגבלות
  הגנות המונעות ממשתמשים או קלטים לעקוף מגבלות בטיחות ומדיניות של מודלים.
• בדיקה והערכה של אוטונומיה (T&E)
  דיסציפלינת בדיקה לאימות מערכות אוטונומיות על פני סימולציה, חומרה, ניסויי שדה ותרחישים עוינים.