למידת מכונה יריבית/ AML

הגדרה

למידת מכונה יריבית היא חקר והגנה מפני התקפות המבצעות מניפולציה בבינה מלאכותית באמצעות קלטים מתוכננים, נתונים מזוהמים או גניבת מודל. ביישומי הגנה, היא מכינה מערכות הגנה לאויבים התוקפים את המודל, ולא רק את הפלטפורמה. החלק הקשה הוא התקפות אדפטיביות וכיסוי בדיקות חלקי, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחסת לכך כמודל איום קבוע עבור כל מודול AI של KhanBMS, ומקשרת את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה (edge execution) וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

תחום אבטחת AI

ערך מבצעי

מכינה מערכות הגנה לאויבים התוקפים את המודל, ולא רק את הפלטפורמה

סיכון עיקרי

התקפות אדפטיביות וכיסוי בדיקות חלקי

תפקיד KhanBMS

מודל איום קבוע עבור כל מודול AI של KhanBMS

מונחים קשורים

• התקפות התחמקות
  קלט המתוכנן בזמן הסקה כדי לגרום למודל לסווג באופן שגוי או לבחור בפעולה שגויה.
• הרעלת נתונים
  מתקפה המשחיתה נתוני אימון או כוונון עדין כדי להחדיר התנהגות שגויה או לפגוע בביצועים.
• חילוץ מודל
  מתקפה המשחזרת או מקרבת מודל על ידי שאילתה אליו ותצפית על הפלטים.
• צוות אדום לבינה מלאכותית
  בדיקות יריבות מובנות של מערכות בינה מלאכותית לחשיפת התנהגות לא בטוחה, מוטה, ניתנת לניצול או שבירה.