▎AI ומרובה סוכנים
הרעלת נתונים
מתקפה המשחיתה נתוני אימון או כוונון עדין כדי להחדיר התנהגות שגויה או לפגוע בביצועים.
הגדרה
הרעלת נתונים היא מתקפה המשחיתה נתוני אימון או כוונון עדין כדי להחדיר התנהגות שגויה או לפגוע בביצועים. ביישומי הגנה, היא מכוונת לשרשרת האספקה לפני שמודל מגיע אי פעם לשטח. הקושי טמון בדוגמאות מורעלות עדינות ובמקורות נתונים שנפגעו, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחסת לכך כסיבה לכך ש-KhanBMS מתייחסת למקוריות נתונים כאבטחה תפעולית, ומקשרת את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה וסמכות ניתנת לביקורת.
מאפייני הפניה
- שכבה
- מתקפת זמן אימון
- ערך תפעולי
- מכוונת לשרשרת האספקה לפני שמודל מגיע אי פעם לשטח
- סיכון עיקרי
- דוגמאות מורעלות עדינות ומקורות נתונים שנפגעו
- תפקיד KhanBMS
- סיבה לכך ש-KhanBMS מתייחסת למקוריות נתונים כאבטחה תפעולית
מונחים קשורים
- למידת מכונה יריבית (AML)חקר והגנה מפני התקפות המבצעות מניפולציה בבינה מלאכותית באמצעות קלטים מתוכננים, נתונים מזוהמים או גניבת מודל.
- למידה מאוחדת (FL)גישת אימון שבה צמתים לומדים מנתונים מקומיים ומשתפים עדכונים במקום נתונים גולמיים.
- אבטחת מקוריות מודליםמעקב קריפטוגרפי ופרוצדורלי אחר מקורם של מודל, מתאם, מערך נתונים או פריט.
- אבטחת שרשרת האספקה של בינה מלאכותיתהגנה על מערכי נתונים, משקלים, קוד, תלויות, כלי פיתוח וצינורות פריסה עבור מערכות בינה מלאכותית.
#security#data#training