▎AI ומרובה סוכנים
התקפות התחמקות
קלט המתוכנן בזמן הסקה כדי לגרום למודל לסווג באופן שגוי או לבחור בפעולה שגויה.
הגדרה
התקפות התחמקות הן קלטים המתוכננים בזמן הסקה כדי לגרום למודל לסווג באופן שגוי או לבחור בפעולה שגויה. ביישומי הגנה, הן הופכות מדבקות, הסוואה, צורות גל או טקסט להטעיה ברמת המודל. הקושי העיקרי הוא יכולת ההעברה בין מודלים והפרעות פיזיות חשאיות בעולם האמיתי, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציוניים וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס לכך כאיום ש-KhanBMS מתמודד איתו באמצעות אנסמבלים, מיזוג חיישנים ואי-ודאות גלויה למפעיל, ובכך קושר את הרעיון לפיקוד מודולרי, ביצוע בקצה וסמכות ניתנת לביקורת.
מאפייני הפניה
- שכבה
- התקפה בזמן הסקה
- ערך מבצעי
- הופך מדבקות, הסוואה, צורות גל או טקסט להטעיה ברמת המודל
- סיכון עיקרי
- יכולת העברה בין מודלים והפרעות פיזיות חשאיות בעולם האמיתי
- תפקיד KhanBMS
- איום ש-KhanBMS מתמודד איתו באמצעות אנסמבלים, מיזוג חיישנים ואי-ודאות גלויה למפעיל
מונחים קשורים
- למידת מכונה יריבית (AML)חקר והגנה מפני התקפות המבצעות מניפולציה בבינה מלאכותית באמצעות קלטים מתוכננים, נתונים מזוהמים או גניבת מודל.
- זיהוי מטרות אוטומטי (ATR)זיהוי וסיווג מבוסס בינה מלאכותית של עצמים, כלי רכב, פולטים או פעילויות מנתוני חיישנים.
- איחוי חיישנים מבוסס AIשיטות למידת מכונה המשלבות זרמי חיישנים מרובים לתחזית טובה יותר מכל מקור בודד.
- בינה מלאכותית ניתנת להסבר (XAI)שיטות המציגות מדוע מערכת בינה מלאכותית הפיקה חיזוי, המלצה או פעולה.
#security#perception#threat