▎AI ומרובה סוכנים
היפוך מודל
מתקפה המסיקה נתוני אימון רגישים או תכונות מתוך פלטי מודל או גרדיאנטים.
הגדרה
היפוך מודל הוא מתקפה המסיקה נתוני אימון רגישים או תכונות מתוך פלטי מודל או גרדיאנטים. ביישומי הגנה, היא יכולה לחשוף דוגמאות מסווגות, חתימות חיישנים, או נתונים אישיים ששימשו במהלך האימון. החלק הקשה הוא דליפת חברות ושחזור מגישה חוזרת ונשנית, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה, וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס לכך כסיבה לכך ש-KhanBMS ממזער פלטים חשופים ומנהל נתוני אימון בקפידה, ומקשר את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה, וסמכות ניתנת לביקורת.
מאפייני הפניה
- שכבה
- מתקפת פרטיות
- ערך מבצעי
- יכול לחשוף דוגמאות מסווגות, חתימות חיישנים, או נתונים אישיים ששימשו במהלך האימון
- סיכון עיקרי
- דליפת חברות ושחזור מגישה חוזרת ונשנית
- תפקיד KhanBMS
- סיבה לכך ש-KhanBMS ממזער פלטים חשופים ומנהל נתוני אימון בקפידה
מונחים קשורים
- למידת מכונה יריבית (AML)חקר והגנה מפני התקפות המבצעות מניפולציה בבינה מלאכותית באמצעות קלטים מתוכננים, נתונים מזוהמים או גניבת מודל.
- מחשוב AI חסוישימוש בהצפנה, מובלעות (enclaves) ואימות (attestation) להגנה על עומסי עבודה של AI בזמן שהנתונים בשימוש.
- אבטחת מקוריות מודליםמעקב קריפטוגרפי ופרוצדורלי אחר מקורם של מודל, מתאם, מערך נתונים או פריט.
- הרעלת נתוניםמתקפה המשחיתה נתוני אימון או כוונון עדין כדי להחדיר התנהגות שגויה או לפגוע בביצועים.
#security#privacy#model