פיקוח בינה מלאכותית עם אדם בלולאה/ HOTL-AI

הגדרה

פיקוח בינה מלאכותית עם אדם בלולאה הוא מודל בקרה פיקוחי שבו בני אדם מנטרים מערכות אוטונומיות ויכולים להתערב או לבטל. ביישומי הגנה, הוא מאפשר למערכות לפעול במהירות מכונה תוך שמירה על סמכות אנושית על גבולות וחריגים. האתגר הוא הטיית אוטומציה, התערבות מאוחרת, ואחריות לא ברורה, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה, וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס לכך כתנוחת פיקוד המקודדת באמצעות מעטפות סמכות של KhanBMS, הקושרת את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה, וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

תנוחת ממשל אוטונומיה

ערך מבצעי

מאפשר למערכות לפעול במהירות מכונה תוך שמירה על סמכות אנושית על גבולות וחריגים

סיכון עיקרי

הטיית אוטומציה, התערבות מאוחרת, ואחריות לא ברורה

תפקיד KhanBMS

תנוחת פיקוד המקודדת באמצעות מעטפות סמכות של KhanBMS

מונחים קשורים

• אדם בלולאת הפיקוח
  תבנית בקרה פיקודית שבה האדם יכול להתערב אך אינו פועל בכל שלב.
• מגבלות מדיניות
  בקרות דטרמיניסטיות ומבוססות מודל המגבילות את מה שמערכות בינה מלאכותית רשאיות לומר, להחליט או לבצע.
• תכנון מודע לכללי פתיחה באש (ROE) (ROE AI)
  שיטות תכנון המשלבות כללי פתיחה באש, סמכויות ואילוצי הסלמה.
• הבטחת זמן ריצה לבינה מלאכותית (RTA-AI)
  ארכיטקטורת בטיחות המנטרת את תפוקות הבינה המלאכותית ועוברת לגיבוי מאומת כאשר ההתנהגות חורגת מהגבולות.