הגנה מפני הזרקת הנחיות

הגדרה

הגנה מפני הזרקת הנחיות היא בקרות המונעות מטקסט או תוכן בלתי מהימן לעקוף את הוראות המערכת או הכלים של סוכן מודל. ביישומי הגנה, היא מגנה על סוכנים הקוראים דפי אינטרנט, מסמכים, הודעות דוא"ל, צ'אטים או דוחות שדה קרב. החלק הקשה הוא הברחת הנחיות, הוצאת נתונים (אקספילטרציה), וניתוב כלים זדוניים, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס לכך כחיזוק חובה לכל סוכן KhanBMS הקולט טקסט חיצוני, ומקשר את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה (edge execution), וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

דיסציפלינת אבטחה של LLM

ערך מבצעי

מגן על סוכנים הקוראים דפי אינטרנט, מסמכים, הודעות דוא"ל, צ'אטים או דוחות שדה קרב

סיכון עיקרי

הברחת הנחיות, הוצאת נתונים (אקספילטרציה), וניתוב כלים זדוניים

תפקיד KhanBMS

חיזוק חובה לכל סוכן KhanBMS הקולט טקסט חיצוני

מונחים קשורים

• הנחיה עוינת
  קלט שנועד לאלץ מודל שפה או סוכן להתנהגות לא בטוחה, בלתי מורשית או שקרית.
• סוכנים מבוססי-כלים
  סוכנים המפעילים ממשקי API חיצוניים, מסדי נתונים, סימולטורים, חיישנים או מפעילים (אפקטורים) לביצוע משימות.
• פרוטוקול הקשר מודל (MCP)
  תבנית פרוטוקול פתוחה לחשיפת כלים, משאבים והנחיות לסוכני מודל באמצעות ממשקים סטנדרטיים.
• מגבלות מדיניות
  בקרות דטרמיניסטיות ומבוססות מודל המגבילות את מה שמערכות בינה מלאכותית רשאיות לומר, להחליט או לבצע.