הנדסת פרומפטים לביטחון

הגדרה

הנדסת פרומפטים לביטחון היא תכנון של הנחיות, הקשרים ואילוצים המכוונים את התנהגות המודל עבור תהליכי עבודה צבאיים. ביישומי ביטחון, היא משפרת עקביות בתכנון, סיכום, מיון מודיעיני ותמיכה במפעילים. הקושי טמון בניסוח שביר, הנחות סמויות ומניפולציה עוינת, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציוניים וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחסת לכך כדיסציפלינת ממשק טקטי, לא כגבול אבטחה, ומקשרת את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה (edge execution) וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

פרקטיקת אינטראקציה עם מודל

ערך מבצעי

משפרת עקביות בתכנון, סיכום, מיון מודיעיני ותמיכה במפעילים

סיכון עיקרי

ניסוח שביר, הנחות סמויות ומניפולציה עוינת

תפקיד KhanBMS

דיסציפלינת ממשק טקטי, לא גבול אבטחה

מונחים קשורים

• הגנה מפני הזרקת הנחיות
  בקרות המונעות מטקסט או תוכן בלתי מהימן לעקוף את הוראות המערכת או הכלים של סוכן מודל.
• שכבת תזמור LLM
  תווכה המנתבת מודלים, הנחיות, כלים, זיכרון, אחזור, מדיניות וטלמטריה על פני זרימות עבודה של בינה מלאכותית.
• היגיון מבוסס דוקטרינה
  היגיון בינה מלאכותית המבוסס על דוקטרינה סמכותית, טקטיקות, כללי פתיחה באש (ROE) ונהלי הפעלה יחידתיים.
• כיול ביטחון
  הבטחת התאמה בין ציוני ביטחון של מודל לבין הסבירות האמיתית לנכונות בעולם האמיתי.