מודלי יסוד רב-מודאליים/ MFM

הגדרה

מודלי יסוד רב-מודאליים הם מודלי יסוד המעבדים יחד טקסט, תמונות, וידאו, אודיו, מפות ונתוני חיישנים מובנים. ביישומי הגנה, הם ממזגים ראיות שדה קרב מבולגנות למרחב סמנטי משותף עבור צוותים וסוכנים אוטונומיים. החלק הקשה הוא הזיות בין-מודאליות, חוסר מקוריות (provenance) ואי-התאמה בתיאום זמנים, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס אליהם כשכבה מאחדת עבור ממשקי חיישנים, טקסט ופקודות של KhanBMS, ומקשר את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה (edge execution) וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

שכבת מודיעין רב-מודאלית

ערך מבצעי

ממזג ראיות שדה קרב מבולגנות למרחב סמנטי משותף עבור צוותים וסוכנים אוטונומיים

סיכון עיקרי

הזיות בין-מודאליות, חוסר מקוריות (provenance) ואי-התאמה בתיאום זמנים

תפקיד KhanBMS

שכבה מאחדת עבור ממשקי חיישנים, טקסט ופקודות של KhanBMS

מונחים קשורים

• מודלי ראייה-שפה (VLM)
  מודלים רב-מודאליים המפרשים יחד תמונות ושפה לצורך מענה על שאלות חזותיות והסבר סצנות.
• איחוי חיישנים רב-אופני
  איחוי נתונים על פני אופנויות חישה שונות, לרבות דימות, תדר רדיו, אקוסטיקה, סייבר, טקסט ומעקבים.
• שכבת תזמור LLM
  תווכה המנתבת מודלים, הנחיות, כלים, זיכרון, אחזור, מדיניות וטלמטריה על פני זרימות עבודה של בינה מלאכותית.
• מארג נתונים AI
  שכבת נתונים משולבת המחברת מקורות תפעוליים, חיישנים, מודלים, מטא-דאטה ומקורות ממשל (governance) עבור תהליכי עבודה של AI.