מאיצי יחידות עיבוד נוירוני/ NPU

הגדרה

מאיצי יחידות עיבוד נוירוני הם שבבים ייעודיים להאצת הסקת רשתות נוירוניות בהתקני קצה ובהתקנים משובצים. ביישומי הגנה, הם משפרים את התפוקה לוואט עבור מודלי תפיסה, שפה ובקרה מובנים. האתגרים העיקריים הם תלות בספק יחיד (vendor lock-in), שבריריות מהדרים (compiler fragility), וחשיפה לסיכוני שרשרת האספקה, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס אליהם כאל מודול חישוב ניתן להחלפה בערימות קצה של KhanBMS, ומקשר את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

מאיץ חומרת AI

ערך תפעולי

משפר את התפוקה לוואט עבור מודלי תפיסה, שפה ובקרה מובנים.

סיכון עיקרי

תלות בספק יחיד (vendor lock-in), שבריריות מהדרים (compiler fragility), וחשיפה לסיכוני שרשרת האספקה.

תפקיד ב-KhanBMS

מודול חישוב ניתן להחלפה בערימות קצה של KhanBMS.

מונחים קשורים

• הסקה בקצה
  הפעלת מודלי AI על חומרה טקטית בנקודת החישה או הפעולה במקום להסתמך על מחשוב ענן מרוחק.
• קוונטיזציית מודלים (INT8/INT4)
  הפחתת הדיוק המספרי של מודלים לצמצום זיכרון, חֶבְיוֹן וצריכת חשמל, תוך שמירה על רמת דיוק מספקת.
• האצת למידת מכונה באמצעות FPGA (FPGA-AI)
  שימוש במערכי שערים ניתנים לתכנות בשדה (FPGA) להרצת עומסי עבודה של בינה מלאכותית עם שיהוי נמוך או ניתנים להגדרה מחדש.
• מחשוב AI טקטי
  ערימת מחשוב מוקשחת להפעלת AI בכלי רכב, כלי טיס, מכשירי קשר, עמדות פיקוד ומערכות לחימה אישיות.