קוונטיזציית מודלים/ INT8/INT4

הגדרה

קוונטיזציית מודלים היא הפחתת הדיוק המספרי של מודלים לצמצום זיכרון, חֶבְיוֹן וצריכת חשמל, תוך שמירה על רמת דיוק מספקת. ביישומי ביטחון, היא מאפשרת לרשתות נוירונים לרוץ על מעבדי GPU משובצים, NPUs, FPGAs ומעבדים טקטיים בעלי צריכת חשמל נמוכה. האתגרים העיקריים הם ירידות חדות בדיוק (accuracy cliffs), הטיה בערכת הכיול, ותפוקות לא יציבות תחת הזנות חיישנים פגומות, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציוניים וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס לכך כבקרת פריסה שהופכת מודלים גדולים למודולים הניתנים לפריסה עבור צמתי קצה של KhanBMS, ובכך מקשר את הרעיון לפיקוד מודולרי, ביצוע בקצה וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה

טכניקת אופטימיזציה בקצה

ערך מבצעי

מאפשר לרשתות נוירונים לרוץ על מעבדי GPU משובצים, NPUs, FPGAs ומעבדים טקטיים בעלי צריכת חשמל נמוכה

סיכון עיקרי

ירידות חדות בדיוק (accuracy cliffs), הטיה בערכת הכיול, ותפוקות לא יציבות תחת הזנות חיישנים פגומות

תפקיד KhanBMS

בקרת פריסה שהופכת מודלים גדולים למודולים הניתנים לפריסה עבור צמתי קצה של KhanBMS

מונחים קשורים

• הסקה בקצה
  הפעלת מודלי AI על חומרה טקטית בנקודת החישה או הפעולה במקום להסתמך על מחשוב ענן מרוחק.
• TinyML
  למידת מכונה המיועדת לבקרים זעירים (מיקרו-בקרים) והתקנים משובצים בעלי צריכת חשמל נמוכה במיוחד.
• מאיצי יחידות עיבוד נוירוני (NPU)
  שבבים ייעודיים להאצת הסקת רשתות נוירוניות בהתקני קצה ובהתקנים משובצים.
• האצת למידת מכונה באמצעות FPGA (FPGA-AI)
  שימוש במערכי שערים ניתנים לתכנות בשדה (FPGA) להרצת עומסי עבודה של בינה מלאכותית עם שיהוי נמוך או ניתנים להגדרה מחדש.