▎AI ומרובה סוכנים

שכבת תזמור LLM

תווכה המנתבת מודלים, הנחיות, כלים, זיכרון, אחזור, מדיניות וטלמטריה על פני זרימות עבודה של בינה מלאכותית.

הגדרה

שכבת תזמור LLM היא תווכה המנתבת מודלים, הנחיות, כלים, זיכרון, אחזור, מדיניות וטלמטריה על פני זרימות עבודה של בינה מלאכותית. ביישומי הגנה, היא שומרת על מערכות מרובות מודלים ניתנות לניהול כאשר יישומי משימה מפעילים מודלים וכלים שונים. הקושי טמון בזליגת הקשר, אכיפת מדיניות לא עקבית, ושרשרות שבירות של לוגיקת הנחיות, במיוחד כאשר מערכות נפרסות על פני קישורים שנויים במחלוקת, גבולות קואליציה וצוותים מעורבים של אדם-מכונה. KhanBMS מתייחס אליו כאל מישור הבקרה המאפשר ל-KhanBMS להחליף מודלים מבלי לשכתב תוכנת משימה, ובכך מקשר את הרעיון בחזרה לפיקוד מודולרי, ביצוע בקצה, וסמכות ניתנת לביקורת.

מאפייני הפניה

שכבה: שכבת תווכה של בינה מלאכותית
ערך תפעולי: שומר על מערכות מרובות מודלים ניתנות לניהול כאשר יישומי משימה מפעילים מודלים וכלים שונים
סיכון עיקרי: זליגת הקשר, אכיפת מדיניות לא עקבית, ושרשרות שבירות של לוגיקת הנחיות
תפקיד KhanBMS: מישור הבקרה המאפשר ל-KhanBMS להחליף מודלים מבלי לשכתב תוכנת משימה

מונחים קשורים

#llm#middleware#mlops