Mixture of experts (MoE)
Concept
ארכיטקטורת מומחים מעורבים (Mixture of experts) היא ארכיטקטורת מודל שבה מנגנון שער מפעיל לכל קלט רק תת-קבוצה של תת-רשתות מומחים, כך שמודל יכול להכיל מספר רב של פרמטרים תוך שימוש בפחות מהם בכל הסקה.
נושאים שנדונים גם
בפרקים על Mixture of experts (MoE) עולים גם: Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary ו-GPT-4.
Description
ארכיטקטורת מומחים מעורבים (MoE) היא טכניקת למידת מכונה וארכיטקטורת מודל שבה מספר תת-רשתות מומחים מחלקות את מרחב הבעיה לאזורים, ומנגנון שער מחליט אילו מומחים משמשים לכל קלט. כתוצאה מכך, מודל יכול לכלול מספר גדול מאוד של פרמטרים, כאשר רק תת-קבוצה מהם פעילה במהלך כל הסקה בודדת. הרעיון נובע מלמידה אנסמבלית, שם תואר בעבר כ-committee machines, והוא הפך לתבנית תכנון נפוצה לרשתות נוירונים גדולות.
המנגנון המרכזי כולל שני חלקים. פונקציית שער לוקחת את הקלט ומייצרת משקלים, והמומחים מייצרים כל אחד פלטים. התוצאה הסופית היא בדרך כלל סכום משוקלל של פלטי המומחים, והמומחים והשער מאומנים יחד. בלמידה עמוקה, המניע העיקרי הוא חישוב מותנה: על ידי שמירה רק על ערכי השער המובילים (top-k), כאשר k הוא בדרך כלל 1 או 2, רק חלק מהמומחים פועלים עבור קלט נתון. גישה זו, הנקראת MoE עם שערים דלילים (sparsely-gated MoE), הוצגה על ידי Shazeer ועמיתיו ב-Google Brain בשנת 2017. במודלי Transformer, שכבות MoE מחליפות בדרך כלל את שכבות ה-feedforward בתוך בלוקי ה-Transformer.
מספר מודלים מוכרים משתמשים בתכנון זה. ל-Switch Transformer יש ניתוב top-1, ל-GLaM יש 1.2 טריליון פרמטרים, ל-Mixtral 8x7B יש 46.7 מיליארד פרמטרים ו-8 מומחים, ול-DBRX יש 132 מיליארד פרמטרים ו-16 מומחים. דוגמאות אלה מראות כיצד הארכיטקטורה מיושמת בהיקפים שונים מאוד, תוך שמירה על אותו עיקרון של הפעלת חלק בלבד מהרשת לכל קלט.
אימון והפעלה של מודלי MoE כרוכים במספר החלטות תכנון. איזון עומסים הוא אחת מהן: ללא אמצעי נגד, חלק מהמומחים עלולים לקבל הרבה יותר קלטים מאחרים, ולכן משתמשים בגישות כגון פונקציות הפסד עזר או התאמות הטיה בסגנון DeepSeek כדי לאזן את העומס. נושאים נוספים כוללים גורמי קיבולת, השלכת טוקנים, ההבחנה בין מומחים משותפים למומחים מנותבים, ו-sparse upcycling, שממיר מודל צפוף למודל MoE. מגבלות ידועות כוללות חוסר איזון בעומסים, ניתוב דיסקרטי שקשה יותר לאופטימיזציה, בחירות תכנון רבות שמשפיעות זו על זו, ויציבות אימון.
המונח מופיע גם בדיונים על בינה מלאכותית ארגונית. הפרק של M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" מתאר גישת Mixture of Experts שבה שירותי AI מתמחים משתפים פעולה ובוחרים מודלים ספציפיים המתאימים למשימה הנתונה. לפי הפרק, זה מנוגד לאסטרטגיות רב-מודליות מסורתיות שנשענות לעתים קרובות על מודל כללי יחיד, והוא מציג את MoE כדרך לשפר ביצועים באמצעות ניצול החוזקות של מספר מומחים. הפרק גם מצטט נתון מצד ספקי שירותים לפיו אימוץ מערכות AI מתמחות מדווח על השפעה חיובית של 97% על שביעות רצון הלקוחות. נתון זה מיוחס לפרק ואינו תכונה של הארכיטקטורה עצמה.
בהערכת MoE בפועל, הפשרה המרכזית היא בין מספר הפרמטרים הכולל לבין העלות לכל הסקה. מודל דליל יכול להציע קיבולת גדולה תוך הפעלת חלק קטן בלבד מהפרמטרים שלו, אך הוא מביא עמו שיקולים של ניתוב, איזון ויציבות שאין במודלים צפופים. קוראים המשווים את המשמעות הארכיטקטונית עם המסגור הארגוני של הפרק צריכים לשים לב שהראשונה מתארת ניתוב בתוך רשת נוירונים יחידה, ואילו השנייה מתארת בחירה בין שירותי AI או מודלים מתמחים למשימה.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (2)
מאמרים שעוסקים ב-Mixture of experts (MoE):
- מותו של הבוט הכללי: מדוע ה-Copilot הארגוני שלכם זקוק להתמחות
· Mirko Peters
ברוכים השבים לבלוג הפודקאסט! אם עקבתם אחר הפרקים הקוליים האחרונים שלנו, אתם יודעים שבחנו לעומק את השינויים הגדולים שמתרחשים בנוף הבינה המלאכותית הארגונית… - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
מהי ארכיטקטורת מומחים מעורבים (MoE)? (AI)
ארכיטקטורת מומחים מעורבים (Mixture of experts) היא ארכיטקטורת מודל שבה מנגנון שער מפעיל לכל קלט רק תת-קבוצה של תת-רשתות מומחים. כך מודל יכול להכיל מספר רב של פרמטרים תוך שימוש בפחות מהם בכל הסקה.
איך פועל מנגנון השער במודל MoE? (AI)
פונקציית שער לוקחת את הקלט ומייצרת משקלים, המומחים מייצרים כל אחד פלטים, והתוצאה הסופית היא בדרך כלל סכום משוקלל. ב-MoE עם שערים דלילים נשמרים רק ערכי השער המובילים (top-k), כאשר k הוא בדרך כלל 1 או 2, ולכן רק חלק מהמומחים פועלים.
אילו אתגרים קשורים למומחים מעורבים? (AI)
מגבלות ידועות כוללות חוסר איזון עומסים בין המומחים, ניתוב דיסקרטי שקשה יותר לאופטימיזציה, בחירות תכנון רבות שמשפיעות זו על זו, ויציבות אימון. לטיפול באיזון משתמשים בטכניקות כגון פונקציות הפסד עזר, גורמי קיבולת והתאמות הטיה.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- פיד RSS: Mixture of experts (MoE)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: