M365Con 2027 – مؤتمر مجاني عبر الإنترنت · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concept

مزيج الخبراء (Mixture of experts) هو بنية نموذج يقوم فيها آلية توجيه (gating) بتفعيل مجموعة فرعية فقط من الشبكات الفرعية الخبيرة لكل مدخل، بحيث يمكن أن يضم النموذج عددًا كبيرًا من المعاملات مع استخدام عدد أقل منها في كل عملية استدلال.

✦ CONCEPTMixture of experts (MoE)M365.FM
Title graphic: Mixture of experts (MoE) (Concept)

مواضيع تُناقش أيضًا

في الحلقات التي تتناول Mixture of experts (MoE) تُناقش أيضًا: Copilot flex routing، Phi-3، Microsoft Agent 365، Microsoft Foundry، EU Data Boundary وGPT-4.

Description

مزيج الخبراء (MoE) هو أسلوب تعلم آلي وبنية نموذج تقسم فيها عدة شبكات فرعية خبيرة فضاء المشكلة إلى مناطق، بينما تحدد آلية التوجيه الخبراء المستخدمين لكل مدخل. ونتيجة لذلك، يمكن للنموذج أن يحتوي على عدد كبير جدًا من المعاملات، بينما لا تكون سوى مجموعة فرعية منها نشطة أثناء أي عملية استدلال واحدة. وينبع هذا المفهوم من التعلم الجماعي (ensemble learning)، حيث وُصف في السابق بأنه آلات اللجان (committee machines)، وأصبح نمطًا تصميميًا شائعًا للشبكات العصبية الكبيرة.

تتكون الآلية الأساسية من جزأين. تأخذ دالة التوجيه المدخل وتنتج أوزانًا، وينتج كل خبير مخرجاته. والنتيجة النهائية عادةً ما تكون مجموعًا موزونًا لمخرجات الخبراء، ويُدرَّب الخبراء والموجِّه معًا. وفي التعلم العميق، يتمثل الدافع الرئيسي في الحوسبة الشرطية (conditional computation): فمن خلال الإبقاء على أعلى قيم k من قيم التوجيه، وعادةً ما تكون k مساوية لـ 1 أو 2، لا يعمل سوى بعض الخبراء لمدخل معين. وقد قدّم هذا النهج، المعروف باسم MoE المُوجَّه بشكل متفرق (sparsely-gated MoE)، شازير (Shazeer) وزملاؤه في Google Brain عام 2017. وفي نماذج Transformer، تحل طبقات MoE عادةً محل طبقات التغذية الأمامية (feedforward) داخل كتل Transformer.

تستخدم عدة نماذج معروفة هذا التصميم. يستخدم Switch Transformer توجيهًا من الدرجة الأولى (top-1)، ويضم GLaM ما يصل إلى 1.2 تريليون معامل، ويضم Mixtral 8x7B عدد 46.7 مليار معامل و8 خبراء، ويضم DBRX عدد 132 مليار معامل و16 خبيرًا. وتوضح هذه الأمثلة كيف يُطبَّق هذا البنيان على مقاييس مختلفة جدًا، مع الالتزام دائمًا بالمبدأ نفسه المتمثل في تفعيل جزء فقط من الشبكة لكل مدخل.

ينطوي تدريب نماذج MoE وتشغيلها على عدد من قرارات التصميم. ويُعد موازنة الحمل أحدها: فمن دون إجراءات مضادة، قد يتلقى بعض الخبراء مدخلات أكثر بكثير من غيرهم، وتُستخدم أساليب مثل الخسائر المساعدة (auxiliary losses) أو تعديلات الانحياز على طريقة DeepSeek لتحقيق توازن في الحمل. وتشمل الموضوعات الأخرى عوامل السعة (capacity factors)، وإسقاط الرموز (token dropping)، والتمييز بين الخبراء المشتركين والخبراء الموجَّهين، والتقليص المتفرق (sparse upcycling) الذي يحوّل نموذجًا كثيفًا إلى نموذج MoE. ومن القيود المعروفة عدم توازن الحمل، والتوجيه المنفصل الذي يصعب تحسينه، وكثرة خيارات التصميم المتداخلة، واستقرار التدريب.

يظهر المصطلح أيضًا في النقاشات حول الذكاء الاصطناعي في المؤسسات. تصف حلقة M365.FM بعنوان "Mixture of Experts for Enterprise Copilot and AI Agents" نهج مزيج الخبراء الذي تتعاون فيه خدمات الذكاء الاصطناعي المتخصصة وتختار نماذج محددة تناسب المهمة المطروحة. وبحسب الحلقة، يختلف هذا عن استراتيجيات تعدد النماذج التقليدية التي تعتمد غالبًا على نموذج عام واحد، وتقدّم MoE بوصفها وسيلة لتحسين الأداء عبر الاستفادة من نقاط قوة عدة خبراء. وتستشهد الحلقة أيضًا برقم من مزودي الخدمات يشير إلى أثر إيجابي بنسبة 97% على رضا العملاء عند اعتماد أنظمة ذكاء اصطناعي متخصصة. وهذا الرقم منسوب إلى الحلقة، وليس خاصية للبنية نفسها.

عند تقييم MoE عمليًا، يتمثل المفاضلة المحورية بين العدد الإجمالي للمعاملات والتكلفة لكل استدلال. فقد يوفر النموذج المتفرق سعة كبيرة مع تفعيل جزء ضئيل فقط من معاملاته، لكنه يجلب معه اعتبارات تتعلق بالتوجيه وموازنة الحمل والاستقرار لا توجد في النماذج الكثيفة. وعلى القارئ الذي يقارن المعنى المعماري بالإطار الموجَّه نحو المؤسسات في الحلقة أن يلاحظ أن الأول يصف التوجيه داخل شبكة عصبية واحدة، بينما يصف الثاني اختيار خدمات أو نماذج ذكاء اصطناعي متخصصة لمهمة معينة.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
WikipediaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Articles about Mixture of experts (MoE) (2)

مقالات تتناول Mixture of experts (MoE):

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

ما هو مزيج الخبراء (MoE)؟ (AI)

مزيج الخبراء هو بنية نموذج تقوم فيها آلية توجيه بتفعيل مجموعة فرعية فقط من الشبكات الفرعية الخبيرة لكل مدخل. وهذا يتيح للنموذج أن يحتوي على معاملات كثيرة مع استخدام عدد أقل منها في كل عملية استدلال.

كيف تعمل آلية التوجيه في نموذج MoE؟ (AI)

تأخذ دالة التوجيه المدخل وتنتج أوزانًا، ويُنتج كل خبير مخرجاته، وعادةً ما تكون النتيجة النهائية مجموعًا موزونًا. وفي MoE المُوجَّه بشكل متفرق، لا يُحتفظ إلا بأعلى قيم k من قيم التوجيه، وعادةً ما تكون k مساوية لـ 1 أو 2، فلا يعمل سوى بعض الخبراء.

ما التحديات المرتبطة بمزيج الخبراء؟ (AI)

تشمل الحدود المعروفة عدم توازن الحمل بين الخبراء، والتوجيه المنفصل الذي يصعب تحسينه، وكثرة خيارات التصميم المتداخلة، واستقرار التدريب. وتُستخدم تقنيات مثل الخسائر المساعدة، وعوامل السعة، وتعديلات الانحياز لمعالجة مسألة التوازن.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: