M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Konzept

Mixture of Experts ist eine Modellarchitektur, bei der ein Gating-Mechanismus für jede Eingabe nur eine Teilmenge von Expertennetzen aktiviert. So kann ein Modell viele Parameter besitzen und bei der Inferenz dennoch weniger davon verwenden.

✦ KONZEPTMixture of experts (MoE)M365.FM
Titelbild: Mixture of experts (MoE) (Konzept)

Ebenfalls besprochen

In Folgen zu Mixture of experts (MoE) geht es auch um Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary und GPT-4.

Beschreibung

Mixture of Experts (MoE) ist eine Technik des maschinellen Lernens und eine Modellarchitektur, bei der mehrere Expertennetze einen Problemraum in Regionen aufteilen, während ein Gating-Mechanismus entscheidet, welche Experten für jede Eingabe verwendet werden. Dadurch kann ein Modell eine sehr große Anzahl an Parametern umfassen, wobei bei jeder einzelnen Inferenz nur ein Teil davon aktiv ist. Die Idee stammt aus dem Ensemble-Lernen, wo sie einst als Committee Machines beschrieben wurde, und hat sich zu einem gängigen Entwurfsmuster für große neuronale Netze entwickelt.

Der Kernmechanismus besteht aus zwei Teilen. Eine Gating-Funktion nimmt die Eingabe entgegen und erzeugt Gewichte, und die Experten erzeugen jeweils Ausgaben. Das Endergebnis ist in der Regel eine gewichtete Summe der Expertenausgaben, wobei die Experten und das Gate gemeinsam trainiert werden. Im Deep Learning liegt die Hauptmotivation in der bedingten Berechnung: Indem nur die Top-k-Gate-Werte beibehalten werden, wobei k typischerweise 1 oder 2 ist, laufen für eine gegebene Eingabe nur einige Experten. Dieser als sparsely-gated MoE bezeichnete Ansatz wurde 2017 von Shazeer und Kollegen bei Google Brain eingeführt. In Transformer-Modellen ersetzen MoE-Schichten üblicherweise die Feedforward-Schichten innerhalb der Transformer-Blöcke.

Mehrere bekannte Modelle nutzen dieses Design. Der Switch Transformer verwendet Top-1-Routing, GLaM hat 1,2 Billionen Parameter, Mixtral 8x7B hat 46,7 Mrd. Parameter und 8 Experten, und DBRX hat 132 Mrd. Parameter und 16 Experten. Diese Beispiele zeigen, wie die Architektur in sehr unterschiedlichen Größenordnungen angewendet wird, stets nach dem Prinzip, pro Eingabe nur einen Teil des Netzes zu aktivieren.

Das Training und der Betrieb von MoE-Modellen erfordern eine Reihe von Designentscheidungen. Die Lastverteilung ist eine davon: Ohne Gegenmaßnahmen können einige Experten weit mehr Eingaben erhalten als andere, weshalb Ansätze wie zusätzliche Verlustfunktionen oder Bias-Anpassungen im Stil von DeepSeek eingesetzt werden, um die Last gleichmäßiger zu verteilen. Weitere Themen sind Kapazitätsfaktoren, das Verwerfen von Tokens, die Unterscheidung zwischen geteilten und gerouteten Experten sowie Sparse Upcycling, bei dem ein dichtes Modell in ein MoE-Modell umgewandelt wird. Bekannte Einschränkungen sind Lastungleichgewichte, diskretes Routing, das schwerer zu optimieren ist, viele miteinander interagierende Designentscheidungen und die Stabilität des Trainings.

Der Begriff taucht auch in Diskussionen über Enterprise-KI auf. Die M365.FM-Episode "Mixture of Experts for Enterprise Copilot and AI Agents" beschreibt einen Mixture-of-Experts-Ansatz, bei dem spezialisierte KI-Dienste zusammenarbeiten und jeweils passende Modelle für die anstehende Aufgabe auswählen. Laut der Episode steht dies im Gegensatz zu traditionellen Multi-Modell-Strategien, die oft auf ein einziges generalistisches Modell setzen, und sie stellt MoE als Weg dar, die Leistung durch die Stärken mehrerer Experten zu verbessern. Die Episode verweist außerdem auf eine Zahl von Dienstleistern, die einen Anstieg der Kundenzufriedenheit um 97 % durch den Einsatz spezialisierter KI-Systeme melden. Diese Zahl wird der Episode zugeschrieben und ist keine Eigenschaft der Architektur selbst.

Bei der praktischen Bewertung von MoE ist der zentrale Zielkonflikt die Abwägung zwischen der Gesamtzahl der Parameter und den Kosten pro Inferenz. Ein sparsames Modell kann große Kapazität bieten, während nur ein Bruchteil seiner Parameter aktiviert wird, bringt aber Fragen des Routings, der Lastverteilung und der Stabilität mit sich, die dichte Modelle nicht kennen. Wer die architektonische Bedeutung mit der unternehmensorientierten Darstellung in der Episode vergleicht, sollte beachten, dass erstere das Routing innerhalb eines einzelnen neuronalen Netzes beschreibt, während letztere die Auswahl unter spezialisierten KI-Diensten oder Modellen für eine Aufgabe beschreibt.

Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.

TypKonzept
WikipediaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Artikel zu Mixture of experts (MoE) (2)

Artikel, in denen es um Mixture of experts (MoE) geht:

Häufige Fragen

Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.

Was ist Mixture of Experts (MoE)? (KI)

Mixture of Experts ist eine Modellarchitektur, bei der ein Gating-Mechanismus für jede Eingabe nur eine Teilmenge von Expertennetzen aktiviert. So kann ein Modell viele Parameter besitzen und bei der Inferenz dennoch weniger davon verwenden.

Wie funktioniert der Gating-Mechanismus in einem MoE-Modell? (KI)

Eine Gating-Funktion nimmt die Eingabe entgegen und erzeugt Gewichte, die Experten erzeugen jeweils Ausgaben, und das Endergebnis ist in der Regel eine gewichtete Summe. Beim sparsely-gated MoE werden nur die Top-k-Gate-Werte beibehalten, wobei k typischerweise 1 oder 2 ist, sodass nur einige Experten laufen.

Welche Herausforderungen sind mit Mixture of Experts verbunden? (KI)

Bekannte Grenzen sind ungleiche Lastverteilung zwischen den Experten, diskretes Routing, das schwerer zu optimieren ist, viele miteinander interagierende Designentscheidungen und die Stabilität des Trainings. Techniken wie zusätzliche Verlustfunktionen, Kapazitätsfaktoren und Bias-Anpassungen werden eingesetzt, um die Lastverteilung zu steuern.

Glossar

Community-Wiki

Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.

Experten und Firmen zu diesem Thema

Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.

Quellen

Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: