Mixture of experts (MoE)
Concept
Mixture of experts is een modelarchitectuur waarin een gating-mechanisme voor elke invoer slechts een subset van expert-subnetwerken activeert, zodat een model veel parameters kan hebben en er per inferentie minder gebruikt.
Ook besproken
Afleveringen over Mixture of experts (MoE) gaan ook over Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary en GPT-4.
Beschrijving
Mixture of experts (MoE) is een machine learning-techniek en modelarchitectuur waarin meerdere expert-subnetwerken een probleemruimte in gebieden verdelen, terwijl een gating-mechanisme bepaalt welke experts voor elke invoer worden gebruikt. Hierdoor kan een model een zeer groot aantal parameters bevatten, terwijl tijdens elke afzonderlijke inferentie slechts een subset ervan actief is. Het idee komt uit ensemble learning, waar het ooit werd beschreven als committee machines, en het is inmiddels een veelgebruikt ontwerppatroon geworden voor grote neurale netwerken.
Het kernmechanisme bestaat uit twee onderdelen. Een gating-functie neemt de invoer en produceert gewichten, en de experts produceren elk uitvoer. Het eindresultaat is meestal een gewogen som van de expertuitvoer, en de experts en de gate worden gezamenlijk getraind. In deep learning is de belangrijkste motivatie conditionele berekening: door alleen de top-k gate-waarden te behouden, met k meestal 1 of 2, draaien voor een bepaalde invoer slechts enkele experts. Deze aanpak, sparsely-gated MoE genoemd, werd in 2017 geïntroduceerd door Shazeer en collega's bij Google Brain. In Transformer-modellen vervangen MoE-lagen meestal de feedforward-lagen binnen de Transformer-blokken.
Verschillende bekende modellen gebruiken dit ontwerp. De Switch Transformer gebruikt top-1-routering, GLaM heeft 1,2 biljoen parameters, Mixtral 8x7B heeft 46,7B parameters en 8 experts, en DBRX heeft 132B parameters en 16 experts. Deze voorbeelden laten zien hoe de architectuur op zeer verschillende schalen wordt toegepast, altijd met hetzelfde principe: per invoer wordt slechts een deel van het netwerk geactiveerd.
Het trainen en exploiteren van MoE-modellen omvat een aantal ontwerpbeslissingen. Load balancing is er een van: zonder tegenmaatregelen kunnen sommige experts veel meer invoer ontvangen dan andere, en er worden benaderingen zoals auxiliary losses of DeepSeek-achtige biasaanpassingen gebruikt om de belasting gelijk te verdelen. Andere onderwerpen zijn capacity factors, token dropping, het onderscheid tussen gedeelde en geroutede experts, en sparse upcycling, waarbij een dicht model wordt omgezet in een MoE-model. Bekende beperkingen zijn onevenwichtige belasting, discrete routering die moeilijker te optimaliseren is, veel onderling samenhangende ontwerpkeuzes en trainingsstabiliteit.
De term komt ook voor in discussies over enterprise AI. De M365.FM-aflevering "Mixture of Experts for Enterprise Copilot and AI Agents" beschrijft een Mixture of Experts-aanpak waarin gespecialiseerde AI-diensten samenwerken en specifieke modellen selecteren die geschikt zijn voor de taak. Volgens de aflevering staat dit in contrast met traditionele multi-modelstrategieën die vaak op één generalistisch model vertrouwen, en wordt MoE gepresenteerd als een manier om de prestaties te verbeteren door gebruik te maken van de sterke punten van meerdere experts. De aflevering verwijst ook naar een cijfer van serviceproviders dat een positieve impact van 97% op klanttevredenheid meldt wanneer gespecialiseerde AI-systemen worden ingezet. Dat cijfer wordt aan de aflevering toegeschreven en is geen eigenschap van de architectuur zelf.
Bij de praktische evaluatie van MoE is de centrale afweging tussen het totale aantal parameters en de kosten per inferentie. Een sparse model kan grote capaciteit bieden terwijl het slechts een fractie van zijn parameters activeert, maar het brengt zorgen over routering, balancering en stabiliteit met zich mee die dichte modellen niet kennen. Lezers die de architecturale betekenis vergelijken met het op enterprise gerichte kader in de aflevering, moeten opmerken dat het eerste de routering binnen één neuraal netwerk beschrijft, terwijl het tweede beschrijft hoe men tussen gespecialiseerde AI-diensten of modellen voor een taak kiest.
Overzicht samengesteld met AI op basis van M365.FM-afleveringen en de feiten op deze pagina. Je kunt het verbeteren met de bewerkknop hieronder.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Artikelen over Mixture of experts (MoE) (2)
Artikelen waarin Mixture of experts (MoE) een onderwerp is:
- Het einde van de generalistische bot: waarom je Enterprise Copilot specialisatie nodig heeft
· Mirko Peters
Welkom terug bij de podcastblog! Als je onze recente audioafleveringen volgt, weet je dat we de enorme veranderingen in het enterprise-AI-landschap aan het uitpluizen zijn… - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Veelgestelde vragen
Vragen met AI zijn met AI geschreven op basis van de feiten op deze pagina.
Wat is mixture of experts (MoE)? (AI)
Mixture of experts is een modelarchitectuur waarin een gating-mechanisme voor elke invoer slechts een subset van expert-subnetwerken activeert. Hierdoor kan een model veel parameters hebben en er per inferentie minder gebruiken.
Hoe werkt het gating-mechanisme in een MoE-model? (AI)
Een gating-functie neemt de invoer en produceert gewichten, de experts produceren elk uitvoer, en het eindresultaat is meestal een gewogen som. In sparsely-gated MoE worden alleen de top-k gate-waarden behouden, met k meestal 1 of 2, zodat slechts enkele experts draaien.
Welke uitdagingen hangen samen met mixture of experts? (AI)
Bekende beperkingen zijn onevenwichtige belasting tussen experts, discrete routering die moeilijker te optimaliseren is, veel onderling samenhangende ontwerpkeuzes en trainingsstabiliteit. Technieken zoals auxiliary losses, capacity factors en biasaanpassingen worden gebruikt om de balancering aan te pakken.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts en bedrijven voor dit onderwerp
Niemand heeft dit onderwerp nog opgegeven. Voeg het toe aan je profiel.
Bronnen
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- RSS-feed: Mixture of experts (MoE)
- Artikelen over dit onderwerp: 2
Beheerd door Mirko Peters (Microsoft MVP) · Laatst bijgewerkt: