Mixture of experts (MoE)
Concetto
Il mixture of experts è un'architettura di modello in cui un meccanismo di gating attiva, per ciascun input, solo un sottoinsieme di sotto-reti esperte, così un modello può avere molti parametri pur usandone meno a ogni inferenza.
Trattati anche
Gli episodi su Mixture of experts (MoE) parlano anche di Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary e GPT-4.
Descrizione
Il mixture of experts (MoE) è una tecnica di apprendimento automatico e un'architettura di modello in cui più sotto-reti esperte suddividono lo spazio del problema in regioni, mentre un meccanismo di gating decide quali esperti utilizzare per ciascun input. Di conseguenza, un modello può contenere un numero molto elevato di parametri, mentre durante una singola inferenza ne sono attivi solo alcuni. L'idea deriva dall'ensemble learning, dove un tempo veniva descritta come committee machines, ed è diventata un pattern di progettazione comune per le grandi reti neurali.
Il meccanismo centrale è composto da due parti. Una funzione di gating riceve l'input e produce dei pesi, mentre gli esperti producono ciascuno un output. Il risultato finale è di solito una somma pesata degli output degli esperti, e gli esperti e il gate vengono addestrati congiuntamente. Nel deep learning la motivazione principale è il calcolo condizionale: mantenendo solo i valori top-k del gate, con k tipicamente pari a 1 o 2, per un dato input vengono eseguiti solo alcuni esperti. Questo approccio, chiamato MoE sparsely-gated, è stato introdotto da Shazeer e colleghi di Google Brain nel 2017. Nei modelli Transformer, i livelli MoE sostituiscono di solito i livelli feedforward all'interno dei blocchi Transformer.
Diversi modelli noti adottano questo design. Lo Switch Transformer usa il routing top-1, GLaM ha 1,2 trilioni di parametri, Mixtral 8x7B ha 46,7 miliardi di parametri e 8 esperti, e DBRX ha 132 miliardi di parametri e 16 esperti. Questi esempi mostrano come l'architettura venga applicata a scale molto diverse, sempre con lo stesso principio di attivare solo una parte della rete per ciascun input.
Addestrare e far funzionare i modelli MoE comporta una serie di decisioni progettuali. Il bilanciamento del carico è una di queste: senza contromisure, alcuni esperti possono ricevere molti più input di altri, e per uniformare il carico si ricorre a approcci come le perdite ausiliarie o gli aggiustamenti basati su bias in stile DeepSeek. Altri temi includono i fattori di capacità, lo scarto dei token, la distinzione tra esperti condivisi ed esperti instradati e lo sparse upcycling, che converte un modello denso in un modello MoE. Tra i limiti noti figurano lo squilibrio del carico, il routing discreto più difficile da ottimizzare, le numerose scelte progettuali interdipendenti e la stabilità dell'addestramento.
Il termine compare anche nelle discussioni sull'IA aziendale. L'episodio di M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" descrive un approccio Mixture of Experts in cui servizi di IA specializzati collaborano e selezionano modelli specifici adatti al compito da svolgere. Secondo l'episodio, questo si contrappone alle strategie tradizionali multi-modello, che spesso si basano su un singolo modello generalista, e presenta il MoE come un modo per migliorare le prestazioni sfruttando i punti di forza di più esperti. L'episodio cita anche una cifra fornita da alcuni fornitori di servizi, secondo cui l'adozione di sistemi di IA specializzati avrebbe un impatto positivo del 97% sulla soddisfazione dei clienti. Tale cifra è attribuita all'episodio e non è una proprietà dell'architettura in sé.
Nel valutare il MoE in pratica, il compromesso centrale è tra il numero totale di parametri e il costo per inferenza. Un modello sparso può offrire una grande capacità attivando solo una frazione dei suoi parametri, ma comporta problemi di routing, bilanciamento e stabilità che i modelli densi non hanno. Chi confronta il significato architetturale con l'impostazione orientata alle aziende dell'episodio deve notare che il primo descrive il routing all'interno di una singola rete neurale, mentre il secondo descrive la selezione tra servizi o modelli di IA specializzati per un compito.
Panoramica compilata con l'AI dagli episodi di M365.FM e dai dati di questa pagina. Puoi migliorarla con il pulsante di modifica qui sotto.
| Tipo | Concetto |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articoli su Mixture of experts (MoE) (2)
Articoli che trattano di Mixture of experts (MoE):
- La morte del bot generalista: perché il tuo Copilot aziendale ha bisogno di specializzazione
· Mirko Peters
Bentornato nel blog del podcast! Se hai seguito i nostri recenti episodi audio, sai che abbiamo analizzato i grandi cambiamenti in corso nel panorama dell'intelligenza artificiale - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Domande frequenti
Le domande contrassegnate con AI sono state scritte con l'AI a partire dai fatti riportati in questa pagina.
Che cos'è il mixture of experts (MoE)? (AI)
Il mixture of experts è un'architettura di modello in cui un meccanismo di gating attiva, per ciascun input, solo un sottoinsieme di sotto-reti esperte. Questo permette a un modello di avere molti parametri pur usandone meno a ogni inferenza.
Come funziona il meccanismo di gating in un modello MoE? (AI)
Una funzione di gating riceve l'input e produce dei pesi, gli esperti producono ciascuno un output e il risultato finale è di solito una somma pesata. Nel MoE sparsely-gated vengono mantenuti solo i valori top-k del gate, con k tipicamente pari a 1 o 2, quindi vengono eseguiti solo alcuni esperti.
Quali sfide sono associate al mixture of experts? (AI)
Tra i limiti noti figurano lo squilibrio del carico tra gli esperti, il routing discreto più difficile da ottimizzare, le numerose scelte progettuali interdipendenti e la stabilità dell'addestramento. Per affrontare il bilanciamento si ricorre a tecniche come le perdite ausiliarie, i fattori di capacità e gli aggiustamenti di bias.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Esperti e aziende per questo argomento
Nessuno ha ancora indicato questo argomento. Aggiungilo al tuo profilo.
Fonti
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- Feed RSS: Mixture of experts (MoE)
- Articoli su questo argomento: 2
Mantenuto da Mirko Peters (Microsoft MVP) · Ultimo aggiornamento: