M365Con 2027 – conférence en ligne gratuite · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concept

Le mélange d'experts est une architecture de modèle dans laquelle un mécanisme de routage n'active qu'un sous-ensemble de sous-réseaux experts pour chaque entrée. Un modèle peut ainsi disposer de nombreux paramètres tout en en utilisant moins à chaque inférence.

✦ CONCEPTMixture of experts (MoE)M365.FM
Image de titre : Mixture of experts (MoE) (Concept)

Également abordés

Les épisodes consacrés à Mixture of experts (MoE) abordent aussi Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary et GPT-4.

Description

Le mélange d'experts (MoE) est une technique d'apprentissage automatique et une architecture de modèle dans laquelle plusieurs sous-réseaux experts se répartissent l'espace du problème en régions, tandis qu'un mécanisme de routage décide quels experts sont utilisés pour chaque entrée. Un modèle peut ainsi contenir un très grand nombre de paramètres, seule une partie d'entre eux étant active lors d'une inférence donnée. L'idée provient de l'apprentissage par ensembles, où elle était autrefois décrite sous le nom de machines à comité, et elle est devenue un schéma de conception courant pour les grands réseaux de neurones.

Le mécanisme central comporte deux éléments. Une fonction de routage prend l'entrée et produit des poids, et les experts produisent chacun une sortie. Le résultat final est généralement une somme pondérée des sorties des experts, et les experts ainsi que le routeur sont entraînés conjointement. En apprentissage profond, la motivation principale est le calcul conditionnel : en ne conservant que les k valeurs de routage les plus élevées, avec k valant généralement 1 ou 2, seuls certains experts s'exécutent pour une entrée donnée. Cette approche, appelée MoE à routage parcimonieux, a été présentée par Shazeer et ses collègues de Google Brain en 2017. Dans les modèles Transformer, les couches MoE remplacent généralement les couches entièrement connectées à l'intérieur des blocs Transformer.

Plusieurs modèles bien connus reposent sur cette conception. Le Switch Transformer utilise un routage top-1, GLaM compte 1,2 billion de paramètres, Mixtral 8x7B possède 46,7 milliards de paramètres et 8 experts, et DBRX possède 132 milliards de paramètres et 16 experts. Ces exemples montrent que l'architecture est appliquée à des échelles très différentes, toujours selon le même principe : n'activer qu'une partie du réseau pour chaque entrée.

L'entraînement et l'exploitation des modèles MoE supposent plusieurs choix de conception. L'équilibrage de charge en fait partie : sans contre-mesures, certains experts peuvent recevoir bien plus d'entrées que d'autres, et des approches telles que les pertes auxiliaires ou les ajustements de biais à la manière de DeepSeek sont utilisées pour répartir la charge. D'autres sujets incluent le facteur de capacité, l'abandon de jetons, la distinction entre experts partagés et experts routés, ainsi que le sparse upcycling, qui convertit un modèle dense en modèle MoE. Les limites connues comprennent le déséquilibre de charge, un routage discret plus difficile à optimiser, de nombreux choix de conception en interaction et la stabilité de l'entraînement.

Le terme apparaît également dans les discussions sur l'IA en entreprise. L'épisode de M365.FM « Mixture of Experts for Enterprise Copilot and AI Agents » décrit une approche de mélange d'experts dans laquelle des services d'IA spécialisés collaborent et sélectionnent les modèles les mieux adaptés à la tâche. Selon cet épisode, cela contraste avec les stratégies multimodèles traditionnelles, qui reposent souvent sur un seul modèle généraliste, et présente le MoE comme un moyen d'améliorer les performances en tirant parti des forces de plusieurs experts. L'épisode cite également un chiffre avancé par des fournisseurs de services, selon lequel l'adoption de systèmes d'IA spécialisés aurait un impact positif de 97 % sur la satisfaction client. Ce chiffre est attribué à l'épisode et ne relève pas de l'architecture elle-même.

Pour évaluer le MoE en pratique, le compromis central se situe entre le nombre total de paramètres et le coût par inférence. Un modèle parcimonieux peut offrir une grande capacité tout en n'activant qu'une fraction de ses paramètres, mais il pose des problèmes de routage, d'équilibrage et de stabilité que les modèles denses ne connaissent pas. Les lecteurs qui comparent le sens architectural de la notion avec le cadrage orienté entreprise de l'épisode doivent noter que le premier décrit le routage au sein d'un même réseau de neurones, alors que le second décrit la sélection entre des services ou modèles d'IA spécialisés pour une tâche.

Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.

TypeConcept
WikipédiaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Articles sur Mixture of experts (MoE) (2)

Articles qui traitent de Mixture of experts (MoE) :

Questions fréquentes

Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.

Qu'est-ce que le mélange d'experts (MoE) ? (IA)

Le mélange d'experts est une architecture de modèle dans laquelle un mécanisme de routage n'active qu'un sous-ensemble de sous-réseaux experts pour chaque entrée. Un modèle peut ainsi disposer de nombreux paramètres tout en en utilisant moins à chaque inférence.

Comment fonctionne le mécanisme de routage dans un modèle MoE ? (IA)

Une fonction de routage prend l'entrée et produit des poids, les experts produisent chacun une sortie, et le résultat final est généralement une somme pondérée. Dans le MoE à routage parcimonieux, seules les k valeurs de routage les plus élevées sont conservées, avec k valant généralement 1 ou 2, de sorte que seuls certains experts s'exécutent.

Quels défis sont associés au mélange d'experts ? (IA)

Les limites connues comprennent le déséquilibre de charge entre experts, un routage discret plus difficile à optimiser, de nombreux choix de conception en interaction et la stabilité de l'entraînement. Des techniques telles que les pertes auxiliaires, le facteur de capacité et les ajustements de biais sont utilisées pour traiter l'équilibrage.

Glossaire

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts et entreprises pour ce sujet

Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.

Sources

Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: