M365Con 2027 – conferencia online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concepto

La mezcla de expertos es una arquitectura de modelo en la que un mecanismo de compuerta activa solo un subconjunto de subredes expertas para cada entrada, de modo que un modelo puede tener muchos parámetros y usar menos de ellos en cada inferencia.

✦ CONCEPTOMixture of experts (MoE)M365.FM
Gráfico de título: Mixture of experts (MoE) (Concepto)

También se tratan

Los episodios sobre Mixture of experts (MoE) tratan también Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary y GPT-4.

Descripción

La mezcla de expertos (MoE) es una técnica de aprendizaje automático y una arquitectura de modelo en la que varias subredes expertas dividen el espacio del problema en regiones, mientras que un mecanismo de compuerta decide qué expertos se utilizan para cada entrada. Como resultado, un modelo puede contener un número muy grande de parámetros, aunque solo un subconjunto de ellos esté activo durante cada inferencia. La idea procede del aprendizaje por conjuntos, donde en su momento se describió como máquinas de comité, y se ha convertido en un patrón de diseño habitual para las redes neuronales grandes.

El mecanismo central tiene dos partes. Una función de compuerta toma la entrada y produce pesos, y cada experto produce sus salidas. El resultado final suele ser una suma ponderada de las salidas de los expertos, y los expertos y la compuerta se entrenan de forma conjunta. En el aprendizaje profundo, la motivación principal es la computación condicional: al conservar solo los valores de compuerta top-k, con k normalmente igual a 1 o 2, solo algunos expertos se ejecutan para una entrada dada. Este enfoque, denominado MoE con compuerta dispersa, fue introducido por Shazeer y colaboradores en Google Brain en 2017. En los modelos Transformer, las capas MoE suelen sustituir a las capas de propagación hacia delante dentro de los bloques Transformer.

Varios modelos conocidos utilizan este diseño. Switch Transformer emplea enrutamiento top-1, GLaM tiene 1,2 billones de parámetros, Mixtral 8x7B tiene 46,7 mil millones de parámetros y 8 expertos, y DBRX tiene 132 mil millones de parámetros y 16 expertos. Estos ejemplos muestran cómo se aplica la arquitectura a escalas muy diferentes, siempre con el mismo principio de activar solo parte de la red para cada entrada.

Entrenar y operar modelos MoE implica varias decisiones de diseño. El equilibrio de carga es una de ellas: sin contramedidas, algunos expertos pueden recibir muchas más entradas que otros, y se emplean enfoques como las pérdidas auxiliares o los ajustes de sesgo al estilo DeepSeek para repartir la carga de manera uniforme. Otros temas incluyen los factores de capacidad, el descarte de tokens, la distinción entre expertos compartidos y expertos enrutados, y el upcycling disperso, que convierte un modelo denso en un modelo MoE. Entre las limitaciones conocidas figuran el desequilibrio de carga, el enrutamiento discreto, que es más difícil de optimizar, la gran cantidad de opciones de diseño que interactúan entre sí y la estabilidad del entrenamiento.

El término también aparece en los debates sobre la IA empresarial. El episodio de M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" describe un enfoque de mezcla de expertos en el que servicios de IA especializados colaboran y seleccionan modelos concretos adecuados a la tarea en cuestión. Según el episodio, esto contrasta con las estrategias tradicionales de multimodelo, que a menudo dependen de un único modelo generalista, y presenta MoE como una forma de mejorar el rendimiento aprovechando las fortalezas de múltiples expertos. El episodio también cita una cifra de proveedores de servicios que informan de un impacto positivo del 97 % en la satisfacción del cliente al adoptar sistemas de IA especializados. Esa cifra se atribuye al episodio y no es una propiedad de la propia arquitectura.

Al evaluar MoE en la práctica, el compromiso central está entre el número total de parámetros y el coste por inferencia. Un modelo disperso puede ofrecer gran capacidad activando solo una fracción de sus parámetros, pero conlleva preocupaciones de enrutamiento, equilibrio y estabilidad que los modelos densos no tienen. Los lectores que comparen el significado arquitectónico con el enfoque empresarial del episodio deben tener en cuenta que el primero describe el enrutamiento dentro de una única red neuronal, mientras que el segundo describe la selección entre servicios o modelos de IA especializados para una tarea.

Resumen generado con IA a partir de los episodios de M365.FM y los datos de esta página. Puedes mejorarlo con el botón de edición de abajo.

TipoConcepto
WikipediaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Artículos sobre Mixture of experts (MoE) (2)

Artículos que tratan sobre Mixture of experts (MoE):

Preguntas frecuentes

Las preguntas marcadas con IA se escribieron con IA a partir de los datos de esta página.

¿Qué es la mezcla de expertos (MoE)? (IA)

La mezcla de expertos es una arquitectura de modelo en la que un mecanismo de compuerta activa solo un subconjunto de subredes expertas para cada entrada. Esto permite que un modelo tenga muchos parámetros y use menos de ellos en cada inferencia.

¿Cómo funciona el mecanismo de compuerta en un modelo MoE? (IA)

Una función de compuerta toma la entrada y produce pesos, los expertos producen cada uno sus salidas, y el resultado final suele ser una suma ponderada. En el MoE con compuerta dispersa solo se conservan los valores de compuerta top-k, con k normalmente igual a 1 o 2, de modo que solo se ejecutan algunos expertos.

¿Qué desafíos están asociados a la mezcla de expertos? (IA)

Entre los límites conocidos figuran el desequilibrio de carga entre expertos, el enrutamiento discreto, que es más difícil de optimizar, la gran cantidad de opciones de diseño que interactúan entre sí y la estabilidad del entrenamiento. Para abordar el equilibrio se emplean técnicas como las pérdidas auxiliares, los factores de capacidad y los ajustes de sesgo.

Glosario

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Expertos y empresas para este tema

Nadie ha indicado aún este tema. Añádelo a tu perfil.

Fuentes

Mantenido por Mirko Peters (Microsoft MVP) · Última actualización: