Mixture of experts (MoE)
Concepto
La mezcla de expertos es una arquitectura de modelo en la que un mecanismo de compuerta activa solo un subconjunto de subredes expertas para cada entrada, de modo que un modelo puede tener muchos parámetros y usar menos de ellos en cada inferencia.
También se tratan
Los episodios sobre Mixture of experts (MoE) tratan también Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary y GPT-4.
Descripción
La mezcla de expertos (MoE) es una técnica de aprendizaje automático y una arquitectura de modelo en la que varias subredes expertas dividen el espacio del problema en regiones, mientras que un mecanismo de compuerta decide qué expertos se utilizan para cada entrada. Como resultado, un modelo puede contener un número muy grande de parámetros, aunque solo un subconjunto de ellos esté activo durante cada inferencia. La idea procede del aprendizaje por conjuntos, donde en su momento se describió como máquinas de comité, y se ha convertido en un patrón de diseño habitual para las redes neuronales grandes.
El mecanismo central tiene dos partes. Una función de compuerta toma la entrada y produce pesos, y cada experto produce sus salidas. El resultado final suele ser una suma ponderada de las salidas de los expertos, y los expertos y la compuerta se entrenan de forma conjunta. En el aprendizaje profundo, la motivación principal es la computación condicional: al conservar solo los valores de compuerta top-k, con k normalmente igual a 1 o 2, solo algunos expertos se ejecutan para una entrada dada. Este enfoque, denominado MoE con compuerta dispersa, fue introducido por Shazeer y colaboradores en Google Brain en 2017. En los modelos Transformer, las capas MoE suelen sustituir a las capas de propagación hacia delante dentro de los bloques Transformer.
Varios modelos conocidos utilizan este diseño. Switch Transformer emplea enrutamiento top-1, GLaM tiene 1,2 billones de parámetros, Mixtral 8x7B tiene 46,7 mil millones de parámetros y 8 expertos, y DBRX tiene 132 mil millones de parámetros y 16 expertos. Estos ejemplos muestran cómo se aplica la arquitectura a escalas muy diferentes, siempre con el mismo principio de activar solo parte de la red para cada entrada.
Entrenar y operar modelos MoE implica varias decisiones de diseño. El equilibrio de carga es una de ellas: sin contramedidas, algunos expertos pueden recibir muchas más entradas que otros, y se emplean enfoques como las pérdidas auxiliares o los ajustes de sesgo al estilo DeepSeek para repartir la carga de manera uniforme. Otros temas incluyen los factores de capacidad, el descarte de tokens, la distinción entre expertos compartidos y expertos enrutados, y el upcycling disperso, que convierte un modelo denso en un modelo MoE. Entre las limitaciones conocidas figuran el desequilibrio de carga, el enrutamiento discreto, que es más difícil de optimizar, la gran cantidad de opciones de diseño que interactúan entre sí y la estabilidad del entrenamiento.
El término también aparece en los debates sobre la IA empresarial. El episodio de M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" describe un enfoque de mezcla de expertos en el que servicios de IA especializados colaboran y seleccionan modelos concretos adecuados a la tarea en cuestión. Según el episodio, esto contrasta con las estrategias tradicionales de multimodelo, que a menudo dependen de un único modelo generalista, y presenta MoE como una forma de mejorar el rendimiento aprovechando las fortalezas de múltiples expertos. El episodio también cita una cifra de proveedores de servicios que informan de un impacto positivo del 97 % en la satisfacción del cliente al adoptar sistemas de IA especializados. Esa cifra se atribuye al episodio y no es una propiedad de la propia arquitectura.
Al evaluar MoE en la práctica, el compromiso central está entre el número total de parámetros y el coste por inferencia. Un modelo disperso puede ofrecer gran capacidad activando solo una fracción de sus parámetros, pero conlleva preocupaciones de enrutamiento, equilibrio y estabilidad que los modelos densos no tienen. Los lectores que comparen el significado arquitectónico con el enfoque empresarial del episodio deben tener en cuenta que el primero describe el enrutamiento dentro de una única red neuronal, mientras que el segundo describe la selección entre servicios o modelos de IA especializados para una tarea.
Resumen generado con IA a partir de los episodios de M365.FM y los datos de esta página. Puedes mejorarlo con el botón de edición de abajo.
| Tipo | Concepto |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Artículos sobre Mixture of experts (MoE) (2)
Artículos que tratan sobre Mixture of experts (MoE):
- La muerte del bot generalista: por qué tu Copilot empresarial necesita especialización
· Mirko Peters
¡Bienvenido de nuevo al blog del podcast! Si has seguido nuestros episodios de audio recientes, sabes que hemos estado analizando los enormes cambios que se producen en todo el pan - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Preguntas frecuentes
Las preguntas marcadas con IA se escribieron con IA a partir de los datos de esta página.
¿Qué es la mezcla de expertos (MoE)? (IA)
La mezcla de expertos es una arquitectura de modelo en la que un mecanismo de compuerta activa solo un subconjunto de subredes expertas para cada entrada. Esto permite que un modelo tenga muchos parámetros y use menos de ellos en cada inferencia.
¿Cómo funciona el mecanismo de compuerta en un modelo MoE? (IA)
Una función de compuerta toma la entrada y produce pesos, los expertos producen cada uno sus salidas, y el resultado final suele ser una suma ponderada. En el MoE con compuerta dispersa solo se conservan los valores de compuerta top-k, con k normalmente igual a 1 o 2, de modo que solo se ejecutan algunos expertos.
¿Qué desafíos están asociados a la mezcla de expertos? (IA)
Entre los límites conocidos figuran el desequilibrio de carga entre expertos, el enrutamiento discreto, que es más difícil de optimizar, la gran cantidad de opciones de diseño que interactúan entre sí y la estabilidad del entrenamiento. Para abordar el equilibrio se emplean técnicas como las pérdidas auxiliares, los factores de capacidad y los ajustes de sesgo.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Expertos y empresas para este tema
Nadie ha indicado aún este tema. Añádelo a tu perfil.
Fuentes
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- Feed RSS: Mixture of experts (MoE)
- Artículos sobre este tema: 2
Mantenido por Mirko Peters (Microsoft MVP) · Última actualización: