M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concept

Mistura de especialistas é uma arquitetura de modelo na qual um mecanismo de roteamento ativa apenas um subconjunto de sub-redes especialistas para cada entrada, de modo que um modelo pode ter muitos parâmetros e usar menos deles por inferência.

✦ CONCEPTMixture of experts (MoE)M365.FM
Title graphic: Mixture of experts (MoE) (Concept)

Também abordados

Os episódios sobre Mixture of experts (MoE) abordam também Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary e GPT-4.

Descrição

Mistura de especialistas (MoE) é uma técnica de aprendizado de máquina e uma arquitetura de modelo na qual várias sub-redes especialistas dividem o espaço do problema em regiões, enquanto um mecanismo de roteamento decide quais especialistas são usados para cada entrada. Como resultado, um modelo pode conter um número muito grande de parâmetros, mas apenas um subconjunto deles fica ativo durante qualquer inferência. A ideia vem do aprendizado por conjuntos, onde já foi descrita como máquinas de comitê, e tornou-se um padrão de projeto comum para grandes redes neurais.

O mecanismo central tem duas partes. Uma função de roteamento recebe a entrada e produz pesos, e cada especialista produz saídas. O resultado final geralmente é uma soma ponderada das saídas dos especialistas, e os especialistas e o roteador são treinados em conjunto. No aprendizado profundo, a principal motivação é a computação condicional: ao manter apenas os k maiores valores do roteador, com k normalmente igual a 1 ou 2, apenas alguns especialistas são executados para uma dada entrada. Essa abordagem, chamada MoE esparso com roteamento, foi apresentada por Shazeer e colegas da Google Brain em 2017. Em modelos Transformer, as camadas MoE geralmente substituem as camadas feedforward dentro dos blocos Transformer.

Vários modelos conhecidos usam esse projeto. O Switch Transformer usa roteamento top-1, o GLaM tem 1,2 trilhão de parâmetros, o Mixtral 8x7B tem 46,7 bilhões de parâmetros e 8 especialistas, e o DBRX tem 132 bilhões de parâmetros e 16 especialistas. Esses exemplos mostram como a arquitetura é aplicada em escalas muito diferentes, sempre com o mesmo princípio de ativar apenas parte da rede para cada entrada.

Treinar e operar modelos MoE envolve várias decisões de projeto. O balanceamento de carga é uma delas: sem contramedidas, alguns especialistas podem receber muito mais entradas que outros, e abordagens como perdas auxiliares ou ajustes de viés no estilo DeepSeek são usadas para equilibrar a carga. Outros tópicos incluem fatores de capacidade, descarte de tokens, a distinção entre especialistas compartilhados e roteados e o sparse upcycling, que converte um modelo denso em um modelo MoE. Limitações conhecidas incluem desequilíbrio de carga, roteamento discreto que é mais difícil de otimizar, muitas escolhas de projeto que interagem entre si e estabilidade no treinamento.

O termo também aparece em discussões sobre IA empresarial. O episódio do M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" descreve uma abordagem de Mistura de especialistas na qual serviços de IA especializados colaboram e selecionam modelos específicos adequados à tarefa em questão. Segundo o episódio, isso contrasta com estratégias tradicionais de múltiplos modelos, que muitas vezes dependem de um único modelo generalista, e apresenta a MoE como uma forma de melhorar o desempenho aproveitando os pontos fortes de vários especialistas. O episódio também cita um dado de provedores de serviços que relatam um impacto positivo de 97% na satisfação do cliente quando sistemas de IA especializados são adotados. Esse número é atribuído ao episódio e não é uma propriedade da própria arquitetura.

Ao avaliar MoE na prática, o principal compromisso é entre a quantidade total de parâmetros e o custo por inferência. Um modelo esparso pode oferecer grande capacidade ativando apenas uma fração de seus parâmetros, mas traz preocupações de roteamento, balanceamento e estabilidade que modelos densos não têm. Leitores que comparam o significado arquitetural com a abordagem voltada para empresas do episódio devem observar que o primeiro descreve o roteamento dentro de uma única rede neural, enquanto o segundo descreve a seleção entre serviços ou modelos de IA especializados para uma tarefa.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TipoConcept
WikipédiaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Articles about Mixture of experts (MoE) (2)

Artigos que tratam de Mixture of experts (MoE):

Perguntas frequentes

Questions marked with AI were written with AI from the facts on this page.

O que é mistura de especialistas (MoE)? (AI)

Mistura de especialistas é uma arquitetura de modelo na qual um mecanismo de roteamento ativa apenas um subconjunto de sub-redes especialistas para cada entrada. Isso permite que um modelo tenha muitos parâmetros e use menos deles por inferência.

Como funciona o mecanismo de roteamento em um modelo MoE? (AI)

Uma função de roteamento recebe a entrada e produz pesos, cada especialista produz saídas e o resultado final geralmente é uma soma ponderada. No MoE esparso com roteamento, apenas os k maiores valores do roteador são mantidos, com k normalmente igual a 1 ou 2, de modo que apenas alguns especialistas são executados.

Quais desafios estão associados à mistura de especialistas? (AI)

Limitações conhecidas incluem desequilíbrio de carga entre especialistas, roteamento discreto que é mais difícil de otimizar, muitas escolhas de projeto que interagem entre si e estabilidade no treinamento. Técnicas como perdas auxiliares, fatores de capacidade e ajustes de viés são usadas para lidar com o balanceamento.

Glossário

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Especialistas e empresas para este tópico

Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: