Mixture of experts (MoE)
Concept
Mistura de especialistas é uma arquitetura de modelo na qual um mecanismo de roteamento ativa apenas um subconjunto de sub-redes especialistas para cada entrada, de modo que um modelo pode ter muitos parâmetros e usar menos deles por inferência.
Também abordados
Os episódios sobre Mixture of experts (MoE) abordam também Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary e GPT-4.
Descrição
Mistura de especialistas (MoE) é uma técnica de aprendizado de máquina e uma arquitetura de modelo na qual várias sub-redes especialistas dividem o espaço do problema em regiões, enquanto um mecanismo de roteamento decide quais especialistas são usados para cada entrada. Como resultado, um modelo pode conter um número muito grande de parâmetros, mas apenas um subconjunto deles fica ativo durante qualquer inferência. A ideia vem do aprendizado por conjuntos, onde já foi descrita como máquinas de comitê, e tornou-se um padrão de projeto comum para grandes redes neurais.
O mecanismo central tem duas partes. Uma função de roteamento recebe a entrada e produz pesos, e cada especialista produz saídas. O resultado final geralmente é uma soma ponderada das saídas dos especialistas, e os especialistas e o roteador são treinados em conjunto. No aprendizado profundo, a principal motivação é a computação condicional: ao manter apenas os k maiores valores do roteador, com k normalmente igual a 1 ou 2, apenas alguns especialistas são executados para uma dada entrada. Essa abordagem, chamada MoE esparso com roteamento, foi apresentada por Shazeer e colegas da Google Brain em 2017. Em modelos Transformer, as camadas MoE geralmente substituem as camadas feedforward dentro dos blocos Transformer.
Vários modelos conhecidos usam esse projeto. O Switch Transformer usa roteamento top-1, o GLaM tem 1,2 trilhão de parâmetros, o Mixtral 8x7B tem 46,7 bilhões de parâmetros e 8 especialistas, e o DBRX tem 132 bilhões de parâmetros e 16 especialistas. Esses exemplos mostram como a arquitetura é aplicada em escalas muito diferentes, sempre com o mesmo princípio de ativar apenas parte da rede para cada entrada.
Treinar e operar modelos MoE envolve várias decisões de projeto. O balanceamento de carga é uma delas: sem contramedidas, alguns especialistas podem receber muito mais entradas que outros, e abordagens como perdas auxiliares ou ajustes de viés no estilo DeepSeek são usadas para equilibrar a carga. Outros tópicos incluem fatores de capacidade, descarte de tokens, a distinção entre especialistas compartilhados e roteados e o sparse upcycling, que converte um modelo denso em um modelo MoE. Limitações conhecidas incluem desequilíbrio de carga, roteamento discreto que é mais difícil de otimizar, muitas escolhas de projeto que interagem entre si e estabilidade no treinamento.
O termo também aparece em discussões sobre IA empresarial. O episódio do M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" descreve uma abordagem de Mistura de especialistas na qual serviços de IA especializados colaboram e selecionam modelos específicos adequados à tarefa em questão. Segundo o episódio, isso contrasta com estratégias tradicionais de múltiplos modelos, que muitas vezes dependem de um único modelo generalista, e apresenta a MoE como uma forma de melhorar o desempenho aproveitando os pontos fortes de vários especialistas. O episódio também cita um dado de provedores de serviços que relatam um impacto positivo de 97% na satisfação do cliente quando sistemas de IA especializados são adotados. Esse número é atribuído ao episódio e não é uma propriedade da própria arquitetura.
Ao avaliar MoE na prática, o principal compromisso é entre a quantidade total de parâmetros e o custo por inferência. Um modelo esparso pode oferecer grande capacidade ativando apenas uma fração de seus parâmetros, mas traz preocupações de roteamento, balanceamento e estabilidade que modelos densos não têm. Leitores que comparam o significado arquitetural com a abordagem voltada para empresas do episódio devem observar que o primeiro descreve o roteamento dentro de uma única rede neural, enquanto o segundo descreve a seleção entre serviços ou modelos de IA especializados para uma tarefa.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Tipo | Concept |
|---|---|
| Wikipédia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (2)
Artigos que tratam de Mixture of experts (MoE):
- A morte do bot generalista: por que seu Copilot corporativo precisa de especialização
· Mirko Peters
Bem-vindo de volta ao blog do podcast! Se você acompanha nossos episódios de áudio recentes, sabe que temos explorado as enormes mudanças que estão acontecendo em todo o ambiente c - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Perguntas frequentes
Questions marked with AI were written with AI from the facts on this page.
O que é mistura de especialistas (MoE)? (AI)
Mistura de especialistas é uma arquitetura de modelo na qual um mecanismo de roteamento ativa apenas um subconjunto de sub-redes especialistas para cada entrada. Isso permite que um modelo tenha muitos parâmetros e use menos deles por inferência.
Como funciona o mecanismo de roteamento em um modelo MoE? (AI)
Uma função de roteamento recebe a entrada e produz pesos, cada especialista produz saídas e o resultado final geralmente é uma soma ponderada. No MoE esparso com roteamento, apenas os k maiores valores do roteador são mantidos, com k normalmente igual a 1 ou 2, de modo que apenas alguns especialistas são executados.
Quais desafios estão associados à mistura de especialistas? (AI)
Limitações conhecidas incluem desequilíbrio de carga entre especialistas, roteamento discreto que é mais difícil de otimizar, muitas escolhas de projeto que interagem entre si e estabilidade no treinamento. Técnicas como perdas auxiliares, fatores de capacidade e ajustes de viés são usadas para lidar com o balanceamento.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Especialistas e empresas para este tópico
Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- Feed RSS: Mixture of experts (MoE)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: