M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concept

전문가 혼합(Mixture of experts)은 게이팅 메커니즘이 입력마다 일부 전문가 하위 네트워크만 활성화하는 모델 아키텍처로, 모델이 많은 매개변수를 가지면서도 추론 시 더 적은 매개변수를 사용할 수 있게 합니다.

✦ CONCEPTMixture of experts (MoE)M365.FM
Title graphic: Mixture of experts (MoE) (Concept)

함께 다룬 주제

Mixture of experts (MoE) 관련 에피소드에서는 Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary 및 GPT-4도 다룹니다.

Description

전문가 혼합(MoE)은 여러 전문가 하위 네트워크가 문제 공간을 영역별로 나누고, 게이팅 메커니즘이 각 입력에 어떤 전문가를 사용할지 결정하는 머신러닝 기법이자 모델 아키텍처입니다. 그 결과 모델은 매우 많은 매개변수를 보유할 수 있지만, 단일 추론 과정에서는 그중 일부만 활성화됩니다. 이 아이디어는 앙상블 학습에서 유래했으며, 한때 위원회 기계(committee machines)라고 불리기도 했습니다. 현재는 대규모 신경망에서 흔히 쓰이는 설계 패턴이 되었습니다.

핵심 메커니즘은 두 부분으로 구성됩니다. 게이팅 함수는 입력을 받아 가중치를 생성하고, 각 전문가는 출력을 생성합니다. 최종 결과는 보통 전문가 출력들의 가중합이며, 전문가와 게이트는 함께 학습됩니다. 딥러닝에서 주된 동기는 조건부 연산입니다. 보통 1 또는 2인 k에 대해 상위 k개의 게이트 값만 유지하면, 주어진 입력에 대해 일부 전문가만 실행됩니다. 희소 게이팅 MoE(sparsely-gated MoE)라고 불리는 이 방식은 2017년 Google Brain의 Shazeer 등이 소개했습니다. 트랜스포머 모델에서는 MoE 레이어가 보통 트랜스포머 블록 내부의 피드포워드 레이어를 대체합니다.

잘 알려진 여러 모델이 이 설계를 사용합니다. Switch Transformer는 top-1 라우팅을 사용하고, GLaM은 1.2조 개의 매개변수를 가지며, Mixtral 8x7B는 46.7B 매개변수와 8개의 전문가를, DBRX는 132B 매개변수와 16개의 전문가를 가집니다. 이 예시들은 이 아키텍처가 매우 다른 규모에 적용되면서도, 입력마다 네트워크의 일부만 활성화한다는 같은 원리를 따른다는 것을 보여줍니다.

MoE 모델을 학습하고 운용하려면 여러 설계 결정이 필요합니다. 부하 분산이 그중 하나입니다. 대책이 없으면 일부 전문가가 다른 전문가보다 훨씬 많은 입력을 받을 수 있으므로, 보조 손실이나 DeepSeek 방식의 편향 조정 같은 접근법으로 부하를 고르게 맞춥니다. 그 밖의 주제로는 용량 계수, 토큰 드롭, 공유 전문가와 라우팅 전문가의 구분, 밀집 모델을 MoE 모델로 변환하는 희소 업사이클링 등이 있습니다. 알려진 한계로는 부하 불균형, 최적화가 더 어려운 이산적 라우팅, 상호작용하는 많은 설계 선택, 학습 안정성이 있습니다.

이 용어는 기업용 AI에 관한 논의에도 등장합니다. M365.FM 에피소드 "Mixture of Experts for Enterprise Copilot and AI Agents"는 전문화된 AI 서비스들이 협력하고 해당 작업에 맞는 특정 모델을 선택하는 전문가 혼합 접근법을 설명합니다. 에피소드에 따르면 이는 단일 범용 모델에 의존하는 경우가 많은 기존의 다중 모델 전략과 대비되며, 여러 전문가의 강점을 활용해 성능을 높이는 방법으로 제시됩니다. 에피소드는 또한 서비스 제공업체의 수치를 인용하여, 전문화된 AI 시스템을 도입했을 때 고객 만족도에 97%의 긍정적 영향이 있다고 보고합니다. 이 수치는 에피소드에서 인용된 것이며, 아키텍처 자체의 속성이 아닙니다.

실무에서 MoE를 평가할 때 핵심적인 절충점은 전체 매개변수 수와 추론당 비용 사이에 있습니다. 희소 모델은 매개변수의 일부만 활성화하면서도 큰 용량을 제공할 수 있지만, 밀집 모델에는 없는 라우팅, 균형, 안정성 문제를 수반합니다. 아키텍처적 의미와 에피소드의 기업 중심 관점을 비교하는 독자는, 전자는 하나의 신경망 내부의 라우팅을 설명하는 반면 후자는 작업을 위해 전문화된 AI 서비스나 모델을 선택하는 것을 설명한다는 점에 유의해야 합니다.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
WikipediaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Articles about Mixture of experts (MoE) (2)

Mixture of experts (MoE)을(를) 다룬 글:

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

전문가 혼합(MoE)이란 무엇입니까? (AI)

전문가 혼합은 게이팅 메커니즘이 입력마다 일부 전문가 하위 네트워크만 활성화하는 모델 아키텍처입니다. 이를 통해 모델은 많은 매개변수를 가지면서도 추론 시 그중 더 적은 수를 사용할 수 있습니다.

MoE 모델에서 게이팅 메커니즘은 어떻게 작동합니까? (AI)

게이팅 함수는 입력을 받아 가중치를 생성하고, 각 전문가는 출력을 생성하며, 최종 결과는 보통 이들의 가중합입니다. 희소 게이팅 MoE에서는 상위 k개의 게이트 값만 유지하며, k는 보통 1 또는 2이므로 일부 전문가만 실행됩니다.

전문가 혼합과 관련된 과제에는 무엇이 있습니까? (AI)

알려진 한계로는 전문가 간 부하 불균형, 최적화가 더 어려운 이산적 라우팅, 상호작용하는 많은 설계 선택, 학습 안정성이 있습니다. 균형을 맞추기 위해 보조 손실, 용량 계수, 편향 조정 같은 기법이 사용됩니다.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: