Mixture of experts (MoE)
Concept
전문가 혼합(Mixture of experts)은 게이팅 메커니즘이 입력마다 일부 전문가 하위 네트워크만 활성화하는 모델 아키텍처로, 모델이 많은 매개변수를 가지면서도 추론 시 더 적은 매개변수를 사용할 수 있게 합니다.
함께 다룬 주제
Mixture of experts (MoE) 관련 에피소드에서는 Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary 및 GPT-4도 다룹니다.
Description
전문가 혼합(MoE)은 여러 전문가 하위 네트워크가 문제 공간을 영역별로 나누고, 게이팅 메커니즘이 각 입력에 어떤 전문가를 사용할지 결정하는 머신러닝 기법이자 모델 아키텍처입니다. 그 결과 모델은 매우 많은 매개변수를 보유할 수 있지만, 단일 추론 과정에서는 그중 일부만 활성화됩니다. 이 아이디어는 앙상블 학습에서 유래했으며, 한때 위원회 기계(committee machines)라고 불리기도 했습니다. 현재는 대규모 신경망에서 흔히 쓰이는 설계 패턴이 되었습니다.
핵심 메커니즘은 두 부분으로 구성됩니다. 게이팅 함수는 입력을 받아 가중치를 생성하고, 각 전문가는 출력을 생성합니다. 최종 결과는 보통 전문가 출력들의 가중합이며, 전문가와 게이트는 함께 학습됩니다. 딥러닝에서 주된 동기는 조건부 연산입니다. 보통 1 또는 2인 k에 대해 상위 k개의 게이트 값만 유지하면, 주어진 입력에 대해 일부 전문가만 실행됩니다. 희소 게이팅 MoE(sparsely-gated MoE)라고 불리는 이 방식은 2017년 Google Brain의 Shazeer 등이 소개했습니다. 트랜스포머 모델에서는 MoE 레이어가 보통 트랜스포머 블록 내부의 피드포워드 레이어를 대체합니다.
잘 알려진 여러 모델이 이 설계를 사용합니다. Switch Transformer는 top-1 라우팅을 사용하고, GLaM은 1.2조 개의 매개변수를 가지며, Mixtral 8x7B는 46.7B 매개변수와 8개의 전문가를, DBRX는 132B 매개변수와 16개의 전문가를 가집니다. 이 예시들은 이 아키텍처가 매우 다른 규모에 적용되면서도, 입력마다 네트워크의 일부만 활성화한다는 같은 원리를 따른다는 것을 보여줍니다.
MoE 모델을 학습하고 운용하려면 여러 설계 결정이 필요합니다. 부하 분산이 그중 하나입니다. 대책이 없으면 일부 전문가가 다른 전문가보다 훨씬 많은 입력을 받을 수 있으므로, 보조 손실이나 DeepSeek 방식의 편향 조정 같은 접근법으로 부하를 고르게 맞춥니다. 그 밖의 주제로는 용량 계수, 토큰 드롭, 공유 전문가와 라우팅 전문가의 구분, 밀집 모델을 MoE 모델로 변환하는 희소 업사이클링 등이 있습니다. 알려진 한계로는 부하 불균형, 최적화가 더 어려운 이산적 라우팅, 상호작용하는 많은 설계 선택, 학습 안정성이 있습니다.
이 용어는 기업용 AI에 관한 논의에도 등장합니다. M365.FM 에피소드 "Mixture of Experts for Enterprise Copilot and AI Agents"는 전문화된 AI 서비스들이 협력하고 해당 작업에 맞는 특정 모델을 선택하는 전문가 혼합 접근법을 설명합니다. 에피소드에 따르면 이는 단일 범용 모델에 의존하는 경우가 많은 기존의 다중 모델 전략과 대비되며, 여러 전문가의 강점을 활용해 성능을 높이는 방법으로 제시됩니다. 에피소드는 또한 서비스 제공업체의 수치를 인용하여, 전문화된 AI 시스템을 도입했을 때 고객 만족도에 97%의 긍정적 영향이 있다고 보고합니다. 이 수치는 에피소드에서 인용된 것이며, 아키텍처 자체의 속성이 아닙니다.
실무에서 MoE를 평가할 때 핵심적인 절충점은 전체 매개변수 수와 추론당 비용 사이에 있습니다. 희소 모델은 매개변수의 일부만 활성화하면서도 큰 용량을 제공할 수 있지만, 밀집 모델에는 없는 라우팅, 균형, 안정성 문제를 수반합니다. 아키텍처적 의미와 에피소드의 기업 중심 관점을 비교하는 독자는, 전자는 하나의 신경망 내부의 라우팅을 설명하는 반면 후자는 작업을 위해 전문화된 AI 서비스나 모델을 선택하는 것을 설명한다는 점에 유의해야 합니다.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (2)
Mixture of experts (MoE)을(를) 다룬 글:
- 제너럴리스트 봇의 종말: 엔터프라이즈 Copilot에 전문화가 필요한 이유
· Mirko Peters
팟캐스트 블로그에 다시 오신 것을 환영합니다! 최근 오디오 에피소드를 따라오셨다면 엔터프라이즈 인공지능 환경 전반에서 일어나고 있는 대대적인 변화를 함께 살펴보고 있다는 것을 아실 겁니다… - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
전문가 혼합(MoE)이란 무엇입니까? (AI)
전문가 혼합은 게이팅 메커니즘이 입력마다 일부 전문가 하위 네트워크만 활성화하는 모델 아키텍처입니다. 이를 통해 모델은 많은 매개변수를 가지면서도 추론 시 그중 더 적은 수를 사용할 수 있습니다.
MoE 모델에서 게이팅 메커니즘은 어떻게 작동합니까? (AI)
게이팅 함수는 입력을 받아 가중치를 생성하고, 각 전문가는 출력을 생성하며, 최종 결과는 보통 이들의 가중합입니다. 희소 게이팅 MoE에서는 상위 k개의 게이트 값만 유지하며, k는 보통 1 또는 2이므로 일부 전문가만 실행됩니다.
전문가 혼합과 관련된 과제에는 무엇이 있습니까? (AI)
알려진 한계로는 전문가 간 부하 불균형, 최적화가 더 어려운 이산적 라우팅, 상호작용하는 많은 설계 선택, 학습 안정성이 있습니다. 균형을 맞추기 위해 보조 손실, 용량 계수, 편향 조정 같은 기법이 사용됩니다.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- RSS 피드: Mixture of experts (MoE)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: