Mixture of experts (MoE)
Concept
混合エキスパートは、ゲーティング機構が入力ごとにエキスパートのサブネットワークの一部だけを有効化するモデルアーキテクチャであり、多数のパラメータを持ちながら、推論ごとに使うパラメータを少なく抑えられるモデルです。
あわせて取り上げられたテーマ
Mixture of experts (MoE)に関するエピソードでは、Copilot flex routing、Phi-3、Microsoft Agent 365、Microsoft Foundry、EU Data Boundary、GPT-4も取り上げられています。
Description
混合エキスパート(Mixture of Experts、MoE)は、複数のエキスパートのサブネットワークが問題の領域を分担し、ゲーティング機構が入力ごとにどのエキスパートを使うかを決める機械学習の手法およびモデルアーキテクチャです。その結果、モデルは非常に多くのパラメータを保持しながら、どの推論時にもそのうちの一部だけが有効になります。この発想はアンサンブル学習に由来し、かつてはコミッティマシンと呼ばれていました。現在では大規模ニューラルネットワークで一般的な設計パターンとなっています。
中核となる仕組みは2つの部分から成ります。ゲーティング関数は入力を受け取って重みを生成し、各エキスパートは出力を生成します。最終的な結果は通常、エキスパートの出力の重み付き和であり、エキスパートとゲートは共同で学習されます。深層学習における主な動機は条件付き計算です。上位k個のゲート値だけを残すことで(kは通常1または2)、与えられた入力に対して一部のエキスパートだけが動作します。このスパースゲート型MoEと呼ばれる手法は、2017年にGoogle Brainのシャジーアらによって導入されました。Transformerモデルでは、MoE層は通常、Transformerブロック内のフィードフォワード層を置き換えます。
この設計を用いた有名なモデルはいくつかあります。Switch Transformerはtop-1ルーティングを用い、GLaMは1.2兆のパラメータを持ち、Mixtral 8x7Bは46.7Bのパラメータと8つのエキスパートを持ち、DBRXは132Bのパラメータと16のエキスパートを持ちます。これらの例は、入力ごとにネットワークの一部だけを有効にするという同じ原理が、非常に異なる規模でどのように適用されているかを示しています。
MoEモデルの学習と運用には、いくつかの設計上の判断が伴います。負荷分散はその一つです。対策がなければ、一部のエキスパートが他より遥かに多くの入力を受け取ってしまうことがあり、負荷を均すために補助損失やDeepSeek方式のバイアス調整といった手法が用いられます。他の論点には、キャパシティ係数、トークンの破棄、共有エキスパートとルーティングされるエキスパートの区別、そして密なモデルをMoEモデルに変換するスパースアップサイクリングなどがあります。既知の制約としては、負荷の不均衡、最適化が難しい離散的なルーティング、相互に作用する多くの設計上の選択、そして学習の安定性が挙げられます。
この用語はエンタープライズAIに関する議論にも登場します。M365.FMのエピソード「Mixture of Experts for Enterprise Copilot and AI Agents」では、専門化されたAIサービスが協調し、そのタスクに適した特定のモデルを選択する混合エキスパートのアプローチが説明されています。エピソードによれば、これは単一の汎用モデルに依存することが多い従来のマルチモデル戦略とは対照的であり、複数のエキスパートの強みを活かすことで性能を高める方法として位置づけられています。また、エピソードでは、専門化されたAIシステムを採用した場合に顧客満足度へ97%の肯定的な影響があったという、サービス提供者による報告の数値にも触れています。この数値はエピソードに帰属するものであり、アーキテクチャ自体の性質ではありません。
実際にMoEを評価する際の中心的なトレードオフは、総パラメータ数と推論ごとのコストの間にあります。スパースなモデルは、パラメータの一部だけを有効にしながら大きな容量を提供できますが、密なモデルにはないルーティング、バランス、安定性の問題を伴います。アーキテクチャ上の意味と、エピソードにおけるエンタープライズ志向の枠組みを比較する読者は、前者が単一のニューラルネットワーク内でのルーティングを説明しているのに対し、後者はタスクのために専門化されたAIサービスやモデルの中から選択することを説明している点に注意してください。
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (2)
Mixture of experts (MoE)を扱った記事:
- 汎用ボットの終焉:エンタープライズ Copilot に専門化が必要な理由
· Mirko Peters
ポッドキャストブログへようこそ。最近の音声エピソードをフォローしていただいている方なら、エンタープライズの人工知能をめぐる大きな変化について私たちが掘り下げてきたことをご存じでしょう… - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
混合エキスパート(MoE)とは何ですか? (AI)
混合エキスパート(MoE)は、ゲーティング機構が入力ごとにエキスパートのサブネットワークの一部だけを有効化するモデルアーキテクチャです。これにより、モデルは多数のパラメータを持ちながら、推論ごとに使うパラメータを少なく抑えられます。
MoEモデルではゲーティング機構はどのように働きますか? (AI)
ゲーティング関数は入力を受け取って重みを生成し、各エキスパートが出力を生成し、最終的な結果は通常その重み付き和になります。スパースゲート型MoEでは、上位k個のゲート値だけを残し(kは通常1または2)、一部のエキスパートだけが動作します。
混合エキスパートにはどのような課題がありますか? (AI)
既知の制約には、エキスパート間の負荷の不均衡、最適化が難しい離散的なルーティング、相互に作用する多くの設計上の選択、そして学習の安定性が含まれます。負荷分散には、補助損失、キャパシティ係数、バイアス調整などの手法が用いられます。
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- RSSフィード: Mixture of experts (MoE)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: