Mixture of experts (MoE)
Concept
Смесь экспертов (mixture of experts) — это архитектура модели, в которой механизм маршрутизации (gating) активирует для каждого входа лишь часть подсетей-экспертов, поэтому модель может иметь много параметров, но использовать меньше из них при каждом выводе.
Также обсуждаются
В выпусках на тему Mixture of experts (MoE) обсуждаются также: Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary и GPT-4.
Description
Смесь экспертов (MoE) — это метод машинного обучения и архитектура модели, в которой несколько подсетей-экспертов делят пространство задачи на области, а механизм маршрутизации решает, какие эксперты используются для каждого входа. В результате модель может содержать очень большое количество параметров, при этом во время любого отдельного вывода активна лишь их часть. Идея пришла из ансамблевого обучения, где её когда-то называли комитетными машинами, и сегодня она стала распространённым шаблоном проектирования для крупных нейронных сетей.
Основной механизм состоит из двух частей. Функция маршрутизации получает вход и выдаёт веса, а каждый эксперт выдаёт свой результат. Итоговый результат обычно представляет собой взвешенную сумму выходов экспертов, при этом эксперты и маршрутизатор обучаются совместно. В глубоком обучении главная мотивация — условные вычисления: если оставлять только top-k значений маршрутизатора, где k обычно равно 1 или 2, для данного входа запускается лишь часть экспертов. Этот подход, названный разреженной MoE (sparsely-gated MoE), был представлен Шазиром и его коллегами из Google Brain в 2017 году. В моделях Transformer слои MoE обычно заменяют полносвязные слои внутри блоков Transformer.
Несколько известных моделей используют такой дизайн. Switch Transformer применяет маршрутизацию top-1, у GLaM 1,2 триллиона параметров, у Mixtral 8x7B 46,7 млрд параметров и 8 экспертов, а у DBRX 132 млрд параметров и 16 экспертов. Эти примеры показывают, как архитектура применяется в совершенно разных масштабах, всегда по одному и тому же принципу: на каждый вход активируется лишь часть сети.
Обучение и эксплуатация моделей MoE связаны с рядом проектных решений. Балансировка нагрузки — один из них: без мер противодействия одни эксперты могут получать значительно больше входов, чем другие, поэтому применяются такие подходы, как вспомогательные функции потерь или корректировки смещений в стиле DeepSeek, чтобы выровнять нагрузку. Среди других тем — коэффициенты ёмкости, отбрасывание токенов, различие между общими и маршрутизируемыми экспертами, а также разреженный upcycling, который превращает плотную модель в модель MoE. Известные ограничения включают дисбаланс нагрузки, дискретную маршрутизацию, которую труднее оптимизировать, множество взаимодействующих проектных решений и стабильность обучения.
Этот термин также встречается в обсуждениях корпоративного ИИ. Эпизод M365.FM «Mixture of Experts for Enterprise Copilot and AI Agents» описывает подход Mixture of Experts, в котором специализированные сервисы ИИ взаимодействуют и выбирают конкретные модели, подходящие для текущей задачи. Согласно эпизоду, это противопоставляется традиционным мультимодельным стратегиям, которые часто опираются на одну универсальную модель, а MoE представляется как способ повысить производительность за счёт использования сильных сторон нескольких экспертов. В эпизоде также приводится цифра, которую называют поставщики услуг: 97% положительного влияния на удовлетворённость клиентов при внедрении специализированных систем ИИ. Эта цифра принадлежит эпизоду и не является свойством самой архитектуры.
При практической оценке MoE главный компромисс лежит между общим количеством параметров и стоимостью одного вывода. Разреженная модель может предлагать большую ёмкость, активируя лишь часть своих параметров, но она приносит проблемы маршрутизации, балансировки и стабильности, которых нет у плотных моделей. Читателям, которые сравнивают архитектурный смысл термина с ориентированной на предприятия трактовкой из эпизода, стоит учитывать: первое описывает маршрутизацию внутри одной нейронной сети, а второе — выбор между специализированными сервисами или моделями ИИ для решения задачи.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (1)
Статьи, в которых рассматривается Mixture of experts (MoE):
- The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Что такое смесь экспертов (MoE)? (AI)
Смесь экспертов — это архитектура модели, в которой механизм маршрутизации активирует для каждого входа лишь подмножество подсетей-экспертов. Это позволяет модели иметь много параметров, используя при каждом выводе меньше из них.
Как работает механизм маршрутизации в модели MoE? (AI)
Функция маршрутизации получает вход и выдаёт веса, каждый эксперт выдаёт свой результат, а итоговый результат обычно является взвешенной суммой. В разреженной MoE сохраняются только значения top-k маршрутизатора, где k обычно равно 1 или 2, поэтому запускается лишь часть экспертов.
С какими трудностями связана смесь экспертов? (AI)
Известные ограничения включают дисбаланс нагрузки между экспертами, дискретную маршрутизацию, которую труднее оптимизировать, множество взаимодействующих проектных решений и стабильность обучения. Для решения задачи балансировки применяются такие приёмы, как вспомогательные функции потерь, коэффициенты ёмкости и корректировки смещений.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- RSS-лента: Mixture of experts (MoE)
- Articles on this topic: 1
Maintained by Mirko Peters (Microsoft MVP) · Last updated: