M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concept

Суміш експертів — це архітектура моделі, в якій механізм маршрутизації активує лише підмножину експертних підмереж для кожного вхідного запиту, тож модель може мати багато параметрів, але використовувати меншу їх кількість під час кожного висновку.

✦ CONCEPTMixture of experts (MoE)M365.FM
Title graphic: Mixture of experts (MoE) (Concept)

Також обговорюють

У випусках на тему Mixture of experts (MoE) обговорюють також: Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary та GPT-4.

Description

Суміш експертів (MoE) — це техніка машинного навчання та архітектура моделі, в якій кілька експертних підмереж розділяють простір задачі на області, а механізм маршрутизації (gating) визначає, які експерти використовуються для кожного вхідного запиту. Як наслідок, модель може містити дуже велику кількість параметрів, while лише їх підмножина активна під час кожного окремого висновку. Ідея походить із ансамблевого навчання, де її колись описували як комітетні машини, і вона стала поширеним шаблоном проєктування для великих нейронних мереж.

Основний механізм має дві частини. Функція маршрутизації приймає вхідні дані та створює ваги, а кожен експерт формує свій вихід. Остаточний результат зазвичай є зваженою сумою виходів експертів, а експерти та маршрутизатор навчаються спільно. У глибокому навчанні основна мотивація — умовні обчислення: залишаючи лише k найвищих значень маршрутизатора, де k зазвичай дорівнює 1 або 2, для конкретного вхідного запиту запускаються лише деякі експерти. Цей підхід, відомий як розріджена MoE з маршрутизацією (sparsely-gated MoE), представили Шазір та його колеги з Google Brain у 2017 році. У моделях Transformer шари MoE зазвичай замінюють прямі шари (feedforward) всередині блоків Transformer.

Кілька відомих моделей використовують цей дизайн. Switch Transformer застосовує маршрутизацію top-1, GLaM має 1,2 трильйона параметрів, Mixtral 8x7B має 46,7 млрд параметрів і 8 експертів, а DBRX має 132 млрд параметрів і 16 експертів. Ці приклади показують, як архітектура застосовується на дуже різних масштабах, завжди з тим самим принципом активації лише частини мережі для кожного вхідного запиту.

Навчання та експлуатація моделей MoE передбачають низку проєктних рішень. Балансування навантаження — одне з них: без протидії деякі експерти можуть отримувати значно більше вхідних даних, ніж інші, тому використовують такі підходи, як допоміжні функції втрат або коригування зсувів у стилі DeepSeek, щоб вирівняти навантаження. Інші теми включають коефіцієнти місткості, відкидання токенів, розмежування спільних і маршрутизованих експертів, а також розріджений апкейсинг (sparse upcycling), який перетворює щільну модель на модель MoE. Відомі обмеження включають дисбаланс навантаження, дискретну маршрутизацію, яку важче оптимізувати, багато взаємопов'язаних проєктних рішень і стабільність навчання.

Цей термін також з'являється в обговореннях корпоративного ШІ. Епізод M365.FM «Mixture of Experts for Enterprise Copilot and AI Agents» описує підхід Mixture of Experts, за якого спеціалізовані сервіси ШІ співпрацюють і обирають конкретні моделі, придатні для поточного завдання. За словами епізоду, це контрастує з традиційними мультимодельними стратегіями, які часто покладаються на одну універсальну модель, і подає MoE як спосіб покращити продуктивність, використовуючи сильні сторони кількох експертів. В епізоді також наводиться цифра від постачальників сервісів, які повідомляють про 97% позитивного впливу на задоволеність клієнтів після впровадження спеціалізованих систем ШІ. Ця цифра приписується епізоду і не є властивістю самої архітектури.

При практичній оцінці MoE центральним компромісом є співвідношення між загальною кількістю параметрів і вартістю обчислень на один висновок. Розріджена модель може забезпечити велику місткість, активуючи лише частку своїх параметрів, але вона приносить проблеми маршрутизації, балансування та стабільності, яких немає в щільних моделей. Читачам, які порівнюють архітектурне значення з орієнтованим на підприємства трактуванням в епізоді, слід зауважити, що перше описує маршрутизацію всередині однієї нейронної мережі, тоді як друге описує вибір серед спеціалізованих сервісів або моделей ШІ для завдання.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
WikipediaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Articles about Mixture of experts (MoE) (2)

Статті, у яких розглядається Mixture of experts (MoE):

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Що таке суміш експертів (MoE)? (AI)

Суміш експертів — це архітектура моделі, в якій механізм маршрутизації активує лише підмножину експертних підмереж для кожного вхідного запиту. Це дозволяє моделі мати багато параметрів, використовуючи для кожного висновку меншу їх частину.

Як працює механізм маршрутизації в моделі MoE? (AI)

Функція маршрутизації приймає вхідні дані та створює ваги, кожен експерт формує свій вихід, а остаточний результат зазвичай є зваженою сумою. У розрідженій MoE з маршрутизацією залишаються лише k найвищих значень маршрутизатора, де k зазвичай дорівнює 1 або 2, тож запускаються лише деякі експерти.

З якими труднощами пов'язана суміш експертів? (AI)

Відомі обмеження включають дисбаланс навантаження між експертами, дискретну маршрутизацію, яку важче оптимізувати, багато взаємопов'язаних проєктних рішень і стабільність навчання. Для вирівнювання навантаження використовують такі методи, як допоміжні функції втрат, коефіцієнти місткості та коригування зсувів.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: