Mixture of experts (MoE)
Concept
Суміш експертів — це архітектура моделі, в якій механізм маршрутизації активує лише підмножину експертних підмереж для кожного вхідного запиту, тож модель може мати багато параметрів, але використовувати меншу їх кількість під час кожного висновку.
Також обговорюють
У випусках на тему Mixture of experts (MoE) обговорюють також: Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary та GPT-4.
Description
Суміш експертів (MoE) — це техніка машинного навчання та архітектура моделі, в якій кілька експертних підмереж розділяють простір задачі на області, а механізм маршрутизації (gating) визначає, які експерти використовуються для кожного вхідного запиту. Як наслідок, модель може містити дуже велику кількість параметрів, while лише їх підмножина активна під час кожного окремого висновку. Ідея походить із ансамблевого навчання, де її колись описували як комітетні машини, і вона стала поширеним шаблоном проєктування для великих нейронних мереж.
Основний механізм має дві частини. Функція маршрутизації приймає вхідні дані та створює ваги, а кожен експерт формує свій вихід. Остаточний результат зазвичай є зваженою сумою виходів експертів, а експерти та маршрутизатор навчаються спільно. У глибокому навчанні основна мотивація — умовні обчислення: залишаючи лише k найвищих значень маршрутизатора, де k зазвичай дорівнює 1 або 2, для конкретного вхідного запиту запускаються лише деякі експерти. Цей підхід, відомий як розріджена MoE з маршрутизацією (sparsely-gated MoE), представили Шазір та його колеги з Google Brain у 2017 році. У моделях Transformer шари MoE зазвичай замінюють прямі шари (feedforward) всередині блоків Transformer.
Кілька відомих моделей використовують цей дизайн. Switch Transformer застосовує маршрутизацію top-1, GLaM має 1,2 трильйона параметрів, Mixtral 8x7B має 46,7 млрд параметрів і 8 експертів, а DBRX має 132 млрд параметрів і 16 експертів. Ці приклади показують, як архітектура застосовується на дуже різних масштабах, завжди з тим самим принципом активації лише частини мережі для кожного вхідного запиту.
Навчання та експлуатація моделей MoE передбачають низку проєктних рішень. Балансування навантаження — одне з них: без протидії деякі експерти можуть отримувати значно більше вхідних даних, ніж інші, тому використовують такі підходи, як допоміжні функції втрат або коригування зсувів у стилі DeepSeek, щоб вирівняти навантаження. Інші теми включають коефіцієнти місткості, відкидання токенів, розмежування спільних і маршрутизованих експертів, а також розріджений апкейсинг (sparse upcycling), який перетворює щільну модель на модель MoE. Відомі обмеження включають дисбаланс навантаження, дискретну маршрутизацію, яку важче оптимізувати, багато взаємопов'язаних проєктних рішень і стабільність навчання.
Цей термін також з'являється в обговореннях корпоративного ШІ. Епізод M365.FM «Mixture of Experts for Enterprise Copilot and AI Agents» описує підхід Mixture of Experts, за якого спеціалізовані сервіси ШІ співпрацюють і обирають конкретні моделі, придатні для поточного завдання. За словами епізоду, це контрастує з традиційними мультимодельними стратегіями, які часто покладаються на одну універсальну модель, і подає MoE як спосіб покращити продуктивність, використовуючи сильні сторони кількох експертів. В епізоді також наводиться цифра від постачальників сервісів, які повідомляють про 97% позитивного впливу на задоволеність клієнтів після впровадження спеціалізованих систем ШІ. Ця цифра приписується епізоду і не є властивістю самої архітектури.
При практичній оцінці MoE центральним компромісом є співвідношення між загальною кількістю параметрів і вартістю обчислень на один висновок. Розріджена модель може забезпечити велику місткість, активуючи лише частку своїх параметрів, але вона приносить проблеми маршрутизації, балансування та стабільності, яких немає в щільних моделей. Читачам, які порівнюють архітектурне значення з орієнтованим на підприємства трактуванням в епізоді, слід зауважити, що перше описує маршрутизацію всередині однієї нейронної мережі, тоді як друге описує вибір серед спеціалізованих сервісів або моделей ШІ для завдання.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (2)
Статті, у яких розглядається Mixture of experts (MoE):
- Смерть універсального бота: чому вашому корпоративному Copilot потрібна спеціалізація
· Mirko Peters
Ласкаво просимо назад до блогу-подкасту! Якщо ви стежите за нашими останніми аудіовипусками, то знаєте, що ми розбираємо масштабні зміни, які відбуваються в ландшафті корпоративног - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Що таке суміш експертів (MoE)? (AI)
Суміш експертів — це архітектура моделі, в якій механізм маршрутизації активує лише підмножину експертних підмереж для кожного вхідного запиту. Це дозволяє моделі мати багато параметрів, використовуючи для кожного висновку меншу їх частину.
Як працює механізм маршрутизації в моделі MoE? (AI)
Функція маршрутизації приймає вхідні дані та створює ваги, кожен експерт формує свій вихід, а остаточний результат зазвичай є зваженою сумою. У розрідженій MoE з маршрутизацією залишаються лише k найвищих значень маршрутизатора, де k зазвичай дорівнює 1 або 2, тож запускаються лише деякі експерти.
З якими труднощами пов'язана суміш експертів? (AI)
Відомі обмеження включають дисбаланс навантаження між експертами, дискретну маршрутизацію, яку важче оптимізувати, багато взаємопов'язаних проєктних рішень і стабільність навчання. Для вирівнювання навантаження використовують такі методи, як допоміжні функції втрат, коефіцієнти місткості та коригування зсувів.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- RSS-стрічка: Mixture of experts (MoE)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: