Mixture of experts (MoE)
Concept
Mixture of experts adalah arsitektur model di mana mekanisme gating hanya mengaktifkan sebagian sub-jaringan expert untuk setiap input, sehingga sebuah model dapat memiliki banyak parameter namun menggunakan lebih sedikit parameter per inferensi.
Juga dibahas
Episode tentang Mixture of experts (MoE) juga membahas Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary, dan GPT-4.
Description
Mixture of experts (MoE) adalah teknik machine learning dan arsitektur model di mana beberapa sub-jaringan expert membagi ruang masalah menjadi beberapa wilayah, sementara sebuah mekanisme gating memutuskan expert mana yang digunakan untuk setiap input. Akibatnya, sebuah model dapat memiliki jumlah parameter yang sangat besar namun hanya sebagian dari parameter tersebut yang aktif selama satu inferensi. Gagasan ini berasal dari ensemble learning, yang pernah digambarkan sebagai committee machines, dan kini telah menjadi pola desain yang umum untuk jaringan saraf berukuran besar.
Mekanisme intinya terdiri dari dua bagian. Fungsi gating menerima input dan menghasilkan bobot, sementara setiap expert menghasilkan output. Hasil akhirnya biasanya berupa jumlah berbobot dari output expert, dan expert serta gate dilatih secara bersama-sama. Dalam deep learning, motivasi utamanya adalah conditional computation: dengan hanya mempertahankan nilai gate top-k, dengan k biasanya 1 atau 2, hanya sebagian expert yang dijalankan untuk input tertentu. Pendekatan ini, yang disebut sparsely-gated MoE, diperkenalkan oleh Shazeer dan rekan-rekannya di Google Brain pada 2017. Dalam model Transformer, lapisan MoE biasanya menggantikan lapisan feedforward di dalam blok Transformer.
Beberapa model terkenal menggunakan desain ini. Switch Transformer menggunakan routing top-1, GLaM memiliki 1,2 triliun parameter, Mixtral 8x7B memiliki 46,7B parameter dan 8 expert, dan DBRX memiliki 132B parameter dan 16 expert. Contoh-contoh ini menunjukkan bagaimana arsitektur diterapkan pada skala yang sangat berbeda, selalu dengan prinsip yang sama yaitu mengaktifkan sebagian jaringan untuk setiap input.
Melatih dan mengoperasikan model MoE melibatkan sejumlah keputusan desain. Penyeimbangan beban (load balancing) adalah salah satunya: tanpa langkah penanggulangan, beberapa expert dapat menerima input jauh lebih banyak dibandingkan yang lain, dan pendekatan seperti auxiliary loss atau penyesuaian bias gaya DeepSeek digunakan untuk meratakan beban. Topik lain meliputi capacity factor, token dropping, perbedaan antara shared dan routed expert, serta sparse upcycling, yang mengubah model dense menjadi model MoE. Keterbatasan yang diketahui meliputi ketidakseimbangan beban, routing diskret yang lebih sulit dioptimalkan, banyaknya pilihan desain yang saling memengaruhi, dan stabilitas pelatihan.
Istilah ini juga muncul dalam pembahasan tentang AI untuk perusahaan. Episode M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" menjelaskan pendekatan Mixture of Experts di mana layanan AI yang terspesialisasi berkolaborasi dan memilih model tertentu yang sesuai dengan tugas yang dihadapi. Menurut episode tersebut, hal ini berbeda dengan strategi multi-model tradisional yang sering bergantung pada satu model generalis, dan episode tersebut menyajikan MoE sebagai cara untuk meningkatkan kinerja dengan memanfaatkan kekuatan beberapa expert. Episode ini juga mengutip angka dari penyedia layanan yang melaporkan dampak positif sebesar 97% terhadap kepuasan pelanggan ketika sistem AI terspesialisasi diadopsi. Angka tersebut dikaitkan dengan episode dan bukan merupakan sifat dari arsitektur itu sendiri.
Ketika mengevaluasi MoE dalam praktik, trade-off utamanya adalah antara jumlah parameter total dan biaya per inferensi. Model sparse dapat menawarkan kapasitas besar sambil hanya mengaktifkan sebagian kecil parameternya, tetapi model ini membawa kekhawatiran terkait routing, penyeimbangan, dan stabilitas yang tidak dimiliki model dense. Pembaca yang membandingkan makna arsitektural dengan kerangka berorientasi perusahaan dalam episode tersebut perlu mencatat bahwa yang pertama menjelaskan routing di dalam satu jaringan saraf, sedangkan yang kedua menjelaskan pemilihan di antara layanan atau model AI yang terspesialisasi untuk sebuah tugas.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Mixture of experts (MoE) – Wikipedia en.wikipedia.org |
Articles about Mixture of experts (MoE) (2)
Artikel yang membahas Mixture of experts (MoE):
- Kematian Bot Generalis: Mengapa Copilot Perusahaan Anda Membutuhkan Spesialisasi
· Mirko Peters
Selamat datang kembali di blog podcast! Jika Anda mengikuti episode audio terbaru kami, Anda tahu bahwa kami sedang membahas berbagai perubahan besar di lanskap kecerdasan buatan p - The Death of the Generalist Bot: Why Your Enterprise Copilot Needs Specialization
· Mirko Peters
Welcome back to the podcast blog! If you have been following our recent audio episodes, you know we have been unpacking the massive shifts happening across the ente…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Apa itu mixture of experts (MoE)? (AI)
Mixture of experts adalah arsitektur model di mana mekanisme gating hanya mengaktifkan sebagian sub-jaringan expert untuk setiap input. Hal ini memungkinkan sebuah model memiliki banyak parameter namun menggunakan lebih sedikit parameter tersebut per inferensi.
Bagaimana mekanisme gating bekerja dalam model MoE? (AI)
Fungsi gating menerima input dan menghasilkan bobot, setiap expert menghasilkan output, dan hasil akhirnya biasanya berupa jumlah berbobot. Dalam sparsely-gated MoE, hanya nilai gate top-k yang dipertahankan, dengan k biasanya 1 atau 2, sehingga hanya sebagian expert yang dijalankan.
Tantangan apa saja yang terkait dengan mixture of experts? (AI)
Keterbatasan yang diketahui meliputi ketidakseimbangan beban antar expert, routing diskret yang lebih sulit dioptimalkan, banyaknya pilihan desain yang saling memengaruhi, dan stabilitas pelatihan. Teknik seperti auxiliary loss, capacity factor, dan penyesuaian bias digunakan untuk mengatasi penyeimbangan.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Mixture of experts (MoE) – Wikipedia en.wikipedia.org
- Feed RSS: Mixture of experts (MoE)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: