M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions m365con.net

Mixture of experts (MoE)

Concept

Mieszanka ekspertów (mixture of experts) to architektura modelu, w której mechanizm bramkowania aktywuje dla każdego wejścia tylko podzbiór podsieci-ekspertów, dzięki czemu model może mieć wiele parametrów, a w jednym wnioskowaniu wykorzystuje ich mniej.

✦ CONCEPTMixture of experts (MoE)M365.FM
Title graphic: Mixture of experts (MoE) (Concept)

Omawiane również

W odcinkach na temat Mixture of experts (MoE) pojawiają się też: Copilot flex routing, Phi-3, Microsoft Agent 365, Microsoft Foundry, EU Data Boundary i GPT-4.

Opis

Mieszanka ekspertów (MoE) to technika uczenia maszynowego i architektura modelu, w której kilka podsieci-ekspertów dzieli przestrzeń problemu na regiony, a mechanizm bramkowania decyduje, którzy eksperci są używani dla każdego wejścia. Dzięki temu model może mieć bardzo dużą liczbę parametrów, przy czym podczas pojedynczego wnioskowania aktywny jest tylko ich podzbiór. Idea wywodzi się z uczenia zespołowego (ensemble learning), gdzie kiedyś opisywano ją jako maszyny komitetowe (committee machines), i stała się powszechnym wzorcem projektowym dla dużych sieci neuronowych.

Rdzeń mechanizmu składa się z dwóch części. Funkcja bramkująca przyjmuje wejście i generuje wagi, a każdy z ekspertów generuje swoje wyjście. Wynik końcowy to zazwyczaj ważona suma wyjść ekspertów, a eksperci i bramka są trenowani wspólnie. W uczeniu głębokim główną motywacją jest obliczenie warunkowe: zachowując tylko k największych wartości bramki, przy czym k wynosi zazwyczaj 1 lub 2, dla danego wejścia uruchamiana jest tylko część ekspertów. To podejście, nazywane rzadką (sparsely-gated) MoE, zostało wprowadzone przez Shazeera i współpracowników z Google Brain w 2017 roku. W modelach Transformer warstwy MoE zwykle zastępują warstwy typu feedforward wewnątrz bloków Transformer.

Szereg znanych modeli korzysta z tego projektu. Switch Transformer stosuje routing top-1, GLaM ma 1,2 biliona parametrów, Mixtral 8x7B ma 46,7 mld parametrów i 8 ekspertów, a DBRX ma 132 mld parametrów i 16 ekspertów. Przykłady te pokazują, jak architektura jest stosowana w bardzo różnych skalach, zawsze według tej samej zasady aktywowania części sieci dla każdego wejścia.

Trenowanie i eksploatacja modeli MoE wiążą się z wieloma decyzjami projektowymi. Równoważenie obciążenia to jedna z nich: bez przeciwdziałania niektórzy eksperci mogą otrzymywać znacznie więcej wejść niż inni, dlatego stosuje się podejścia takie jak dodatkowe funkcje straty (auxiliary losses) czy korekty biasu w stylu DeepSeek, aby wyrównać obciążenie. Inne tematy to współczynniki pojemności (capacity factors), odrzucanie tokenów (token dropping), rozróżnienie między ekspertami współdzielonymi a kierowanymi oraz sparse upcycling, czyli przekształcanie gęstego modelu w model MoE. Znane ograniczenia to nierównomierne obciążenie, dyskretny routing trudniejszy do optymalizacji, wiele wzajemnie oddziałujących wyborów projektowych oraz stabilność treningu.

Termin pojawia się także w dyskusjach o sztucznej inteligencji w przedsiębiorstwach. Odcinek M365.FM "Mixture of Experts for Enterprise Copilot and AI Agents" opisuje podejście Mixture of Experts, w którym wyspecjalizowane usługi AI współpracują i wybierają konkretne modele dopasowane do danego zadania. Według odcinka kontrastuje to z tradycyjnymi strategiami wielomodelowymi, które często opierają się na jednym modelu ogólnym, a MoE przedstawiony jest jako sposób na poprawę wydajności dzięki wykorzystaniu mocnych stron wielu ekspertów. Odcinek przywołuje też dane od dostawców usług, według których wdrożenie wyspecjalizowanych systemów AI przynosi 97% pozytywnego wpływu na zadowolenie klientów. Ta liczba jest przypisana odcinkowi i nie jest właściwością samej architektury.

Oceniając MoE w praktyce, zasadniczym kompromisem jest liczba parametrów ogółem a koszt na jedno wnioskowanie. Model rzadki może oferować dużą pojemność, aktywując tylko ułamek swoich parametrów, ale wiąże się z problemami routingu, równoważenia i stabilności, których nie mają modele gęste. Czytelnicy porównujący znaczenie architektoniczne z ujęciem zorientowanym na przedsiębiorstwa z odcinka powinni pamiętać, że pierwsze opisuje routing wewnątrz jednej sieci neuronowej, a drugie wybór spośród wyspecjalizowanych usług lub modeli AI do danego zadania.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypConcept
WikipediaMixture of experts (MoE) – Wikipedia en.wikipedia.org

Articles about Mixture of experts (MoE) (2)

Artykuły, w których pojawia się temat Mixture of experts (MoE):

Często zadawane pytania

Questions marked with AI were written with AI from the facts on this page.

Czym jest mieszanka ekspertów (MoE)? (AI)

Mieszanka ekspertów to architektura modelu, w której mechanizm bramkowania aktywuje dla każdego wejścia tylko podzbiór podsieci-ekspertów. Pozwala to modelowi mieć wiele parametrów, przy czym w jednym wnioskowaniu wykorzystuje ich mniej.

Jak działa mechanizm bramkowania w modelu MoE? (AI)

Funkcja bramkująca przyjmuje wejście i generuje wagi, każdy z ekspertów generuje wyjście, a wynik końcowy to zazwyczaj ważona suma. W rzadkiej MoE zachowuje się tylko wartości top-k bramki, przy czym k wynosi zazwyczaj 1 lub 2, więc uruchamiana jest tylko część ekspertów.

Jakie wyzwania wiążą się z mieszanką ekspertów? (AI)

Znane ograniczenia to nierównomierne obciążenie między ekspertami, dyskretny routing trudniejszy do optymalizacji, wiele wzajemnie oddziałujących wyborów projektowych oraz stabilność treningu. Do równoważenia stosuje się techniki takie jak dodatkowe funkcje straty, współczynniki pojemności i korekty biasu.

Słownik

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Eksperci i firmy w tym temacie

Nikt jeszcze nie wskazał tego tematu. Dodaj go do swojego profilu.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: