M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions m365con.net

Small language model (SLM)

Concept

Mały model językowy to kompaktowy model AI języka, który ma znacznie mniej parametrów niż duży model językowy, dzięki czemu wymaga mniej mocy obliczeniowej i może być skupiony na wąskiej dziedzinie lub działać na urządzeniach lokalnych.

✦ CONCEPTSmall language model(SLM)M365.FM
Title graphic: Small language model (SLM) (Concept)

Często omawiane razem

W odcinkach na temat Small language model (SLM) często pojawiają się też: Multi-agent system, Large language model (LLM) i Microsoft Foundry.

Opis

Mały model językowy (SLM, small language model) to kompaktowy model AI języka, który ma znacznie mniej parametrów niż duży model językowy (LLM, large language model). Dzięki mniejszym rozmiarom wymaga mniej mocy obliczeniowej i może być skupiony na wąskiej dziedzinie lub działać na urządzeniach lokalnych. SLM-y nazywa się także kompaktowymi modelami językowymi. Są przeznaczone do zadań związanych z językiem naturalnym, takich jak generowanie tekstu, ale są na tyle małe, że można je trenować lub uruchamiać na sprzęcie konsumenckim, w tym na komputerach osobistych, laptopach i urządzeniach inteligentnych.

Kluczową różnicą jest rozmiar. Jeden z przeglądów podaje, że SLM-y zwykle mają poniżej około 40 miliardów parametrów, a wiele rodzin modeli poniżej 10 miliardów. Duże modele językowe mają dla porównania często setki miliardów parametrów, a czasem ponad bilion. Większość SLM-ów korzysta z tej samej architektury co LLM-y, ale z mniejszą liczbą parametrów i czasem niższą precyzją liczb. Powstają lub są zmniejszane za pomocą technik takich jak destylacja wiedzy, przycinanie (pruning) i kwantyzacja. Wstępne trenowanie pomaga także bardzo małym modelom, a większe dane do wstępnego trenowania zazwyczaj poprawiają ich wyniki.

Jako SLM-y opisywanych jest kilka rodzin modeli. Przykłady wymienione w materiale źródłowym to Gemma, Granite, Ministral, Phi, Qwen, SmolLM (warianty 135M, 360M i 1,7B) oraz modele foundation Apple przeznaczone do działania na urządzeniu. Rodzina Phi firmy Microsoft jest najbardziej istotna w kontekście ekosystemu Microsoft i to właśnie ją omawia odcinek M365.FM na ten temat.

Główne zalety to niższe wymagania obliczeniowe i możliwość działania lokalnie, bez dostępu do chmury. Lokalne uruchamianie modelu ma bezpośrednie konsekwencje dla obsługi danych. Odcinek M365.FM „Small Language Models for Faster, Cheaper Enterprise AI” stwierdza, że gdy modele Phi są wdrażane lokalnie, dane pozostają w organizacji, a organizacja kontroluje dostęp i może spełniać wymogi zgodności. Odcinek opisuje SLM-y jako zapewniające szybkie i dokładne wyniki w określonych zadaniach, takich jak podsumowywanie wiadomości e-mail, klasyfikowanie zgłoszeń lub dokumentów oraz efektywne przetwarzanie dokumentów regulacyjnych.

Kompromisem jest pojemność. Mniejsza liczba parametrów ogranicza ilość informacji, jaką model może zakodować, co może obniżyć zdolność generalizacji i dokładność w porównaniu z dużymi modelami. W efekcie jakość SLM-a w dużym stopniu zależy od tego, jak dobrze jego dane treningowe odpowiadają zadaniu, do którego jest używany. Dlatego SLM-y są zwykle przedstawiane w kontekście wąskich, dobrze zdefiniowanych zastosowań, a nie szerokich, otwartych zadań. Typowa decyzja organizacji dotyczy więc tego, czy zadanie jest na tyle konkretne i powtarzalne, by wystarczył mały model, czy też wymaga szerszych możliwości dużego modelu.

Odcinek „Small Language Models for Faster, Cheaper Enterprise AI” zaleca firmom rozważenie SLM-ów i gotowość na kolejną falę innowacji w AI, a także zauważa, że eksperci przewidują, iż AI wkrótce dołączy do siły roboczej i przekształci branże. W formie FAQ odcinek definiuje SLM jako model o mniejszej liczbie parametrów niż duże modele, który może działać na urządzeniach lokalnych i dawać szybkie, dokładne wyniki w określonych zadaniach.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypConcept
WikipediaSmall language model (SLM) – Wikipedia en.wikipedia.org

Articles about Small language model (SLM) (4)

Artykuły, w których pojawia się temat Small language model (SLM):

Często zadawane pytania

Questions marked with AI were written with AI from the facts on this page.

Czym jest mały model językowy (SLM)? (AI)

Mały model językowy to kompaktowy model AI języka o znacznie mniejszej liczbie parametrów niż duży model językowy. Wymaga mniej mocy obliczeniowej i może być skupiony na wąskiej dziedzinie lub działać na urządzeniach lokalnych.

Czym SLM różni się od dużego modelu językowego? (AI)

SLM-y zwykle mają poniżej około 40 miliardów parametrów, a wiele z nich poniżej 10 miliardów, podczas gdy LLM-y często mają setki miliardów lub więcej. Zwykle korzystają z tej samej architektury, ale mniejszy rozmiar obniża wymagania obliczeniowe i może zmniejszać dokładność oraz zdolność generalizacji.

Dlaczego SLM-y są ważne dla prywatności? (AI)

Odcinek M365.FM o SLM-ach mówi, że modele Phi można wdrażać lokalnie, dzięki czemu dane pozostają w organizacji. Pozwala to organizacji kontrolować dostęp i spełniać wymogi zgodności.

Słownik

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Eksperci i firmy w tym temacie

Nikt jeszcze nie wskazał tego tematu. Dodaj go do swojego profilu.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: