Small language model (SLM)
Concept
Mały model językowy to kompaktowy model AI języka, który ma znacznie mniej parametrów niż duży model językowy, dzięki czemu wymaga mniej mocy obliczeniowej i może być skupiony na wąskiej dziedzinie lub działać na urządzeniach lokalnych.
Często omawiane razem
W odcinkach na temat Small language model (SLM) często pojawiają się też: Multi-agent system, Large language model (LLM) i Microsoft Foundry.
Opis
Mały model językowy (SLM, small language model) to kompaktowy model AI języka, który ma znacznie mniej parametrów niż duży model językowy (LLM, large language model). Dzięki mniejszym rozmiarom wymaga mniej mocy obliczeniowej i może być skupiony na wąskiej dziedzinie lub działać na urządzeniach lokalnych. SLM-y nazywa się także kompaktowymi modelami językowymi. Są przeznaczone do zadań związanych z językiem naturalnym, takich jak generowanie tekstu, ale są na tyle małe, że można je trenować lub uruchamiać na sprzęcie konsumenckim, w tym na komputerach osobistych, laptopach i urządzeniach inteligentnych.
Kluczową różnicą jest rozmiar. Jeden z przeglądów podaje, że SLM-y zwykle mają poniżej około 40 miliardów parametrów, a wiele rodzin modeli poniżej 10 miliardów. Duże modele językowe mają dla porównania często setki miliardów parametrów, a czasem ponad bilion. Większość SLM-ów korzysta z tej samej architektury co LLM-y, ale z mniejszą liczbą parametrów i czasem niższą precyzją liczb. Powstają lub są zmniejszane za pomocą technik takich jak destylacja wiedzy, przycinanie (pruning) i kwantyzacja. Wstępne trenowanie pomaga także bardzo małym modelom, a większe dane do wstępnego trenowania zazwyczaj poprawiają ich wyniki.
Jako SLM-y opisywanych jest kilka rodzin modeli. Przykłady wymienione w materiale źródłowym to Gemma, Granite, Ministral, Phi, Qwen, SmolLM (warianty 135M, 360M i 1,7B) oraz modele foundation Apple przeznaczone do działania na urządzeniu. Rodzina Phi firmy Microsoft jest najbardziej istotna w kontekście ekosystemu Microsoft i to właśnie ją omawia odcinek M365.FM na ten temat.
Główne zalety to niższe wymagania obliczeniowe i możliwość działania lokalnie, bez dostępu do chmury. Lokalne uruchamianie modelu ma bezpośrednie konsekwencje dla obsługi danych. Odcinek M365.FM „Small Language Models for Faster, Cheaper Enterprise AI” stwierdza, że gdy modele Phi są wdrażane lokalnie, dane pozostają w organizacji, a organizacja kontroluje dostęp i może spełniać wymogi zgodności. Odcinek opisuje SLM-y jako zapewniające szybkie i dokładne wyniki w określonych zadaniach, takich jak podsumowywanie wiadomości e-mail, klasyfikowanie zgłoszeń lub dokumentów oraz efektywne przetwarzanie dokumentów regulacyjnych.
Kompromisem jest pojemność. Mniejsza liczba parametrów ogranicza ilość informacji, jaką model może zakodować, co może obniżyć zdolność generalizacji i dokładność w porównaniu z dużymi modelami. W efekcie jakość SLM-a w dużym stopniu zależy od tego, jak dobrze jego dane treningowe odpowiadają zadaniu, do którego jest używany. Dlatego SLM-y są zwykle przedstawiane w kontekście wąskich, dobrze zdefiniowanych zastosowań, a nie szerokich, otwartych zadań. Typowa decyzja organizacji dotyczy więc tego, czy zadanie jest na tyle konkretne i powtarzalne, by wystarczył mały model, czy też wymaga szerszych możliwości dużego modelu.
Odcinek „Small Language Models for Faster, Cheaper Enterprise AI” zaleca firmom rozważenie SLM-ów i gotowość na kolejną falę innowacji w AI, a także zauważa, że eksperci przewidują, iż AI wkrótce dołączy do siły roboczej i przekształci branże. W formie FAQ odcinek definiuje SLM jako model o mniejszej liczbie parametrów niż duże modele, który może działać na urządzeniach lokalnych i dawać szybkie, dokładne wyniki w określonych zadaniach.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Typ | Concept |
|---|---|
| Wikipedia | Small language model (SLM) – Wikipedia en.wikipedia.org |
Articles about Small language model (SLM) (4)
Artykuły, w których pojawia się temat Small language model (SLM):
- Dlaczego Copilot zawodzi: hallucynacje i luki w prywatności w środowisku korporacyjnym
· Mirko Peters
Kiedy siadasz do swojego stanowiska pracy i otwierasz asystenta AI, takiego jak Microsoft Copilot, masz konkretne oczekiwania: chcesz przyspieszyć swoją pracę, zautomatyzować żmudn
Warto tego posłuchaćSmall Language Models for Faster, Cheaper Enterprise AI - Naprawianie wad Copilota za pomocą małych modeli językowych
· Mirko Peters
Witamy ponownie na blogu towarzyszącym podcastowi! W tym wpisie zagłębiamy się w zmianę techniczną, która przekształca sposób, w jaki duże organizacje podchodzą do sztucznej inteli - Why Copilot Fails: Unpacking Hallucinations and Enterprise Privacy Flaws
· Mirko Peters
When you sit down at your workstation and open up an AI assistant like Microsoft Copilot, you do so with a clear expectation: you want to accelerate your workflow, … - Fixing Copilot's Flaws with Small Language Models
· Mirko Peters
Welcome back to the podcast companion blog! In this post, we are diving deep into the technical shift transforming how enterprise organizations approach artificial …
Często zadawane pytania
Questions marked with AI were written with AI from the facts on this page.
Czym jest mały model językowy (SLM)? (AI)
Mały model językowy to kompaktowy model AI języka o znacznie mniejszej liczbie parametrów niż duży model językowy. Wymaga mniej mocy obliczeniowej i może być skupiony na wąskiej dziedzinie lub działać na urządzeniach lokalnych.
Czym SLM różni się od dużego modelu językowego? (AI)
SLM-y zwykle mają poniżej około 40 miliardów parametrów, a wiele z nich poniżej 10 miliardów, podczas gdy LLM-y często mają setki miliardów lub więcej. Zwykle korzystają z tej samej architektury, ale mniejszy rozmiar obniża wymagania obliczeniowe i może zmniejszać dokładność oraz zdolność generalizacji.
Dlaczego SLM-y są ważne dla prywatności? (AI)
Odcinek M365.FM o SLM-ach mówi, że modele Phi można wdrażać lokalnie, dzięki czemu dane pozostają w organizacji. Pozwala to organizacji kontrolować dostęp i spełniać wymogi zgodności.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Eksperci i firmy w tym temacie
Nikt jeszcze nie wskazał tego tematu. Dodaj go do swojego profilu.
Sources
- Small language model (SLM) – Wikipedia en.wikipedia.org
- Kanał RSS: Small language model (SLM)
- Articles on this topic: 4
Maintained by Mirko Peters (Microsoft MVP) · Last updated: