M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions m365con.net

Small language model (SLM)

Concept

Невелика мовна модель — це компактна модель штучного інтелекту для обробки мови, яка має значно менше параметрів, ніж велика мовна модель, тому потребує менше обчислювальних ресурсів і може бути зосереджена на вузькій галузі або працювати на локальних пристроях.

✦ CONCEPTSmall language model(SLM)M365.FM
Title graphic: Small language model (SLM) (Concept)

Часто обговорюють разом

У випусках на тему Small language model (SLM) часто обговорюють також: Multi-agent system, Large language model (LLM) та Microsoft Foundry.

Description

Невелика мовна модель (SLM) — це компактна модель штучного інтелекту для обробки мови, яка має значно менше параметрів, ніж велика мовна модель (LLM). Завдяки меншому розміру їй потрібно менше обчислювальних ресурсів, і її можна зосередити на вузькій галузі або запускати на локальних пристроях. SLM також називають компактними мовними моделями. Їх створюють для завдань обробки природної мови, таких як генерування тексту, але вони достатньо малі, щоб їх можна було навчати або запускати на споживчому обладнанні, зокрема на персональних комп'ютерах, ноутбуках і смарт-пристроях.

Ключова відмінність — розмір. В одному огляді SLM зазвичай мають до приблизно 40 мільярдів параметрів, а багато родин моделей — менше 10 мільярдів. Для порівняння, великі мовні моделі часто мають сотні мільярдів параметрів, а іноді й понад трильйон. Більшість SLM використовують ту саму архітектуру, що й LLM, але з меншою кількістю параметрів і іноді з нижчою числовою точністю. Їх зазвичай створюють або зменшують за допомогою таких методів, як дистиляція знань, прунінг і квантування. Попереднє навчання також допомагає дуже малим моделям, а більші обсяги даних для попереднього навчання загалом покращують їхні результати.

Кілька родин моделей описують як SLM. Серед прикладів, названих у матеріалах джерела, — Gemma, Granite, Ministral, Phi, Qwen, SmolLM (варіанти на 135M, 360M і 1.7B) та локальні базові моделі Apple. Родина Phi від Microsoft найбільш релевантна для екосистеми Microsoft і є тією, яку розглядають в епізоді M365.FM на цю тему.

Основні переваги — менші вимоги до обчислень і можливість працювати локально без доступу до хмари. Локальний запуск моделі має прямий наслідок для обробки даних. В епізоді M365.FM «Small Language Models for Faster, Cheaper Enterprise AI» зазначено, що коли моделі Phi розгортаються локально, дані залишаються в межах організації, а організація контролює доступ і може виконувати вимоги відповідності. В епізоді SLM описано як такі, що швидко та точно виконують конкретні завдання, наприклад підсумовують електронні листи, класифікують заявки або документи та ефективно обробляють регуляторні документи.

Компромісом є ємність. Менша кількість параметрів обмежує обсяг інформації, яку модель може закодувати, що може знижувати узагальнювальну здатність і точність порівняно з великими моделями. Тому якість SLM значною мірою залежить від того, наскільки добре її навчальні дані відповідають завданню. Саме тому SLM зазвичай розглядають у контексті вузьких, чітко визначених сценаріїв використання, а не широкої роботи без чітких меж. Типове рішення для організації полягає в тому, чи є завдання достатньо конкретним і повторюваним для малої моделі, чи йому потрібні ширші можливості великої моделі.

Епізод «Small Language Models for Faster, Cheaper Enterprise AI» рекомендує бізнесу розглядати SLM і залишатися готовими до наступної хвилі інновацій у сфері ШІ, а також зазначає, що експерти прогнозують незабаром приєднання ШІ до робочої сили та трансформацію галузей. У форматі запитань і відповідей епізод визначає SLM як модель із меншою кількістю параметрів, ніж у великих моделей, яка може працювати на локальних пристроях і давати швидкі та точні результати для конкретних завдань.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
WikipediaSmall language model (SLM) – Wikipedia en.wikipedia.org

Articles about Small language model (SLM) (4)

Статті, у яких розглядається Small language model (SLM):

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Що таке невелика мовна модель (SLM)? (AI)

Невелика мовна модель — це компактна модель штучного інтелекту для обробки мови, яка має значно менше параметрів, ніж велика мовна модель. Їй потрібно менше обчислювальних ресурсів, і її можна зосередити на вузькій галузі або запускати на локальних пристроях.

Чим SLM відрізняється від великої мовної моделі? (AI)

SLM зазвичай мають до приблизно 40 мільярдів параметрів, а багато з них — менше 10 мільярдів, тоді як LLM часто мають сотні мільярдів або більше. Вони зазвичай мають ту саму архітектуру, але менший розмір знижує вимоги до обчислень і може зменшувати точність та узагальнювальну здатність.

Чому SLM важливі для конфіденційності? (AI)

Епізод M365.FM про SLM каже, що моделі Phi можна розгортати локально, тож дані залишаються в межах організації. Це дозволяє організації контролювати доступ і виконувати вимоги відповідності.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: