M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions m365con.net

Small language model (SLM)

Concept

Малая языковая модель — это компактная модель ИИ для работы с языком, которая имеет гораздо меньше параметров, чем большая языковая модель, поэтому ей требуется меньше вычислительных ресурсов, и её можно сосредоточить на узкой предметной области или запускать на локальных устройствах.

✦ CONCEPTSmall language model(SLM)M365.FM
Title graphic: Small language model (SLM) (Concept)

Часто обсуждают вместе

В выпусках на тему Small language model (SLM) часто обсуждаются также: Multi-agent system, Large language model (LLM) и Microsoft Foundry.

Description

Малая языковая модель (SLM) — это компактная модель ИИ для работы с языком, которая имеет гораздо меньше параметров, чем большая языковая модель (LLM). Благодаря меньшему размеру ей требуется меньше вычислительных ресурсов, и её можно сосредоточить на узкой предметной области или запускать на локальных устройствах. Малые языковые модели также называют компактными языковыми моделями. Они созданы для задач обработки естественного языка, например для генерации текста, но при этом достаточно малы, чтобы их можно было обучать или запускать на потребительском оборудовании, включая персональные компьютеры, ноутбуки и смарт-устройства.

Ключевое различие — в размере. Согласно одному обзору, SLM обычно имеют менее примерно 40 миллиардов параметров, а многие семейства моделей — менее 10 миллиардов. Для сравнения, большие языковые модели часто содержат сотни миллиардов параметров, а иногда и более триллиона. Большинство SLM используют ту же архитектуру, что и LLM, но с меньшим числом параметров и иногда с более низкой числовой точностью. Их обычно создают или уменьшают с помощью таких методов, как дистилляция знаний, прунинг и квантование. Предварительное обучение также помогает очень маленьким моделям, и более крупный объём данных для предварительного обучения, как правило, улучшает их результаты.

Несколько семейств моделей описываются как SLM. В исходных материалах упоминаются, например, Gemma, Granite, Ministral, Phi, Qwen, SmolLM (варианты на 135M, 360M и 1.7B) и foundation-модели Apple для работы на устройстве. Семейство Phi от Microsoft наиболее близко к экосистеме Microsoft, и именно оно обсуждается в выпуске M365.FM на эту тему.

Основные преимущества — меньшие требования к вычислениям и возможность работать локально, без доступа к облаку. Запуск модели локально напрямую влияет на обработку данных. В выпуске M365.FM «Small Language Models for Faster, Cheaper Enterprise AI» говорится, что при локальном развёртывании моделей Phi данные остаются внутри организации, а организация контролирует доступ и может выполнять требования соответствия нормативам. В выпуске SLM описываются как модели, которые быстро и точно решают конкретные задачи, например суммируют электронные письма, классифицируют заявки или документы и эффективно обрабатывают нормативные документы.

Компромисс связан с ёмкостью. Меньшее число параметров ограничивает объём информации, который модель может закодировать, что по сравнению с крупными моделями может снизить обобщающую способность и точность. Поэтому качество SLM во многом зависит от того, насколько данные для обучения соответствуют поставленной задаче. Именно поэтому SLM обычно рассматриваются для узких, чётко определённых сценариев, а не для широких задач без чётких рамок. Типичное решение для организации — определить, достаточно ли задача конкретна и повторяема для небольшой модели или ей требуется более широкая возможность большой модели.

Выпуск «Small Language Models for Faster, Cheaper Enterprise AI» рекомендует компаниям рассматривать SLM и быть готовыми к следующей волне инноваций в ИИ, а также отмечает, что эксперты прогнозируют скорое появление ИИ в составе рабочей силы и трансформацию отраслей. В формате FAQ выпуск определяет SLM как модель с меньшим числом параметров, чем у больших моделей, которая может работать на локальных устройствах и быстро и точно решать конкретные задачи.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
WikipediaSmall language model (SLM) – Wikipedia en.wikipedia.org

Articles about Small language model (SLM) (4)

Статьи, в которых рассматривается Small language model (SLM):

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Что такое малая языковая модель (SLM)? (AI)

Малая языковая модель — это компактная модель ИИ для работы с языком, которая имеет гораздо меньше параметров, чем большая языковая модель. Ей требуется меньше вычислительных ресурсов, и её можно сосредоточить на узкой предметной области или запускать на локальных устройствах.

Чем SLM отличается от большой языковой модели? (AI)

SLM обычно имеют менее примерно 40 миллиардов параметров, а многие — менее 10 миллиардов, тогда как LLM часто содержат сотни миллиардов и более. Как правило, они используют ту же архитектуру, но меньший размер снижает требования к вычислениям и может уменьшать точность и обобщающую способность.

Почему SLM важны для конфиденциальности? (AI)

В выпуске M365.FM о SLM говорится, что модели Phi можно развёртывать локально, поэтому данные остаются внутри организации. Это позволяет организации контролировать доступ и выполнять требования соответствия нормативам.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: