Small language model (SLM)
Concept
Малая языковая модель — это компактная модель ИИ для работы с языком, которая имеет гораздо меньше параметров, чем большая языковая модель, поэтому ей требуется меньше вычислительных ресурсов, и её можно сосредоточить на узкой предметной области или запускать на локальных устройствах.
Часто обсуждают вместе
В выпусках на тему Small language model (SLM) часто обсуждаются также: Multi-agent system, Large language model (LLM) и Microsoft Foundry.
Description
Малая языковая модель (SLM) — это компактная модель ИИ для работы с языком, которая имеет гораздо меньше параметров, чем большая языковая модель (LLM). Благодаря меньшему размеру ей требуется меньше вычислительных ресурсов, и её можно сосредоточить на узкой предметной области или запускать на локальных устройствах. Малые языковые модели также называют компактными языковыми моделями. Они созданы для задач обработки естественного языка, например для генерации текста, но при этом достаточно малы, чтобы их можно было обучать или запускать на потребительском оборудовании, включая персональные компьютеры, ноутбуки и смарт-устройства.
Ключевое различие — в размере. Согласно одному обзору, SLM обычно имеют менее примерно 40 миллиардов параметров, а многие семейства моделей — менее 10 миллиардов. Для сравнения, большие языковые модели часто содержат сотни миллиардов параметров, а иногда и более триллиона. Большинство SLM используют ту же архитектуру, что и LLM, но с меньшим числом параметров и иногда с более низкой числовой точностью. Их обычно создают или уменьшают с помощью таких методов, как дистилляция знаний, прунинг и квантование. Предварительное обучение также помогает очень маленьким моделям, и более крупный объём данных для предварительного обучения, как правило, улучшает их результаты.
Несколько семейств моделей описываются как SLM. В исходных материалах упоминаются, например, Gemma, Granite, Ministral, Phi, Qwen, SmolLM (варианты на 135M, 360M и 1.7B) и foundation-модели Apple для работы на устройстве. Семейство Phi от Microsoft наиболее близко к экосистеме Microsoft, и именно оно обсуждается в выпуске M365.FM на эту тему.
Основные преимущества — меньшие требования к вычислениям и возможность работать локально, без доступа к облаку. Запуск модели локально напрямую влияет на обработку данных. В выпуске M365.FM «Small Language Models for Faster, Cheaper Enterprise AI» говорится, что при локальном развёртывании моделей Phi данные остаются внутри организации, а организация контролирует доступ и может выполнять требования соответствия нормативам. В выпуске SLM описываются как модели, которые быстро и точно решают конкретные задачи, например суммируют электронные письма, классифицируют заявки или документы и эффективно обрабатывают нормативные документы.
Компромисс связан с ёмкостью. Меньшее число параметров ограничивает объём информации, который модель может закодировать, что по сравнению с крупными моделями может снизить обобщающую способность и точность. Поэтому качество SLM во многом зависит от того, насколько данные для обучения соответствуют поставленной задаче. Именно поэтому SLM обычно рассматриваются для узких, чётко определённых сценариев, а не для широких задач без чётких рамок. Типичное решение для организации — определить, достаточно ли задача конкретна и повторяема для небольшой модели или ей требуется более широкая возможность большой модели.
Выпуск «Small Language Models for Faster, Cheaper Enterprise AI» рекомендует компаниям рассматривать SLM и быть готовыми к следующей волне инноваций в ИИ, а также отмечает, что эксперты прогнозируют скорое появление ИИ в составе рабочей силы и трансформацию отраслей. В формате FAQ выпуск определяет SLM как модель с меньшим числом параметров, чем у больших моделей, которая может работать на локальных устройствах и быстро и точно решать конкретные задачи.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Wikipedia | Small language model (SLM) – Wikipedia en.wikipedia.org |
Articles about Small language model (SLM) (4)
Статьи, в которых рассматривается Small language model (SLM):
- Почему Copilot даёт сбои: разбираем галлюцинации и изъяны конфиденциальности в корпоративной среде
· Mirko Peters
Когда вы садитесь за рабочее место и открываете ИИ-ассистента, например Microsoft Copilot, вы настраиваетесь на конкретный результат: вы хотите ускорить свой рабочий процесс, …
Это стоит послушатьSmall Language Models for Faster, Cheaper Enterprise AI - Исправляем недостатки Copilot с помощью малых языковых моделей
· Mirko Peters
Добро пожаловать обратно в блог-сопровождение подкаста! В этом посте мы подробно разберём технологический сдвиг, который меняет подход корпоративных организаций к искусственному ин - Why Copilot Fails: Unpacking Hallucinations and Enterprise Privacy Flaws
· Mirko Peters
When you sit down at your workstation and open up an AI assistant like Microsoft Copilot, you do so with a clear expectation: you want to accelerate your workflow, … - Fixing Copilot's Flaws with Small Language Models
· Mirko Peters
Welcome back to the podcast companion blog! In this post, we are diving deep into the technical shift transforming how enterprise organizations approach artificial …
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Что такое малая языковая модель (SLM)? (AI)
Малая языковая модель — это компактная модель ИИ для работы с языком, которая имеет гораздо меньше параметров, чем большая языковая модель. Ей требуется меньше вычислительных ресурсов, и её можно сосредоточить на узкой предметной области или запускать на локальных устройствах.
Чем SLM отличается от большой языковой модели? (AI)
SLM обычно имеют менее примерно 40 миллиардов параметров, а многие — менее 10 миллиардов, тогда как LLM часто содержат сотни миллиардов и более. Как правило, они используют ту же архитектуру, но меньший размер снижает требования к вычислениям и может уменьшать точность и обобщающую способность.
Почему SLM важны для конфиденциальности? (AI)
В выпуске M365.FM о SLM говорится, что модели Phi можно развёртывать локально, поэтому данные остаются внутри организации. Это позволяет организации контролировать доступ и выполнять требования соответствия нормативам.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Small language model (SLM) – Wikipedia en.wikipedia.org
- RSS-лента: Small language model (SLM)
- Articles on this topic: 4
Maintained by Mirko Peters (Microsoft MVP) · Last updated: