Small language model (SLM)
Concept
Un petit modèle de langage est un modèle de langage IA compact, doté de beaucoup moins de paramètres qu'un grand modèle de langage. Il nécessite donc moins de puissance de calcul et peut être concentré sur un domaine restreint ou fonctionner sur des appareils locaux.
Souvent abordés ensemble
Les épisodes consacrés à Small language model (SLM) abordent souvent aussi Multi-agent system, Large language model (LLM) et Microsoft Foundry.
Description
Un petit modèle de langage (SLM) est un modèle de langage IA compact qui possède beaucoup moins de paramètres qu'un grand modèle de langage (LLM). En raison de cette taille réduite, il nécessite moins de puissance de calcul et peut être concentré sur un domaine restreint ou fonctionner sur des appareils locaux. Les SLM sont également appelés modèles de langage compacts. Ils sont conçus pour des tâches de traitement du langage naturel, comme la génération de texte, mais ils sont suffisamment petits pour être entraînés ou exécutés sur du matériel grand public, notamment des ordinateurs personnels, des ordinateurs portables et des appareils intelligents.
La différence de taille est la distinction centrale. Un aperçu place généralement les SLM en dessous d'environ 40 milliards de paramètres, avec de nombreuses familles de modèles en dessous de 10 milliards. Les grands modèles de langage, en comparaison, comptent souvent des centaines de milliards de paramètres, et parfois plus d'un billion. La plupart des SLM utilisent la même architecture que les LLM, mais avec moins de paramètres et parfois une précision numérique plus faible. Ils sont couramment produits ou réduits à l'aide de techniques telles que la distillation de connaissances, l'élagage et la quantification. Le pré-entraînement aide également les très petits modèles, et un volume plus important de données de pré-entraînement améliore généralement leurs résultats.
Plusieurs familles de modèles sont décrites comme des SLM. Parmi les exemples cités dans la documentation source figurent Gemma, Granite, Ministral, Phi, Qwen, SmolLM (avec des variantes de 135M, 360M et 1,7B) et les modèles de fondation embarqués d'Apple. La famille Phi de Microsoft est celle qui est la plus pertinente pour l'écosystème Microsoft, et c'est celle qui est abordée dans l'épisode de M365.FM consacré à ce sujet.
Les principaux avantages sont des besoins de calcul réduits et la possibilité de fonctionner localement sans accès au cloud. L'exécution d'un modèle en local a une conséquence directe sur la gestion des données. L'épisode de M365.FM « Small Language Models for Faster, Cheaper Enterprise AI » indique que, lorsque les modèles Phi sont déployés localement, les données restent au sein de l'organisation, et celle-ci contrôle l'accès et peut satisfaire aux exigences de conformité. L'épisode décrit les SLM comme fournissant des résultats rapides et précis pour des tâches spécifiques, comme la synthèse d'e-mails, la classification de tickets ou de documents, et le traitement efficace de documents réglementaires.
Le compromis porte sur la capacité. Un nombre réduit de paramètres limite la quantité d'informations qu'un modèle peut encoder, ce qui peut réduire la généralisation et la précision par rapport aux grands modèles. Par conséquent, la qualité d'un SLM dépend fortement de l'adéquation de ses données d'entraînement à la tâche confiée. C'est pourquoi les SLM sont généralement présentés autour de cas d'usage restreints et bien définis, plutôt que de travaux larges et ouverts. Une décision typique pour une organisation consiste donc à déterminer si une tâche est suffisamment précise et répétitive pour un petit modèle, ou si elle nécessite les capacités plus étendues d'un grand modèle.
L'épisode « Small Language Models for Faster, Cheaper Enterprise AI » recommande aux entreprises d'envisager les SLM et de rester prêtes pour la prochaine vague d'innovation en IA, et il note que les experts prédisent que l'IA rejoindra bientôt la main-d'œuvre et transformera les secteurs d'activité. Dans son format de FAQ, l'épisode définit un SLM comme un modèle doté de moins de paramètres que les grands modèles, capable de fonctionner sur des appareils locaux et de fournir des résultats rapides et précis pour des tâches spécifiques.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Concept |
|---|---|
| Wikipédia | Small language model (SLM) – Wikipedia en.wikipedia.org |
Articles sur Small language model (SLM) (4)
Articles qui traitent de Small language model (SLM) :
- Pourquoi Copilot échoue : hallucinations et failles de confidentialité en entreprise
· Mirko Peters
Lorsque vous vous installez à votre poste de travail et ouvrez un assistant IA comme Microsoft Copilot, vous avez une attente claire : accélérer votre flux de travail, …
À écouter absolumentSmall Language Models for Faster, Cheaper Enterprise AI - Corriger les failles de Copilot grâce aux petits modèles de langage
· Mirko Peters
Bienvenue sur le blog d’accompagnement du podcast ! Dans cet article, nous plongeons au cœur de la transformation technique qui bouleverse la manière dont les grandes organisations - Why Copilot Fails: Unpacking Hallucinations and Enterprise Privacy Flaws
· Mirko Peters
When you sit down at your workstation and open up an AI assistant like Microsoft Copilot, you do so with a clear expectation: you want to accelerate your workflow, … - Fixing Copilot's Flaws with Small Language Models
· Mirko Peters
Welcome back to the podcast companion blog! In this post, we are diving deep into the technical shift transforming how enterprise organizations approach artificial …
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Qu'est-ce qu'un petit modèle de langage (SLM) ? (IA)
Un petit modèle de langage est un modèle de langage IA compact, doté de beaucoup moins de paramètres qu'un grand modèle de langage. Il nécessite moins de puissance de calcul et peut être concentré sur un domaine restreint ou fonctionner sur des appareils locaux.
En quoi un SLM diffère-t-il d'un grand modèle de langage ? (IA)
Les SLM comptent généralement moins d'environ 40 milliards de paramètres, dont beaucoup moins de 10 milliards, alors que les LLM en comptent souvent des centaines de milliards ou plus. Ils partagent généralement la même architecture, mais leur taille réduite diminue les besoins en calcul et peut réduire la précision et la généralisation.
Pourquoi les SLM sont-ils importants pour la confidentialité ? (IA)
L'épisode de M365.FM consacré aux SLM indique que les modèles Phi peuvent être déployés localement, de sorte que les données restent au sein de l'organisation. Cela permet à celle-ci de contrôler l'accès et de satisfaire aux exigences de conformité.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Sources
- Small language model (SLM) – Wikipedia en.wikipedia.org
- Flux RSS : Small language model (SLM)
- Articles sur ce sujet: 4
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: