M365Con 2027 – conférence en ligne gratuite · 11–22 Jan 2027 · 120 sessions m365con.net

Small language model (SLM)

Concept

Un petit modèle de langage est un modèle de langage IA compact, doté de beaucoup moins de paramètres qu'un grand modèle de langage. Il nécessite donc moins de puissance de calcul et peut être concentré sur un domaine restreint ou fonctionner sur des appareils locaux.

✦ CONCEPTSmall language model(SLM)M365.FM
Image de titre : Petit modèle de langage (SLM) (Concept)

Souvent abordés ensemble

Les épisodes consacrés à Small language model (SLM) abordent souvent aussi Multi-agent system, Large language model (LLM) et Microsoft Foundry.

Description

Un petit modèle de langage (SLM) est un modèle de langage IA compact qui possède beaucoup moins de paramètres qu'un grand modèle de langage (LLM). En raison de cette taille réduite, il nécessite moins de puissance de calcul et peut être concentré sur un domaine restreint ou fonctionner sur des appareils locaux. Les SLM sont également appelés modèles de langage compacts. Ils sont conçus pour des tâches de traitement du langage naturel, comme la génération de texte, mais ils sont suffisamment petits pour être entraînés ou exécutés sur du matériel grand public, notamment des ordinateurs personnels, des ordinateurs portables et des appareils intelligents.

La différence de taille est la distinction centrale. Un aperçu place généralement les SLM en dessous d'environ 40 milliards de paramètres, avec de nombreuses familles de modèles en dessous de 10 milliards. Les grands modèles de langage, en comparaison, comptent souvent des centaines de milliards de paramètres, et parfois plus d'un billion. La plupart des SLM utilisent la même architecture que les LLM, mais avec moins de paramètres et parfois une précision numérique plus faible. Ils sont couramment produits ou réduits à l'aide de techniques telles que la distillation de connaissances, l'élagage et la quantification. Le pré-entraînement aide également les très petits modèles, et un volume plus important de données de pré-entraînement améliore généralement leurs résultats.

Plusieurs familles de modèles sont décrites comme des SLM. Parmi les exemples cités dans la documentation source figurent Gemma, Granite, Ministral, Phi, Qwen, SmolLM (avec des variantes de 135M, 360M et 1,7B) et les modèles de fondation embarqués d'Apple. La famille Phi de Microsoft est celle qui est la plus pertinente pour l'écosystème Microsoft, et c'est celle qui est abordée dans l'épisode de M365.FM consacré à ce sujet.

Les principaux avantages sont des besoins de calcul réduits et la possibilité de fonctionner localement sans accès au cloud. L'exécution d'un modèle en local a une conséquence directe sur la gestion des données. L'épisode de M365.FM « Small Language Models for Faster, Cheaper Enterprise AI » indique que, lorsque les modèles Phi sont déployés localement, les données restent au sein de l'organisation, et celle-ci contrôle l'accès et peut satisfaire aux exigences de conformité. L'épisode décrit les SLM comme fournissant des résultats rapides et précis pour des tâches spécifiques, comme la synthèse d'e-mails, la classification de tickets ou de documents, et le traitement efficace de documents réglementaires.

Le compromis porte sur la capacité. Un nombre réduit de paramètres limite la quantité d'informations qu'un modèle peut encoder, ce qui peut réduire la généralisation et la précision par rapport aux grands modèles. Par conséquent, la qualité d'un SLM dépend fortement de l'adéquation de ses données d'entraînement à la tâche confiée. C'est pourquoi les SLM sont généralement présentés autour de cas d'usage restreints et bien définis, plutôt que de travaux larges et ouverts. Une décision typique pour une organisation consiste donc à déterminer si une tâche est suffisamment précise et répétitive pour un petit modèle, ou si elle nécessite les capacités plus étendues d'un grand modèle.

L'épisode « Small Language Models for Faster, Cheaper Enterprise AI » recommande aux entreprises d'envisager les SLM et de rester prêtes pour la prochaine vague d'innovation en IA, et il note que les experts prédisent que l'IA rejoindra bientôt la main-d'œuvre et transformera les secteurs d'activité. Dans son format de FAQ, l'épisode définit un SLM comme un modèle doté de moins de paramètres que les grands modèles, capable de fonctionner sur des appareils locaux et de fournir des résultats rapides et précis pour des tâches spécifiques.

Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.

TypeConcept
WikipédiaSmall language model (SLM) – Wikipedia en.wikipedia.org

Articles sur Small language model (SLM) (4)

Articles qui traitent de Small language model (SLM) :

Questions fréquentes

Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.

Qu'est-ce qu'un petit modèle de langage (SLM) ? (IA)

Un petit modèle de langage est un modèle de langage IA compact, doté de beaucoup moins de paramètres qu'un grand modèle de langage. Il nécessite moins de puissance de calcul et peut être concentré sur un domaine restreint ou fonctionner sur des appareils locaux.

En quoi un SLM diffère-t-il d'un grand modèle de langage ? (IA)

Les SLM comptent généralement moins d'environ 40 milliards de paramètres, dont beaucoup moins de 10 milliards, alors que les LLM en comptent souvent des centaines de milliards ou plus. Ils partagent généralement la même architecture, mais leur taille réduite diminue les besoins en calcul et peut réduire la précision et la généralisation.

Pourquoi les SLM sont-ils importants pour la confidentialité ? (IA)

L'épisode de M365.FM consacré aux SLM indique que les modèles Phi peuvent être déployés localement, de sorte que les données restent au sein de l'organisation. Cela permet à celle-ci de contrôler l'accès et de satisfaire aux exigences de conformité.

Glossaire

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts et entreprises pour ce sujet

Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.

Sources

Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: