Small language model (SLM)
Konzept
Ein kleines Sprachmodell ist ein kompaktes KI-Sprachmodell mit deutlich weniger Parametern als ein großes Sprachmodell. Daher benötigt es weniger Rechenleistung und kann auf einen engen Fachbereich ausgerichtet werden oder auf lokalen Geräten laufen.
Oft gemeinsam besprochen
In Folgen zu Small language model (SLM) geht es oft auch um Multi-agent system, Large language model (LLM) und Microsoft Foundry.
Beschreibung
Ein kleines Sprachmodell (Small Language Model, SLM) ist ein kompaktes KI-Sprachmodell mit deutlich weniger Parametern als ein großes Sprachmodell (Large Language Model, LLM). Aufgrund dieser geringeren Größe benötigt es weniger Rechenleistung und kann auf einen engen Fachbereich ausgerichtet werden oder auf lokalen Geräten laufen. SLMs werden auch als kompakte Sprachmodelle bezeichnet. Sie sind für Aufgaben der natürlichen Sprachverarbeitung wie die Textgenerierung konzipiert, sind aber klein genug, um auf handelsüblicher Hardware trainiert oder betrieben zu werden, darunter Personal Computer, Laptops und intelligente Geräte.
Der Größenunterschied ist die zentrale Unterscheidung. Eine Übersicht ordnet SLMs typischerweise unterhalb von etwa 40 Milliarden Parametern ein, wobei viele Modellfamilien unter 10 Milliarden liegen. Große Sprachmodelle haben im Vergleich dazu oft Hunderte Milliarden Parameter und manchmal mehr als eine Billion. Die meisten SLMs verwenden dieselbe Architektur wie LLMs, jedoch mit weniger Parametern und teilweise geringerer numerischer Genauigkeit. Sie werden häufig mit Verfahren wie Wissensdestillation, Pruning und Quantisierung erzeugt oder verkleinert. Auch das Pre-Training hilft sehr kleinen Modellen, und größere Pre-Training-Datenmengen verbessern ihre Ergebnisse im Allgemeinen.
Mehrere Modellfamilien werden als SLMs beschrieben. Beispiele aus dem Quellmaterial sind Gemma, Granite, Ministral, Phi, Qwen, SmolLM (mit Varianten mit 135M, 360M und 1,7B) sowie die On-Device-Foundation-Modelle von Apple. Die Phi-Familie von Microsoft ist für das Microsoft-Ökosystem am relevantesten und wird in der M365.FM-Folge zu diesem Thema behandelt.
Die wichtigsten Vorteile sind geringere Anforderungen an die Rechenleistung und die Möglichkeit, lokal ohne Cloud-Zugriff zu laufen. Der lokale Betrieb eines Modells hat eine direkte Auswirkung auf den Umgang mit Daten. Die M365.FM-Folge "Small Language Models for Faster, Cheaper Enterprise AI" hält fest, dass bei einer lokalen Bereitstellung von Phi-Modellen die Daten innerhalb der Organisation bleiben und die Organisation den Zugriff kontrollieren und Compliance-Anforderungen erfüllen kann. Die Folge beschreibt SLMs als Modelle, die für bestimmte Aufgaben schnelle und präzise Ergebnisse liefern, etwa beim Zusammenfassen von E-Mails, beim Klassifizieren von Tickets oder Dokumenten oder bei der effizienten Verarbeitung regulatorischer Dokumente.
Der Kompromiss liegt in der Kapazität. Weniger Parameter begrenzen, wie viele Informationen ein Modell abbilden kann, was im Vergleich zu großen Modellen die Generalisierung und Genauigkeit verringern kann. Die Qualität eines SLM hängt daher stark davon ab, wie gut seine Trainingsdaten zur jeweiligen Aufgabe passen. Aus diesem Grund werden SLMs typischerweise im Hinblick auf enge, klar definierte Anwendungsfälle und nicht auf breite, offene Aufgaben beschrieben. Eine typische Entscheidung für eine Organisation lautet daher, ob eine Aufgabe spezifisch und wiederholbar genug für ein kleines Modell ist oder ob sie die breitere Leistungsfähigkeit eines großen Modells benötigt.
Die Folge "Small Language Models for Faster, Cheaper Enterprise AI" empfiehlt Unternehmen, SLMs in Betracht zu ziehen und auf die nächste Welle der KI-Innovation vorbereitet zu sein, und sie weist darauf hin, dass Experten erwarten, dass KI bald Teil der Belegschaft wird und ganze Branchen verändert. Im FAQ-Format definiert die Folge ein SLM als Modell mit weniger Parametern als große Modelle, das auf lokalen Geräten laufen kann und für bestimmte Aufgaben schnelle, präzise Ergebnisse liefert.
Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.
| Typ | Konzept |
|---|---|
| Wikipedia | Small language model (SLM) – Wikipedia en.wikipedia.org |
Artikel zu Small language model (SLM) (4)
Artikel, in denen es um Small language model (SLM) geht:
- Warum Copilot scheitert: Halluzinationen und Datenschutzlücken im Unternehmen
· Mirko Peters
Wenn Sie an Ihrem Arbeitsplatz sitzen und einen KI-Assistenten wie Microsoft Copilot öffnen, haben Sie eine klare Erwartung: Sie wollen Ihre Arbeitsabläufe beschleunigen …
Das solltest du dir anhörenSmall Language Models for Faster, Cheaper Enterprise AI - Die Schwächen von Copilot mit Small Language Models beheben
· Mirko Peters
Willkommen zurück zum Begleit-Blog des Podcasts! In diesem Beitrag tauchen wir tief in den technischen Wandel ein, der verändert, wie Unternehmen mit künstlicher Intelligenz umgehe - Why Copilot Fails: Unpacking Hallucinations and Enterprise Privacy Flaws
· Mirko Peters
When you sit down at your workstation and open up an AI assistant like Microsoft Copilot, you do so with a clear expectation: you want to accelerate your workflow, … - Fixing Copilot's Flaws with Small Language Models
· Mirko Peters
Welcome back to the podcast companion blog! In this post, we are diving deep into the technical shift transforming how enterprise organizations approach artificial …
Häufige Fragen
Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.
Was ist ein kleines Sprachmodell (SLM)? (KI)
Ein kleines Sprachmodell ist ein kompaktes KI-Sprachmodell mit deutlich weniger Parametern als ein großes Sprachmodell. Es benötigt weniger Rechenleistung und kann auf einen engen Fachbereich ausgerichtet werden oder auf lokalen Geräten laufen.
Worin unterscheidet sich ein SLM von einem großen Sprachmodell? (KI)
SLMs haben typischerweise unterhalb von etwa 40 Milliarden Parametern, wobei viele unter 10 Milliarden liegen, während LLMs oft Hunderte Milliarden oder mehr haben. Sie verwenden meist dieselbe Architektur, aber die geringere Größe senkt den Rechenbedarf und kann Genauigkeit und Generalisierung verringern.
Warum sind SLMs für den Datenschutz wichtig? (KI)
Die M365.FM-Folge zu SLMs besagt, dass Phi-Modelle lokal bereitgestellt werden können, sodass die Daten innerhalb der Organisation bleiben. Dadurch kann die Organisation den Zugriff kontrollieren und Compliance-Anforderungen erfüllen.
Community-Wiki
Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.
Experten und Firmen zu diesem Thema
Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.
Quellen
- Small language model (SLM) – Wikipedia en.wikipedia.org
- RSS-Feed: Small language model (SLM)
- Artikel zum Thema: 4
Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: