M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

KI-Training mit Microsoft Fabric Notebooks auf die nächste Stufe heben

Von ·

Projekte rund um künstliche Intelligenz und maschinelles Lernen erfordern enorme Rechenleistung, nahtlose Datenintegration und effiziente Verarbeitungsabläufe. …

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Projekte rund um künstliche Intelligenz und maschinelles Lernen erfordern enorme Rechenleistung, nahtlose Datenintegration und effiziente Verarbeitungsabläufe. Data Scientists haben bislang oft mit dem Aufwand zu kämpfen, große Datensätze zwischen verschiedenen Umgebungen zu verschieben, zersplitterte Toolsets zu verwalten und unter spürbaren Latenzen während der Trainingsphasen zu leiden. Heute gibt es eine einheitliche Lösung, die die Lücke zwischen umfangreicher Datentechnik und agiler Entwicklung von Machine-Learning-Modellen schließt. Mit Microsoft Fabric Notebooks können Teams ihre gesamte Prozesskette, von der Aufnahme der Rohdaten bis zur Bereitstellung des Modells, durchgängig optimieren.

In diesem Blogbeitrag vertiefen wir die zentralen Themen aus unserer Podcast-Folge Train AI Models with Microsoft Fabric Notebooks. Wir gehen im Detail darauf ein, wie Sie Ihre Umgebung einrichten, Datensätze effizient vorbereiten, Trainingsjobs ausführen und Modelle verwalten. Außerdem stellen wir Best Practices vor, mit denen Sie Ihre KI-Workflows deutlich beschleunigen.

Einrichtung der Fabric Notebooks

Die Einrichtung Ihrer Workspace in Fabric Notebooks schafft eine solide Grundlage für das Training von KI-Modellen. Dieser Abschnitt gibt einen Überblick über Fabric Notebooks und führt Sie Schritt für Schritt durch den Prozess, von der Kontoerstellung bis zum Start Ihres ersten Notebooks. Sie werden sehen, wie einfach Sie sich mit Ihren Daten verbinden und Spark für leistungsstarke Analysen nutzen können.

Zugriff auf Microsoft Fabric

Konto erstellen

Zunächst benötigen Sie Zugriff auf Fabric. Sie können ein kostenloses Fabric-Konto erstellen, mit dem Sie sich in der Fabric-App anmelden. Wenn Sie bereits Microsoft Power BI verwenden, können Sie Ihr vorhandenes Power-BI-Konto nutzen. Dieser einfache Prozess stellt sicher, dass Sie sofort mit Notebooks arbeiten können.

Tipp: Von Nutzern wurden bisher keine nennenswerten Zugriffsprobleme gemeldet, Sie können also mit einer reibungslosen Registrierung rechnen.

Im Workspace navigieren

Nach der Anmeldung sehen Sie den Fabric-Workspace. Hier organisieren Sie Ihre Projekte, verwalten Ressourcen und greifen auf Ihr Lakehouse zu. Das Workspace-Dashboard hilft Ihnen, Ihre Notebooks, Datensätze und weitere Assets schnell zu finden. Außerdem können Sie die Kapazität und die Einstellungen Ihres Workspace prüfen, um sicherzustellen, dass Sie die Anforderungen für KI-Projekte erfüllen.

AnforderungBeschreibung
Microsoft FabricFabric mit F64-Kapazität einrichten.
LakehouseEin Lakehouse zum Notebook hinzufügen und Daten aus einem öffentlichen Blob herunterladen.
Azure AI SearchAzure AI Search konfigurieren.
CopilotSicherstellen, dass die Mandanteneinstellung für Copilot aktiviert ist.
Workspace-KapazitätEine unterstützte Kapazität verwenden (F2 oder höher, oder P1 oder höher).
Geräteübergreifende EinstellungenBei Bedarf die Mandanteneinstellungen für die geografisch übergreifende Datenverarbeitung aktivieren.

Notebook starten

Kernel-Auswahl

Nachdem Sie Ihren Workspace eingerichtet haben, können Sie ein neues Notebook erstellen. Beim Starten eines Notebooks wählen Sie einen Kernel aus. Der Kernel bestimmt die Programmiersprache und die Umgebung. Fabric Notebooks unterstützen Python und weitere Sprachen und sind dadurch für unterschiedliche KI-Aufgaben flexibel einsetzbar.

Bibliotheken einrichten

Bevor Sie mit der Analyse beginnen, müssen Sie gegebenenfalls Bibliotheken installieren oder importieren. Fabric Notebooks machen diesen Schritt unkompliziert. Sie können Bibliotheken für Data Science, maschinelles Lernen oder Visualisierung direkt im Notebook hinzufügen. Auf diese Weise nutzen Sie Spark zur Verarbeitung großer Datensätze und verbinden sich nahtlos mit Ihrem Lakehouse.

FunktionBeschreibung
SprachflexibilitätUnterstützt Python und weitere Sprachen für Data-Science-Workflows.
Datenverarbeitung im großen MaßstabVerarbeitet große Datensätze effizient mit Spark.
InteraktivitätErmöglicht es, Code auszuführen und Ergebnisse in Echtzeit zu sehen.
Nahtlose Integration mit dem SpeicherVerbindet sich direkt mit dem Lakehouse, sodass Sie mit den Daten dort arbeiten, wo sie liegen.

Beim Erstellen eines neuen Notebooks entfällt das aufwendige Verschieben von Daten zwischen verschiedenen Tools. Sie können Ihre Daten an einem einzigen Ort verarbeiten, analysieren und visualisieren. Diese Integration spart Zeit und reduziert Fehler. Wenn Sie mit Fabric noch nicht vertraut sind, müssen Sie sich vielleicht zunächst einarbeiten. Der einheitliche Workspace und der direkte Datenzugriff erleichtern den Einstieg jedoch deutlich.

Hinweis: Wenn Sie an großen Projekten oder in größeren Teams arbeiten, helfen Ihnen Fabric Notebooks, zersplitterte Arbeitsabläufe zu vermeiden. Sie behalten von Anfang an alles übersichtlich organisiert und effizient.

Datenvorbereitung in Fabric Notebooks

Die Vorbereitung Ihres Datensatzes in Fabric-Notebooks legt den Grundstein für erfolgreiches Training von KI-Modellen. Sie können jeden Schritt straffen, von der Datenaufnahme bis zur Datenvisualisierung, und dabei die integrierten Werkzeuge und Spark-gestützten Funktionen nutzen.

Daten importieren

Verbindung zu einem Lakehouse herstellen

Sie beginnen damit, Ihr Notebook mit einem Lakehouse zu verbinden. Diese Verbindung gibt Ihnen direkten Zugriff auf Ihre Datensätze, sodass Sie Dateien nicht zwischen Systemen verschieben müssen. Sie können mit den Daten dort arbeiten, wo sie liegen. Das spart Zeit und reduziert Fehler. Das Lakehouse speichert Ihren Datensatz in Delta-Tabellen, sodass sich Informationen bei Bedarf einfach laden und aktualisieren lassen.

Daten mit Spark laden

Nach der Verbindung nutzen Sie Spark für die Datenaufnahme. Mit Spark laden Sie große Datensätze schnell und effizient. Sie können Daten aus mehreren Quellen lesen, darunter CSV-Dateien, Parquet-Dateien oder bestehende Tabellen in Ihrem Lakehouse. Spark übernimmt die aufwendige Arbeit, sodass Sie sich auf die Arbeit mit den Daten konzentrieren können, statt sich um Speichergrenzen zu sorgen.

Tipp: Verwenden Sie Spark DataFrames, um Ihren Datensatz im großen Maßstab zu verarbeiten. Dieser Ansatz hilft Ihnen, auch sehr große Datensätze zu verwalten, ohne Ihren Workflow auszubremsen.

Datenbereinigung

Fehlende Werte behandeln

Die Bereinigung Ihres Datensatzes ist ein zentraler Schritt vor dem Training eines Modells. Sie können Data Wrangler aus Ihrem Fabric-Notebook starten, um Ihren Datensatz zu untersuchen und fehlende Werte zu finden. Data Wrangler generiert automatisch Code für gängige Bereinigungsaufgaben, etwa das Auffüllen fehlender Werte oder das Entfernen unvollständiger Zeilen. Sie können diese Bereinigungsschritte als wiederverwendbare Funktionen in pandas oder PySpark exportieren und so Ihren Workflow effizienter gestalten.

Feature Engineering

Feature Engineering hilft Ihnen, aus vorhandenen Daten neue Variablen zu erstellen. Mit Python-basierten Werkzeugen in Fabric-Notebooks transformieren Sie Ihre Daten und erstellen Features, die die Genauigkeit des Modells verbessern. Spark macht es einfach, diese Transformationen auf Ihren gesamten Datensatz anzuwenden, selbst wenn er Millionen von Zeilen umfasst.

Best Practice:

  1. Verwenden Sie Spark- und Python-Werkzeuge, um Ihren Datensatz zu bereinigen und zu transformieren.
  2. Erstellen Sie Experimente, um verschiedene Feature-Sets zu testen.
  3. Verfolgen Sie Ihre Läufe und Ergebnisse mit MLflow in der Fabric-Benutzeroberfläche.

Datenexploration

Zusammenfassende Statistiken

Die Exploration Ihres Datensatzes hilft Ihnen, dessen Struktur und Qualität zu verstehen. Sie können zusammenfassende Statistiken wie Mittelwert, Median und Standardabweichung direkt in Ihrem Notebook erzeugen. Diese Kennzahlen geben Ihnen einen schnellen Überblick über Ihren Datensatz und zeigen Probleme auf, die Aufmerksamkeit benötigen.

Visualisierungen

Datenvisualisierung macht Ihren Datensatz anschaulich. Fabric-Notebooks unterstützen integrierte Visualisierungsfunktionen und lassen sich mit Bibliotheken wie Matplotlib und Bokeh kombinieren. Sie können tabellarische Ergebnisse ohne zusätzlichen Code in Diagramme verwandeln. Mit der Funktion display interagieren Sie mit Ihren Daten und erkennen Trends oder Ausreißer leicht.

Hinweis: Interaktive Datenvisualisierung hilft Ihnen, bessere Entscheidungen zu treffen, wenn Sie Ihren Datensatz für das Training von KI-Modellen vorbereiten.

Modelle in Fabric trainieren

Trainingscode schreiben

Python oder R verwenden

Sie können Ihren Trainingscode für Modelle in Microsoft Fabric Notebooks in mehreren Sprachen schreiben. Die Plattform unterstützt:

Die meisten Anwender wählen Python wegen seiner Flexibilität und des umfangreichen Ökosystems. Wenn Sie lieber die statistischen Werkzeuge von R nutzen, können Sie auch R verwenden. PySpark ermöglicht es, Ihre Lernaufgaben über viele Knoten zu skalieren, was bei großen Datensätzen wichtig ist. Python eignet sich gut für Deep Learning und die Entwicklung von PyTorch-Modellen. Wenn Sie PyTorch verwenden möchten, installieren Sie die Bibliothek und beginnen sofort mit dem Aufbau Ihres PyTorch-Modells. Für statistisches Lernen können Sie außerdem SparkR nutzen, für schnelle Datenabfragen Spark SQL.

Codezellen strukturieren

Organisieren Sie Ihren Code in klare, logisch aufgebaute Zellen. Beginnen Sie mit dem Laden und Bereinigen der Daten. Ergänzen Sie Zellen für Feature Engineering und explorative Analyse. Platzieren Sie den Code für das Modelltraining in einer eigenen Zelle. Diese Struktur hilft Ihnen, Teile Ihres Machine-Learning-Experiments zu debuggen und erneut auszuführen, ohne frühere Schritte zu wiederholen. Außerdem können Sie Markdown-Zellen hinzufügen, um Ihre Logik zu erläutern und Experimente zu dokumentieren. So lassen sich Ihre Notebooks leicht lesen und mit anderen teilen.

Algorithmusauswahl

Modelle auswählen

Sie müssen den passenden Algorithmus für Ihre Aufgabe auswählen. Logistische Regression eignet sich gut für binäre Klassifikationsprobleme. Für komplexere Modelle können Sie außerdem Bibliotheken wie scikit-learn, PySpark ML, TensorFlow oder PyTorch verwenden. Wenn Sie ein PyTorch-Modell erstellen möchten, können Sie die GPU-Unterstützung in Fabric nutzen, um Ihren Lernprozess zu beschleunigen. PyTorch ist beliebt für Deep Learning, Bilderkennung und Verarbeitung natürlicher Sprache. Sie können PyTorch auch für Transfer Learning und Feinabstimmung vortrainierter Modelle einsetzen.

Berücksichtigen Sie bei der Auswahl eines Algorithmus die Datenmenge, die Art des Problems und die verfügbaren Ressourcen. FLAML, von Microsoft Research entwickelt, hilft Ihnen, Modelle effizient zu trainieren. Es benötigt weniger Rechenleistung und funktioniert gut mit parallelen Aufträgen. Damit ist es eine gute Wahl für umfangreiche Machine-Learning-Experimente.

Hyperparameter festlegen

Hyperparameter steuern, wie Ihre Modelle lernen. Mit flaml.tune können Sie nach den besten Einstellungen suchen. Dank der parallelen Verarbeitung von Spark können Sie in Fabric viele Tuning-Durchläufe gleichzeitig ausführen. So testen Sie schnell verschiedene Lernraten, Batch-Größen oder Schichten für Ihr PyTorch-Modell. Mit Experiment-Tracking können Sie jeden Durchlauf in Ihrem Machine-Learning-Experiment nachverfolgen. Visualisierungstools helfen Ihnen, Ergebnisse zu vergleichen und die beste Konfiguration auszuwählen. Sie sehen, welche Einstellungen für Ihr Modell beim Testen und Trainieren am besten funktionieren.

Tipp: Nutzen Sie Experiment-Tracking, um jeden Durchlauf, jede Metrik und jeden Parameter zu protokollieren. So können Sie erfolgreiche Experimente wiederholen und Fehler vermeiden.

Trainingsaufträge ausführen

Fortschritt überwachen

Sie können Ihre Trainingsaufträge in Echtzeit überwachen. Fabric-Notebooks zeigen Ihnen, wie sich jeder Schritt auswirkt. Der Modus „Hohe Parallelität“ beschleunigt Ihre Aufträge um etwa 30 %. Sie erhalten detaillierte Protokolle für jeden Notebook-Schritt. Die MLflow-Integration bietet Ihnen automatisches Logging, sodass Sie Metriken nicht manuell protokollieren müssen. Sie können Ihre Trainingssitzungen definieren und festlegen, welche Parameter und Metriken erfasst werden. So lässt sich Ihr Lernfortschritt einfach verfolgen und die Ergebnisse verschiedener Experimente lassen sich vergleichen.

SzenarioPython-Notebooks (2-Kern-VM)PySpark-Notebooks (Spark-Compute)
Verarbeitung großer DatensätzeDurch den Arbeitsspeicher eines einzelnen Knotens begrenzt. Skalierung kann problematisch sein.Verteilte Verarbeitung ermöglicht eine skalierbare Verarbeitung von Workloads im Bereich mehrerer GB bis TB.

Sie sehen, dass PySpark-Notebooks große Datensätze besser verarbeiten. Das ist wichtig, wenn Sie ein PyTorch-Modell oder andere Deep-Learning-Modelle mit großen Datenmengen trainieren.

Checkpoints

Mit Checkpoints speichern Sie den Zustand Ihres Modells während des Trainings. Wenn Ihr Auftrag stoppt oder Sie ihn pausieren möchten, können Sie ab dem letzten Checkpoint fortfahren. Das ist nützlich für lang laufende Trainingsaufträge von PyTorch-Modellen. Ihr Fortschritt geht nicht verloren, wenn Sie neu starten müssen. Sie können Checkpoints außerdem nutzen, um verschiedene Lernstrategien zu testen oder Ihr Machine-Learning-Experiment ab einem bestimmten Punkt fortzusetzen.

Hinweis: Setzen Sie immer Checkpoints, wenn Sie Modelle mit großen Datensätzen trainieren. Das spart Zeit und schützt Ihre Arbeit.

Sie verfügen nun über die Werkzeuge, um Machine-Learning-Modelle in Microsoft Fabric Notebooks zu trainieren, zu testen und zu überwachen. Sie können Experimente durchführen, Hyperparameter optimieren und leistungsstarke PyTorch-Modelllösungen für jede Data-Science-Herausforderung entwickeln.

Workflow für das Training von KI-Modellen

AI Model Training Workflow

Mit dem richtigen Workflow in Microsoft Fabric Notebooks schöpfen Sie das volle Potenzial des KI-Modelltrainings aus. Dieser Abschnitt zeigt Ihnen verteilte Auswertung, Modell-Tuning und die Nutzung integrierter KI-Funktionen. Sie erfahren, wie Spark, Echtzeitüberwachung und Copilot-Funktionen Ihnen helfen, bessere Modelle schneller zu erstellen.

Verteilte Auswertung

Leistung bewerten

Sie können die Leistung Ihres Modells über große Datensätze hinweg mithilfe des verteilten Rechnens von Spark bewerten. Spark teilt Ihre Testdaten in kleinere Teile auf und verarbeitet sie parallel. So müssen Sie nicht stundenlang auf Ergebnisse warten. Metriken wie Genauigkeit, Precision und Recall können Sie direkt im Notebook prüfen. Dieser Ansatz eignet sich gut für Deep Learning mit PyTorch, wenn Modelle an Millionen von Datensätzen getestet werden müssen. Die Echtzeitüberwachung in Fabric zeigt Ihnen während der Auswertung Ressourcennutzung und Auftragsfortschritt.

Modelle vergleichen

Sie können verschiedene Modelle in Notebooks direkt nebeneinander vergleichen. Beispielsweise könnten Sie ein PyTorch-Modell und ein scikit-learn-Modell auf demselben Datensatz trainieren. Sie können die Ergebnisse jedes Modells protokollieren und mit integrierten Diagrammen visualisieren. Das hilft Ihnen, das beste Modell für Ihr Projekt zum Training von KI-Modellen auszuwählen. Außerdem können Sie Experiment-Tracking nutzen, um Ihre Ergebnisse zu speichern und mit Ihrem Team zu teilen. So lassen sich erfolgreiche Experimente leicht wiederholen und Ihr Workflow verbessern.

Modelle optimieren

Hyperparameter-Suche

Sie können die Genauigkeit Ihres Modells durch die Optimierung von Hyperparametern steigern. Dafür unterstützen Microsoft Fabric Notebooks erweiterte Werkzeuge wie Optuna. Der folgende einfache Workflow hilft Ihnen dabei:

  1. Erstellen Sie mit Optuna eine Studie, um die Ergebnisse der Trials zu speichern:
    study = optuna.create_study(direction="maximize")
  2. Optimieren Sie die Studie über eine festgelegte Anzahl von Trials:
    study.optimize(objective, n_trials=60, show_progress_bar=True)
  3. Geben Sie die Ergebnisse der Trials aus:
    print("Number of finished trials:", len(study.trials))

Sie können Ihre Suche außerdem mit Diagrammen visualisieren. Verwenden Sie plot_optimization_history(study).show(), um zu sehen, wie sich Ihr Modell im Laufe der Zeit verbessert. Probieren Sie plot_param_importances(study).show() aus, um herauszufinden, welche Einstellungen am meisten ins Gewicht fallen. Mit plot_parallel_coordinate(study).show() können Sie untersuchen, wie verschiedene Parameter zusammenwirken. Kopieren Sie den Code nicht einfach, sondern passen Sie ihn an und experimentieren Sie mit verschiedenen Hyperparametern, um die besten Ergebnisse für Ihre PyTorch- oder anderen Modelle zu erzielen.

Überanpassung vermeiden

Ihr Ziel beim Training von KI-Modellen ist, Modelle zu erstellen, die nicht nur auf dem Trainingsdatensatz, sondern auch auf neuen Daten gut funktionieren. Überanpassung (Overfitting) tritt auf, wenn ein Modell die Trainingsdaten zu genau lernt und bei neuen Beispielen versagt. Sie können dem entgegenwirken, indem Sie Kreuzvalidierung und Stacking-Verfahren einsetzen.

Beim Stacking wird typischerweise Kreuzvalidierung genutzt, um Vorhersagen für das Meta-Modell zu erzeugen. So wird sichergestellt, dass keine Informationen aus dem Training in die Tests einfließen. Das erhöht zwar die Komplexität, sorgt aber auch für mehr Robustheit.

Außerdem können Sie in PyTorch Early Stopping, Regularisierung und Dropout-Schichten einsetzen, um Ihre Modelle robuster zu machen. Prüfen Sie stets Ihre Validierungswerte und passen Sie den Trainingsprozess an, wenn Anzeichen für Überanpassung auftreten.

Integrierte KI-Funktionen

Textklassifizierung

Mit den integrierten KI-Funktionen in Microsoft Fabric Notebooks sparen Sie bei gängigen Aufgaben Zeit. Für die Textklassifizierung können Sie die Funktion Classify verwenden, um E-Mails, Supporttickets oder Dokumente in Kategorien einzuordnen. Das eignet sich gut für Geschäftsszenarien wie das Weiterleiten dringender Anfragen oder das Kennzeichnen von Kundenfeedback. Für anspruchsvollere Klassifizierungsaufgaben können Sie außerdem eigene PyTorch-Modelle erstellen.

Stimmungsanalyse

Die Stimmungsanalyse hilft Ihnen, den Tonfall von Texten zu verstehen, etwa von Kundenbewertungen oder Beiträgen in sozialen Medien. Mit der Funktion Sentiment Analysis können Sie negative Kommentare markieren und schnell darauf reagieren. Diese Funktion steht in Notebooks sofort zur Verfügung, sodass Sie keinen komplexen Code schreiben müssen. Für noch bessere Ergebnisse können Sie integrierte Funktionen außerdem mit eigenen PyTorch-Modellen kombinieren.

Die folgende Tabelle zeigt integrierte KI-Funktionen, die Sie in Ihrem Workflow zum Training von KI-Modellen verwenden können:

FunktionBeschreibungAnwendungsfälle
SummarizeKürzt langen Text zu kurzen ZusammenfassungenUmfangreiche interne E-Mails des Unternehmens in eine kurze, prägnante Zusammenfassung
ClassifyKategorisiert Text anhand benutzerdefinierter Bezeichnungen oder TagsSupporttickets nach Schweregrad (dringend, kritisch usw.) klassifizieren
ExtractRuft bestimmte Informationen aus dem Eingabetext abName und Ort aus einer Datenbank mit Kunden-E-Mails extrahieren
TranslateKonvertiert Text von einer Sprache in eine andereKunden-E-Mails von Spanisch nach Englisch übersetzen
SimilarityVergleicht zwei Texte und zeigt an, wie ähnlich sie sindÄhnliche Supporttickets finden, die dasselbe Problem beschreiben
Sentiment AnalysisErkennt den Tonfall eines Textes – positiv, negativ oder neutralKundenbewertungen mit Begriffen wie „inakzeptabel“ oder „schlecht“ markieren und darauf reagieren, bevor sich die Situation zuspitzt

Mit Copilot können Sie Code generieren, Verbesserungen vorschlagen und wiederkehrende Schritte automatisieren. Dadurch wird Ihr Prozess zum Training von KI-Modellen schneller und produktiver. Sie können sich auf den Aufbau und die Optimierung von PyTorch-Modellen konzentrieren, während Copilot die Routinearbeit übernimmt.

Wenn Sie diesem Workflow in Microsoft Fabric Notebooks folgen, können Sie das Training von KI-Modellen skalieren, PyTorch-Modelle effizient optimieren und mit integrierten KI-Funktionen praxisnahe Probleme lösen.

Modellverwaltung und Bereitstellung

Modelle speichern

Export und Versionierung

Sie brauchen eine verlässliche Methode, um Ihre PyTorch-Modelle in Fabric zu speichern und nachzuverfolgen. Beginnen Sie damit, MLflow für jeden Trainingslauf zu verwenden. MLflow protokolliert Ihre Parameter, Metriken und Artefakte. So finden Sie die beste Version Ihres PyTorch-Modells, wenn Sie sie brauchen. Sie sollten das automatische Protokollieren (Autologging) zu Beginn der Experimentverfolgung aktivieren. So erfassen Sie alle wichtigen Details ab dem ersten Lauf. Nachträglich können Sie keine Protokolle mehr ergänzen. Fangen Sie daher früh an.

Mit Delta Lake Time Travel können Sie die genaue Version Ihrer Trainingsdaten festhalten. So stellen Sie sicher, dass sich Ihre Ergebnisse jederzeit reproduzieren lassen. Registrieren Sie jedes PyTorch-Modell in der MLflow Model Registry. Erfassen Sie dabei Version, Hashwert der Trainingsdaten, Leistungsmetriken und Eigentümer. Das schafft eine klare Nachvollziehbarkeit für die Verwaltung von Modellen. Richten Sie vor der Überführung eines Modells in die Produktion einen manuellen Überprüfungsprozess ein. Verwenden Sie dafür Genehmigungen für Pull Requests in Azure DevOps, die mit Fabric-Bereitstellungspipelines verknüpft sind. Dieser Schritt hält Ihren Workflow sicher und regelkonform.

Tipp: Halten Sie Ihre besten PyTorch-Modelle immer in MLflow registriert. Wenn Sie ein Problem feststellen, können Sie auf eine frühere Version zurückwechseln.

Notebooks gemeinsam nutzen

Funktionen für die Zusammenarbeit

Mit Notebooks arbeiten Sie einfach im Team zusammen. Die Plattform ist direkt mit Ihrem Lakehouse verbunden, sodass alle dieselben Daten verwenden. Notebooks vereinen Code, Kommentare und Ausgaben an einem Ort. So lassen sich Ideen und Ergebnisse leicht teilen. Teammitglieder können ihre bevorzugten Programmiersprachen, etwa Python oder R, auf denselben Datensatz anwenden. Diese Flexibilität hilft allen, zur Verwaltung von Modellen und zur Nachverfolgung von Experimenten beizutragen.

FunktionBeschreibung
Einfache Arbeit mit Lakehouse-DatenDirekte Verbindung zum Fabric-Lakehouse für nahtlose Datenarbeit ohne zusätzliche Einrichtung.
Bessere ZusammenarbeitNotebooks vereinen Code, Kommentare und Ausgaben. Das verbessert das Verständnis und den Austausch im Team.
Unterstützt unterschiedliche ProgrammierstileTeammitglieder können ihre bevorzugten Programmiersprachen verwenden. So arbeiten alle auf demselben Datensatz zusammen.

Modelle bereitstellen

Integration mit Fabric-Pipelines

Sie können Ihre PyTorch-Modelle über Fabric-Bereitstellungspipelines bereitstellen. Diese Pipelines helfen Ihnen, Modelle in Entwicklungs-, Test- und Produktionsumgebungen zu verwalten. Sie behalten in jeder Phase Kontrolle und Konsistenz. Der visuelle Workflow in den Microsoft Fabric Deployment Pipelines zeigt Ihnen, wo sich Ihr PyTorch-Modell gerade befindet und welche Schritte als Nächstes folgen. Sie können PyTorch-Modelle über kontrollierte Umgebungen hinweg befördern. Dieser Prozess stellt sicher, dass Ihr Team bewährte Verfahren für die Verwaltung von Modellen einhält.

Echtzeit-Inferenz

Sie können PyTorch-Modelle für Echtzeit-Inferenz bereitstellen. Das bedeutet, dass Sie Vorhersagen für neue Daten treffen können, sobald sie eintreffen. Sie können Ihr bereitgestellte PyTorch-Modell zum Beispiel nutzen, um Support-Tickets zu klassifizieren oder Kundenfeedback sofort auszuwerten. MLflow erfasst jede Bereitstellung, sodass Sie wissen, welche Version Ihres PyTorch-Modells läuft. Bei Bedarf können Sie Bereitstellungen schnell aktualisieren oder zurücksetzen.

Hinweis: Echtzeit-Inferenz hilft Ihnen, geschäftliche Anforderungen ohne Verzögerung zu erfüllen. Verwenden Sie MLflow, um Ihre PyTorch-Modelle im Produktivbetrieb zu überwachen und zu verwalten.

Mit diesen Schritten können Sie das Speichern, Teilen und Bereitstellen Ihrer PyTorch-Modelle in Fabric umsetzen. Ihr Workflow bleibt strukturiert und Ihre Ergebnisse bleiben reproduzierbar. MLflow und Notebooks stellen Ihnen die Werkzeuge bereit, um Experimente nachzuverfolgen und Modelle im großen Maßstab zu verwalten.

Bewährte Verfahren für Fabric-Notebooks

Reproduzierbarkeit

Workflow dokumentieren

Dokumentieren Sie Ihren Workflow stets, damit sich Ihre KI-Projekte leicht wiederholen und nachvollziehen lassen. Gute Dokumentation hilft Ihnen und Ihrem Team, jeden Schritt des Modelltrainings nachzuverfolgen. Beschreiben Sie zunächst den geschäftlichen Kontext jedes Experiments. Registrieren Sie Ihre Modelle mit klaren Erläuterungen dazu, was sie vorhersagen, wie sie zu verwenden sind und welche bekannten Grenzen sie haben. Nutzen Sie Markdown-Zellen in Ihren Notebooks, um Ihre Logik und Entscheidungen zu erläutern. Diese Gewohnheit erleichtert es, Ihre Arbeit zu teilen und zu prüfen.

Tipp: Dokumentieren Sie jedes Experiment laufend. So sparen Sie später Zeit und vermeiden Verwirrung.

Umgebungsverwaltung

Die Verwaltung Ihrer Umgebung sorgt dafür, dass Ihre Ergebnisse über verschiedene Durchläufe hinweg konsistent bleiben. Erfassen Sie die Versionen aller Bibliotheken und Abhängigkeiten, die Sie verwenden. So vermeiden Sie unliebsame Überraschungen, wenn Sie oder Ihre Teammitglieder Ihre Notebooks erneut ausführen. Verwenden Sie Umgebungsdateien oder Paketlisten, um Ihr Setup nachvollziehbar zu halten. Wenn Sie Ihre Arbeit teilen, geben Sie diese Details an, damit andere Ihre Ergebnisse ohne Probleme reproduzieren können.

Zusammenarbeit

Gemeinsame Nutzung im Team

Die Zusammenarbeit im Team mit Fabric ist einfach und effektiv. Sie können Notebooks mit Ihren Kolleginnen und Kollegen teilen und für jeden Benutzer Berechtigungen festlegen. Diese Steuerung legt fest, wer Ihre Arbeit anzeigen oder bearbeiten darf. Teams können Kommentare auf Zellebene hinzufügen, um Code zu besprechen, Fragen zu stellen oder Änderungen vorzuschlagen. Diese Funktionen helfen allen, auf dem gleichen Stand zu bleiben und Projekte gemeinsam voranzubringen.

Codeüberprüfung

Die Überprüfung von Code ist wichtig für die Qualität und für das Lernen. Notebooks unterstützen den Versionsverlauf, sodass Sie nachvollziehen können, was wann geändert wurde. Bei Bedarf können Sie zu einer früheren Version zurückkehren. Die Integration mit Git ermöglicht es Ihnen, für eine noch bessere Nachverfolgung Quellcodeverwaltung einzusetzen. Diese Werkzeuge erleichtern es, Code zu prüfen, Fehler zu finden und Ihr Projekt abzusichern.

Leistungsoptimierung

Ressourcenverwaltung

Sie können die Leistung optimieren, indem Sie Ihre Ressourcen gezielt verwalten. Dimensionieren Sie Ihre Rechenkapazität passend zur Auslastung. Skalieren Sie in Stoßzeiten hoch und pausieren Sie Ressourcen, wenn sie nicht benötigt werden. Reservierte Kapazitäten und Spot-Workloads können Ihnen helfen, Kosten zu sparen. Richten Sie Budgets und Warnmeldungen ein, um Überausgaben zu vermeiden. Überwachen Sie Lastspitzen, um Engpässe frühzeitig zu erkennen.

OptimierungstippNutzen
Kapazität passend dimensionierenPasst Ressourcen an den Workload-Bedarf an
Reservierte/Spot-WorkloadsSenkt die Kosten
Lastspitzen überwachenFindet Engpässe schnell
Budgets/Warnmeldungen festlegenVerhindert unerwartete Kosten

Effiziente Datenverarbeitung

Effiziente Datenverarbeitung beschleunigt Ihre KI-Projekte. Verarbeiten Sie Daten direkt am Speicherort, um Datenbewegungen zu minimieren und Zeit zu sparen. Räumen Sie Ihren Speicher auf, um die Leistung zu verbessern. Verwenden Sie wiederverwendbare Feature-Tabellen, um doppelte Arbeit zu vermeiden. Die parallele Optimierung von Hyperparametern erlaubt es Ihnen, viele Einstellungen gleichzeitig zu testen, und beschleunigt so Ihre Experimente. Verfolgen Sie Ihre Experimente stets nach, damit Ihre Ergebnisse übersichtlich bleiben.

Hinweis: Effiziente Datenverarbeitung und intelligentes Ressourcenmanagement helfen Ihnen, das Beste aus Ihren KI-Projekten herauszuholen.

Fehlerbehebung

Bei der Arbeit mit Microsoft Fabric Notebooks können Herausforderungen auftreten, die Ihren Fortschritt bremsen. Wenn Sie wissen, wie Sie häufige Probleme beheben, bleiben Ihre Projekte auf Kurs. Dieser Abschnitt zeigt Ihnen praktische Schritte zur Fehlersuche und dazu, wo Sie bei Bedarf Unterstützung finden.

Fehlersuche

Viele Probleme lassen sich mit einem klaren Vorgehen lösen. Prüfen Sie zunächst den Überwachungshub im Microsoft Fabric-Portal. Dieses Werkzeug zeigt Ihnen, ob Pipelines fehlgeschlagen sind oder in Ihrem Arbeitsbereich Fehler auftreten. Wenn Sie ein Problem sehen, prüfen Sie die Details, etwa den Namen des Arbeitsbereichs, den Aktivator und die Eventstream-Quelle. Diese Angaben helfen Ihnen, die Ursache schnell zu finden.

Gehen Sie wie folgt vor, um Ihre Datenpipelines und Notebooks zu debuggen:

  1. Prüfen Sie den Überwachungshub auf fehlgeschlagene Aufträge oder Fehler.
  2. Validieren Sie alle Verbindungen und Anmeldedaten, insbesondere für Azure SQL oder andere verknüpfte Dienste.
  3. Nutzen Sie den Debug-Modus, um Ihre Datenpipelines Schritt für Schritt durchzugehen und Stellen zu finden, an denen sie hängen bleiben.
  4. Prüfen Sie die Einstellungen für Zeitplan und Trigger, damit Ihre Aufträge wie geplant laufen.
  5. Überwachen Sie die Ressourcennutzung, um zu sehen, ob eine langsame Leistung auf begrenzte Kapazität zurückzuführen ist.
  6. Besuchen Sie die Statusseite von Microsoft Fabric, um Dienstausfälle oder Updates zu prüfen.
  7. Exportieren und importieren Sie Pipelines über die Funktion „Speichern unter“, wenn Sie sie duplizieren oder zurücksetzen möchten.
  8. Dokumentieren Sie Regel-IDs, Bedingungen, Zeitstempel und betroffene Objekte, um nachzuvollziehen, was passiert ist.

Tipp: Führen Sie beim Ausführen und Debuggen von Notebooks stets ein Protokoll über Änderungen und Aktionen. Diese Gewohnheit erleichtert es, Probleme nachzuverfolgen und Ergebnisse mit Ihrem Team zu teilen.

Unterstützungsressourcen

Wenn Sie ein Problem nicht selbst lösen können, stehen Ihnen mehrere Support-Optionen zur Verfügung. Microsoft bietet eine starke Community und offizielle Hilfekanäle. Diese Ressourcen helfen Ihnen, Antworten zu finden und von anderen zu lernen.

Wenn Sie um Hilfe bitten, nennen Sie wichtige Details wie den Namen Ihres Arbeitsbereichs, die Eventstream-Quelle, Regel-IDs und den Zeitpunkt, zu dem das Problem aufgetreten ist. Diese Informationen helfen dem Supportteam, schneller und präziser zu reagieren.

Hinweis: Der Austausch in der Community führt oft zu schnellen Lösungen. Viele Anwender teilen Tipps und Best Practices, mit denen Sie ähnliche Probleme in Zukunft vermeiden können.

Wenn Sie diese Schritte zur Fehlerbehebung befolgen und die verfügbaren Supportressourcen nutzen, können Sie die meisten Probleme in Fabric-Notebooks lösen und Ihre Projekte weiter voranbringen.


Mit Microsoft Fabric Notebooks können Sie das Training von KI-Modellen beschleunigen. Die vertraute Oberfläche, die an Power BI erinnert, macht Ihren Workflow intuitiv und produktiv. Sie arbeiten in einer einheitlichen Umgebung, die Datenengineering, Analytics und KI-Unterstützung vereint, sodass Sie nicht zwischen verschiedenen Tools wechseln müssen. Diese Integration vereinfacht jeden Schritt, von der Datenaufbereitung bis zur Bereitstellung.

Nutzen Sie diese Ressourcen, um Ihre Fähigkeiten zu vertiefen:

Beginnen Sie noch heute Ihren Weg und schöpfen Sie die volle Leistungsfähigkeit einer skalierbaren, effizienten Entwicklung von KI-Modellen aus. Um mehr über diese Techniken und Expertendiskussionen zu erfahren, sehen Sie sich unbedingt die passende Podcastfolge an: Train AI Models with Microsoft Fabric Notebooks.

Fabric notebooks Fabric workspace Microsoft Fabric Azure AI Search Power BI

Verwandte Artikel

RSS