M365Con 2027 – conférence en ligne gratuite · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Accélérer l’entraînement de l’IA avec les notebooks Microsoft Fabric

By ·

Les projets d’intelligence artificielle et de machine learning exigent une puissance de calcul considérable, une intégration fluide des données et des flux de traitement efficaces. …

Automatically translated with AI from the original post. Read the English original

Les projets d’intelligence artificielle et de machine learning exigent une puissance de calcul considérable, une intégration fluide des données et des flux de traitement efficaces. Jusqu’à présent, les data scientists devaient composer avec la complexité du déplacement de vastes jeux de données entre des environnements disparates, la gestion d’outils fragmentés et une latence importante pendant les sessions d’entraînement. Aujourd’hui, une solution unifiée permet de combler le fossé entre l’ingénierie des données à grande échelle et le développement agile de modèles de machine learning. En s’appuyant sur les notebooks Microsoft Fabric, les équipes peuvent rationaliser l’ensemble de leur chaîne opérationnelle, de l’ingestion des données brutes au déploiement des modèles.

Dans cet article, nous approfondissons les concepts abordés dans notre épisode de podcast, Train AI Models with Microsoft Fabric Notebooks. Nous examinerons en détail la configuration de votre environnement, la préparation efficace des jeux de données, l’exécution des tâches d’entraînement, la gestion des modèles et les bonnes pratiques qui permettront de dynamiser vos flux de travail en IA.

Configuration des notebooks Fabric

La configuration de votre espace de travail dans les notebooks Fabric pose des bases solides pour l’entraînement de modèles d’IA. Cette section présente un aperçu des notebooks Fabric et vous guide à travers chaque étape, de la création du compte au lancement de votre premier notebook. Vous verrez à quel point il est simple de vous connecter à vos données et d’exploiter Spark pour des analyses performantes.

Accéder à Microsoft Fabric

Créer un compte

Pour commencer, vous avez besoin d’un accès à Fabric. Vous pouvez créer un compte Fabric gratuit, qui vous permet de vous connecter à l’application Fabric. Si vous utilisez déjà Microsoft Power BI, vous pouvez employer votre compte Power BI existant. Ce processus simple vous garantit de pouvoir travailler immédiatement avec les notebooks.

Conseil : Aucun problème d’accès majeur n’a été signalé par les utilisateurs. Vous pouvez donc vous attendre à une inscription sans difficulté.

Naviguer dans l’espace de travail

Une fois connecté, vous accédez à l’espace de travail Fabric. Vous pouvez y organiser vos projets, gérer vos ressources et accéder à votre lakehouse. Le tableau de bord de l’espace de travail vous aide à retrouver rapidement vos notebooks, jeux de données et autres éléments. Vous pouvez également vérifier la capacité et les paramètres de votre espace de travail afin de vous assurer qu’ils répondent aux exigences des projets d’IA.

ExigenceDescription
Microsoft FabricConfigurer Fabric avec une capacité F64.
LakehouseAjouter un lakehouse au notebook et télécharger des données depuis un blob public.
Azure AI SearchConfigurer Azure AI Search.
CopilotVérifier que le paramètre de locataire pour Copilot est activé.
Capacité de l’espace de travailUtiliser une capacité prise en charge (F2 ou supérieure, ou P1 ou supérieure).
Paramètres inter-géographiesActiver les paramètres de locataire pour le traitement des données inter-géographies si nécessaire.

Lancer un notebook

Sélection du noyau

Une fois votre espace de travail configuré, vous pouvez créer un nouveau notebook. Au lancement d’un notebook, vous choisissez un noyau. Le noyau détermine le langage de programmation et l’environnement. Les notebooks Fabric prennent en charge Python et d’autres langages, ce qui les rend souples pour différentes tâches d’IA.

Configuration des bibliothèques

Avant de commencer votre analyse, vous devrez peut-être installer ou importer des bibliothèques. Les notebooks Fabric simplifient cette opération. Vous pouvez ajouter directement dans votre notebook des bibliothèques dédiées à la data science, au machine learning ou à la visualisation. Cette configuration vous permet d’utiliser Spark pour traiter de grands jeux de données et de vous connecter sans effort à votre lakehouse.

FonctionnalitéDescription
Souplesse de langagePrend en charge Python et d’autres langages pour les flux de travail de data science.
Traitement des données à grande échelleUtilise Spark pour traiter efficacement de grands jeux de données.
InteractivitéPermet d’exécuter du code et d’afficher les résultats en temps réel.
Intégration fluide avec le stockageSe connecte directement au lakehouse, pour travailler avec les données là où elles se trouvent.

Lors de la création d’un nouveau notebook, vous évitez les contraintes liées au déplacement des données entre outils. Vous pouvez traiter, analyser et visualiser vos données en un seul endroit. Cette intégration fait gagner du temps et réduit les erreurs. Si vous découvrez Fabric, vous constaterez peut-être une courbe d’apprentissage, mais l’espace de travail unifié et l’accès direct aux données facilitent nettement la démarche.

Remarque : Si vous travaillez sur de grands projets ou au sein d’équipes importantes, les notebooks Fabric vous aident à éviter les flux de travail fragmentés. Vous pouvez garder l’ensemble organisé et efficace dès le départ.

Préparation des données dans les notebooks Fabric

La préparation de votre jeu de données dans les notebooks Fabric pose les bases d’un entraînement réussi de vos modèles d’IA. Vous pouvez optimiser chaque étape, de l’ingestion des données à leur visualisation, grâce aux outils intégrés et aux fonctionnalités optimisées par Spark.

Importation des données

Connexion à un lakehouse

Commencez par connecter votre notebook à un lakehouse. Cette connexion vous donne un accès direct à vos jeux de données, sans qu’il soit nécessaire de déplacer des fichiers d’un système à un autre. Vous travaillez ainsi avec les données là où elles se trouvent, ce qui vous fait gagner du temps et réduit les erreurs. Le lakehouse stocke votre jeu de données dans des tables Delta, ce qui facilite son chargement et sa mise à jour selon vos besoins.

Chargement des données avec Spark

Une fois la connexion établie, vous utilisez Spark pour l’ingestion des données. Spark vous permet de charger rapidement et efficacement de grands jeux de données. Vous pouvez lire des données provenant de plusieurs sources, notamment des fichiers CSV, des fichiers Parquet ou des tables existantes de votre lakehouse. Spark se charge de l’essentiel du travail, ce qui vous permet de vous concentrer sur l’exploitation des données plutôt que sur les limites de mémoire.

Astuce : utilisez les DataFrames Spark pour traiter votre jeu de données à grande échelle. Cette approche vous permet de gérer même les plus volumineux jeux de données sans ralentir votre flux de travail.

Nettoyage des données

Traitement des valeurs manquantes

Nettoyer votre jeu de données est une étape essentielle avant d’entraîner un modèle. Vous pouvez lancer Data Wrangler depuis votre notebook Fabric pour explorer votre jeu de données et repérer les valeurs manquantes. Data Wrangler génère automatiquement du code pour les tâches de nettoyage courantes, comme le remplissage des valeurs manquantes ou la suppression des lignes incomplètes. Vous pouvez exporter ces étapes de nettoyage sous forme de fonctions réutilisables en pandas ou en PySpark, ce qui rend votre flux de travail plus efficace.

Ingénierie des caractéristiques

L’ingénierie des caractéristiques vous aide à créer de nouvelles variables à partir de votre jeu de données existant. Vous pouvez utiliser les outils basés sur Python des notebooks Fabric pour transformer vos données et construire des caractéristiques qui améliorent la précision du modèle. Spark facilite l’application de ces transformations à l’ensemble de votre jeu de données, même s’il contient des millions de lignes.

Bonne pratique :

  1. Utilisez Spark et les outils Python pour nettoyer et transformer votre jeu de données.
  2. Créez des expériences pour tester différents ensembles de caractéristiques.
  3. Suivez vos exécutions et leurs résultats à l’aide de MLflow dans l’interface Fabric.

Exploration des données

Statistiques récapitulatives

Explorer votre jeu de données vous aide à en comprendre la structure et la qualité. Vous pouvez générer directement dans votre notebook des statistiques récapitulatives, telles que la moyenne, la médiane et l’écart type. Ces statistiques vous donnent un aperçu rapide de votre jeu de données et mettent en évidence les problèmes qui méritent votre attention.

Visualisations

La visualisation des données donne vie à votre jeu de données. Les notebooks Fabric prennent en charge des fonctions de visualisation intégrées et s’intègrent à des bibliothèques comme Matplotlib et Bokeh. Vous pouvez transformer des résultats tabulaires en graphiques sans écrire de code supplémentaire. La fonction display vous permet d’interagir avec vos données et de repérer facilement les tendances ou les valeurs aberrantes.

Remarque : la visualisation interactive des données vous aide à prendre de meilleures décisions lors de la préparation de votre jeu de données pour l’entraînement de modèles d’IA.

Entraîner des modèles dans Fabric

Écrire le code d’entraînement

Utiliser Python ou R

Vous pouvez écrire votre code d’entraînement de modèles dans plusieurs langages au sein des notebooks Microsoft Fabric. La plateforme prend en charge :

La plupart des utilisateurs choisissent Python pour sa souplesse et son écosystème riche. Vous pouvez aussi utiliser R si vous préférez ses outils statistiques. PySpark vous permet de répartir vos tâches d’apprentissage sur de nombreux nœuds, ce qui est essentiel pour les grands jeux de données. Python convient bien au deep learning et au développement de modèles PyTorch. Si vous souhaitez utiliser PyTorch, vous pouvez installer la bibliothèque et commencer immédiatement à construire votre modèle. Vous pouvez également utiliser SparkR pour l’apprentissage statistique ou Spark SQL pour des requêtes de données rapides.

Structurer les cellules de code

Organisez votre code en cellules claires et logiques. Commencez par le chargement et le nettoyage des données. Ajoutez des cellules pour l’ingénierie des caractéristiques et l’analyse exploratoire. Placez le code d’entraînement de votre modèle dans sa propre cellule. Cette structure vous aide à déboguer et à réexécuter certaines parties de votre expérience de machine learning sans répéter les étapes précédentes. Vous pouvez aussi ajouter des cellules Markdown pour expliquer votre logique et documenter vos expériences. Cette approche rend vos notebooks faciles à lire et à partager avec d’autres personnes.

Sélection des algorithmes

Choisir les modèles

Vous devez choisir l'algorithme adapté à votre tâche. La régression logistique convient bien aux problèmes de classification binaire. Vous pouvez aussi utiliser des bibliothèques comme scikit-learn, PySpark ML, TensorFlow ou pytorch pour des modèles plus avancés. Si vous souhaitez créer un modèle pytorch, vous pouvez exploiter la prise en charge des GPU dans fabric pour accélérer votre processus d'apprentissage. PyTorch est très utilisé pour le deep learning, la reconnaissance d'images et le traitement du langage naturel. Vous pouvez également utiliser pytorch pour le transfer learning et le fine-tuning de modèles pré-entraînés.

Lorsque vous sélectionnez un algorithme, tenez compte de la taille de vos données, du type de problème et des ressources dont vous disposez. FLAML, développé par Microsoft Research, vous aide à entraîner des modèles efficacement. Il consomme moins de ressources de calcul et fonctionne bien avec les tâches parallèles. C'est donc un bon choix pour les expériences de machine learning à grande échelle.

Définir les hyperparamètres

Les hyperparamètres contrôlent la manière dont vos modèles apprennent. Vous pouvez utiliser flaml.tune pour rechercher les meilleurs paramètres. Fabric vous permet d'exécuter de nombreux essais de réglage simultanément, grâce au traitement parallèle de Spark. Vous pouvez ainsi tester rapidement différents taux d'apprentissage, tailles de lot ou couches pour votre modèle pytorch. Vous pouvez suivre chaque essai dans votre expérience de machine learning à l'aide du suivi d'expériences. Les outils de visualisation vous aident à comparer les résultats et à choisir la meilleure configuration. Vous pouvez identifier les paramètres les plus performants pour votre modèle, lors des phases de test et d'entraînement.

Astuce : utilisez le suivi d'expériences pour journaliser chaque essai, chaque métrique et chaque paramètre. Cela vous permet de reproduire les expériences réussies et d'éviter les erreurs.

Exécuter les tâches d'entraînement

Suivre la progression

Vous pouvez suivre vos tâches d'entraînement en temps réel. Les notebooks Fabric vous montrent les performances de chaque étape. Le mode High Concurrency accélère vos tâches d'environ 30 %. Vous disposez de journaux détaillés pour chaque étape du notebook. L'intégration de MLflow vous offre la journalisation automatique, si bien que vous n'avez pas à enregistrer les métriques manuellement. Vous pouvez définir vos sessions d'entraînement et choisir les paramètres et métriques à enregistrer. Cela facilite le suivi de votre progression et la comparaison de différentes expériences.

ScénarioNotebooks Python (VM à 2 cœurs)Notebooks PySpark (calcul Spark)
Gestion des grands jeux de donnéesLimité par la mémoire d'un seul nœud. Peut rencontrer des difficultés à passer à l'échelle.Le traitement distribué permet de gérer de manière évolutive des charges de travail allant de plusieurs Go à plusieurs To.

Vous constaterez que les notebooks PySpark gèrent mieux les grands jeux de données. C'est important lorsque vous entraînez un modèle pytorch ou d'autres modèles de deep learning sur des données volumineuses.

Points de contrôle

Les points de contrôle vous permettent d'enregistrer l'état de votre modèle pendant l'entraînement. Si votre tâche s'arrête ou si vous souhaitez la suspendre, vous pouvez reprendre à partir du dernier point de contrôle. Cela est utile pour les tâches d'entraînement de modèles pytorch de longue durée. Vous ne perdez pas votre progression si vous devez redémarrer. Vous pouvez également utiliser les points de contrôle pour tester différentes stratégies d'apprentissage ou reprendre votre expérience de machine learning à partir d'un certain point.

Note : définissez toujours des points de contrôle lorsque vous entraînez des modèles sur de grands jeux de données. Cette pratique vous fait gagner du temps et protège votre travail.

Vous disposez désormais des outils nécessaires pour entraîner, tester et surveiller des modèles de machine learning dans les notebooks Microsoft Fabric. Vous pouvez exécuter des expériences, régler les hyperparamètres et créer des solutions pytorch performantes pour tout défi de data science.

Flux de travail d'entraînement de modèles d'IA

AI Model Training Workflow

Vous pouvez exploiter pleinement l'entraînement de modèles d'IA en maîtrisant le flux de travail dans les notebooks Microsoft Fabric. Cette section vous guide dans l'évaluation distribuée, le réglage des modèles et l'utilisation des fonctions d'IA intégrées. Vous verrez comment Spark, la surveillance en temps réel et les fonctionnalités Copilot vous aident à créer de meilleurs modèles, plus rapidement.

Évaluation distribuée

Évaluer les performances

Vous pouvez évaluer les performances de votre modèle sur de grands jeux de données grâce au calcul distribué de Spark. Spark découpe vos données de test en plusieurs parties et les traite en parallèle. Vous n'avez donc pas à attendre des heures pour obtenir les résultats. Vous pouvez vérifier des métriques comme l'exactitude, la précision et le rappel directement dans votre notebook. Cette approche convient bien au deep learning avec pytorch, lorsque vous devez tester des modèles sur des millions d'enregistrements. La surveillance en temps réel dans fabric vous permet de suivre l'utilisation des ressources et la progression de la tâche pendant l'exécution de l'évaluation.

Comparer les modèles

Vous pouvez comparer différents modèles côte à côte dans les notebooks. Par exemple, vous pouvez entraîner un modèle PyTorch et un modèle scikit-learn sur le même jeu de données. Vous pouvez journaliser les résultats de chaque modèle et les visualiser à l’aide de graphiques intégrés. Cela vous aide à choisir le meilleur modèle pour votre projet d’entraînement de modèles d’IA. Vous pouvez aussi utiliser le suivi d’expériences pour enregistrer vos résultats et les partager avec votre équipe. Il devient ainsi facile de reproduire les expériences réussies et d’améliorer votre flux de travail.

Réglage des modèles

Recherche d’hyperparamètres

Vous pouvez améliorer la précision de votre modèle en ajustant ses hyperparamètres. Les notebooks Microsoft Fabric prennent en charge des outils avancés comme Optuna pour cette tâche. Voici un flux de travail simple que vous pouvez suivre :

  1. Créez une étude avec Optuna pour stocker les résultats des essais :
    study = optuna.create_study(direction="maximize")
  2. Optimisez l’étude sur un nombre défini d’essais :
    study.optimize(objective, n_trials=60, show_progress_bar=True)
  3. Affichez les résultats des essais :
    print("Number of finished trials:", len(study.trials))

Vous pouvez également visualiser votre recherche à l’aide de graphiques. Utilisez plot_optimization_history(study).show() pour voir comment votre modèle s’améliore au fil du temps. Essayez plot_param_importances(study).show() pour découvrir quels paramètres ont le plus d’influence. Utilisez plot_parallel_coordinate(study).show() pour explorer les interactions entre les différents paramètres. Ne vous contentez pas de copier le code : adaptez-le et testez différents hyperparamètres afin d’obtenir les meilleurs résultats pour vos modèles PyTorch ou d’autres modèles.

Éviter le surapprentissage

Vous voulez que votre entraînement de modèles d’IA produise des modèles performants sur de nouvelles données, et pas seulement sur l’ensemble d’entraînement. Le surapprentissage se produit lorsqu’un modèle apprend trop bien les données d’entraînement et échoue sur de nouveaux exemples. Vous pouvez le prévenir en utilisant la validation croisée et des techniques d’empilement.

L’empilement (stacking) utilise généralement la validation croisée pour générer les prédictions du méta-modèle, ce qui garantit qu’aucune information ne fuit de l’entraînement vers le test. Cette approche ajoute de la complexité, mais elle apporte également de la robustesse.

Vous pouvez également utiliser l’arrêt anticipé dans PyTorch, la régularisation et les couches de dropout pour rendre vos modèles plus robustes. Vérifiez toujours vos scores de validation et ajustez votre processus d’entraînement si vous constatez des signes de surapprentissage.

Fonctions d’IA intégrées

Classification de texte

Vous pouvez gagner du temps sur les tâches courantes en utilisant les fonctions d’IA intégrées dans les notebooks Microsoft Fabric. Pour la classification de texte, vous pouvez utiliser la fonction Classify pour trier des e-mails, des tickets de support ou des documents par catégories. Cela fonctionne bien pour des cas d’usage métier, comme l’acheminement des demandes urgentes ou l’étiquetage des retours clients. Vous pouvez aussi créer des modèles PyTorch personnalisés pour des tâches de classification plus avancées.

Analyse des sentiments

L’analyse des sentiments vous aide à comprendre le ton d’un texte, comme des avis clients ou des publications sur les réseaux sociaux. Vous pouvez utiliser la fonction Sentiment Analysis pour repérer les commentaires négatifs et y répondre rapidement. Cette fonctionnalité est disponible immédiatement dans les notebooks, vous n’avez donc pas besoin d’écrire un code complexe. Vous pouvez également combiner les fonctions intégrées avec vos propres modèles PyTorch pour obtenir de meilleurs résultats.

Voici un tableau des fonctions d’IA intégrées que vous pouvez utiliser dans votre flux de travail d’entraînement de modèles d’IA :

FonctionDescriptionCas d’usage
SummarizeRaccourcit les textes longs en résumés courtsTransformer de longs e-mails internes à l’entreprise en un résumé court et concis
ClassifyCatégorise le texte selon des étiquettes ou des balises personnaliséesClasser les tickets de support selon leur gravité (urgent, critique, etc.)
ExtractExtrait des informations spécifiques du texte sourceExtraire le nom et la localisation à partir d’une base de données d’e-mails clients
TranslateConvertit un texte d’une langue vers une autreTraduire des e-mails clients de l’espagnol vers l’anglais
SimilarityCompare deux textes et indique leur degré de similaritéTrouver des tickets de support client similaires qui décrivent le même problème
Sentiment AnalysisIdentifie le ton du texte : positif, négatif ou neutreRepérer les avis clients contenant des termes comme « inacceptable » ou « mauvais » et y répondre avant qu’ils ne s’aggravent

Vous pouvez utiliser Copilot pour générer du code, suggérer des améliorations et automatiser les étapes répétitives. Cela rend votre processus d’entraînement de modèles d’IA plus rapide et plus productif. Vous pouvez vous concentrer sur la création et le réglage de modèles PyTorch pendant que Copilot prend en charge les tâches courantes.

En suivant ce flux de travail dans les notebooks Microsoft Fabric, vous pouvez faire évoluer votre entraînement de modèles d’IA, régler efficacement vos modèles PyTorch et utiliser les fonctions d’IA intégrées pour résoudre des problèmes concrets.

Gestion et déploiement des modèles

Enregistrer les modèles

Exportation et gestion des versions

Vous avez besoin d’une méthode fiable pour enregistrer et suivre vos modèles PyTorch dans Fabric. Commencez par utiliser MLflow pour journaliser chaque exécution d’entraînement. MLflow enregistre vos paramètres, vos métriques et vos artefacts. Cela vous permet de retrouver la meilleure version de votre modèle PyTorch lorsque vous en avez besoin. Activez la journalisation automatique (autologging) dès le début du suivi de vos expériences. Vous capturez ainsi tous les détails importants dès la première exécution. Vous ne pouvez pas ajouter de journaux a posteriori : commencez donc tôt.

Vous pouvez utiliser le voyage dans le temps de Delta Lake pour figer la version exacte de vos données d’entraînement. Vous êtes ainsi certain de pouvoir toujours reproduire vos résultats. Enregistrez chaque modèle PyTorch dans le registre de modèles MLflow, en indiquant sa version, l’empreinte de hachage des données d’entraînement, ses métriques de performance et son propriétaire. Vous disposez ainsi d’une piste d’audit claire pour la gestion des modèles. Avant de passer un modèle en production, mettez en place un processus de revue humaine. Utilisez les approbations de pull requests Azure DevOps liées aux pipelines de déploiement Fabric. Cette étape garantit la sécurité et la conformité de votre flux de travail.

Conseil : Conservez toujours vos meilleurs modèles PyTorch enregistrés dans MLflow. Vous pouvez revenir à une version antérieure si vous constatez un problème.

Partage des notebooks

Fonctionnalités de collaboration

Vous pouvez travailler facilement avec votre équipe dans les notebooks. La plateforme se connecte directement à votre Lakehouse, de sorte que tout le monde utilise les mêmes données. Les notebooks réunissent code, commentaires et résultats au même endroit. Cela simplifie le partage des idées et des résultats. Les membres de l’équipe peuvent utiliser leurs langages de programmation préférés, comme Python ou R, sur le même jeu de données. Cette souplesse permet à chacun de contribuer à la gestion des modèles et au suivi des expériences.

FonctionnalitéDescription
Facilité de travail avec les données du LakehouseConnexion directe au Lakehouse de Fabric pour une interaction fluide avec les données, sans configuration supplémentaire.
Meilleure collaborationLes notebooks réunissent code, commentaires et résultats, ce qui favorise la compréhension et le partage entre les membres de l’équipe.
Prise en charge de différents styles de programmationPermet à chaque membre de l’équipe d’utiliser le langage de programmation de son choix, pour collaborer sur le même jeu de données.

Déploiement des modèles

Intégration aux pipelines Fabric

Vous pouvez déployer vos modèles PyTorch à l’aide des pipelines de déploiement de Microsoft Fabric Deployment Pipelines. Ces pipelines vous aident à gérer les modèles dans les environnements de développement, de test et de production. Vous conservez le contrôle et la cohérence à chaque étape. L’interface visuelle de Microsoft Fabric Deployment Pipelines vous permet de voir où se trouve votre modèle PyTorch et quelles sont les étapes suivantes. Vous pouvez faire progresser vos modèles PyTorch à travers des environnements contrôlés. Ce processus garantit que votre équipe suit les bonnes pratiques de gestion des modèles.

Inférence en temps réel

Vous pouvez exposer vos modèles PyTorch pour l’inférence en temps réel. Vous pouvez ainsi effectuer des prédictions sur de nouvelles données dès leur arrivée. Par exemple, vous pouvez utiliser votre modèle PyTorch déployé pour classer les tickets de support ou analyser instantanément les retours clients. MLflow suit chaque déploiement, ce qui vous permet de savoir quelle version de votre modèle PyTorch est en cours d’exécution. Vous pouvez mettre à jour ou revenir rapidement à une version antérieure en cas de besoin.

Remarque : L’inférence en temps réel vous permet de répondre aux besoins métier sans délai. Utilisez MLflow pour surveiller et gérer vos modèles PyTorch en production.

En suivant ces étapes, vous pouvez gérer l’enregistrement, le partage et le déploiement de vos modèles PyTorch dans Fabric. Votre flux de travail reste organisé et vos résultats restent reproductibles. MLflow et les notebooks vous fournissent les outils nécessaires au suivi des expériences et à la gestion des modèles à grande échelle.

Bonnes pratiques dans les notebooks Fabric

Reproductibilité

Documentation du flux de travail

Vous devez toujours documenter votre flux de travail afin que vos projets d’IA soient faciles à reproduire et à comprendre. Une bonne documentation vous aide, vous et votre équipe, à suivre chaque étape du processus d’entraînement de vos modèles. Commencez par décrire le contexte métier de chaque expérience. Enregistrez vos modèles avec des explications claires sur ce qu’ils prédisent, sur la manière de les utiliser et sur leurs limites connues. Utilisez des cellules Markdown dans vos notebooks pour expliquer votre logique et vos décisions. Cette habitude facilite le partage et la relecture de votre travail.

Astuce : documentez chaque expérience au fur et à mesure. Vous gagnerez du temps et éviterez les confusions par la suite.

Gestion de l’environnement

La gestion de votre environnement garantit que vos résultats restent cohérents d’une exécution à l’autre. Vous devez consigner les versions de toutes les bibliothèques et dépendances que vous utilisez. Cette pratique vous évite des surprises lorsque vous, ou vos collègues, réexécutez vos notebooks. Utilisez des fichiers d’environnement ou des listes de packages pour suivre votre configuration. Lorsque vous partagez votre travail, incluez ces informations afin que d’autres puissent reproduire vos résultats sans difficulté.

Collaboration

Partage au sein de l’équipe

Travailler en équipe dans Fabric est simple et efficace. Vous pouvez partager des notebooks avec vos collègues et définir des autorisations pour chaque utilisateur. Ce contrôle vous permet de décider qui peut consulter ou modifier votre travail. Les membres de l’équipe peuvent ajouter des commentaires au niveau des cellules pour discuter du code, poser des questions ou proposer des modifications. Ces fonctionnalités aident chacun à rester aligné et à faire avancer les projets ensemble.

Revue de code

La revue de code est essentielle pour la qualité et l’apprentissage. Les notebooks prennent en charge l’historique des versions, ce qui vous permet de voir ce qui a changé et quand. Si nécessaire, vous pouvez revenir à une version précédente. L’intégration à Git vous permet d’utiliser un contrôle de code source pour un suivi encore meilleur. Ces outils facilitent la revue du code, la détection des erreurs et la protection de votre projet.

Optimisation des performances

Gestion des ressources

Vous pouvez optimiser les performances en gérant judicieusement vos ressources. Dimensionnez votre capacité de calcul en fonction de votre charge de travail. Augmentez la capacité aux heures de pointe et suspendez les ressources lorsqu’elles ne sont pas utilisées. La capacité réservée et les charges de travail spot peuvent vous aider à réaliser des économies. Définissez des budgets et des alertes pour éviter les dépassements. Surveillez les pics de charge pour détecter rapidement les goulots d’étranglement.

Astuce d’optimisationAvantage
Dimensionner la capacitéAdapte les ressources aux besoins de la charge de travail
Charges de travail réservées/spotRéduit les coûts
Surveiller les picsIdentifie rapidement les goulots d’étranglement
Définir budgets/alertesÉvite les dépenses imprévues

Gestion efficace des données

Une gestion efficace des données accélère vos projets d’IA. Traitez les données sur place afin de limiter les déplacements et de gagner du temps. Nettoyez votre stockage pour améliorer les performances. Utilisez des tables de caractéristiques réutilisables pour éviter de refaire le même travail. Le réglage parallèle des hyperparamètres vous permet de tester de nombreux paramètres à la fois, ce qui accélère vos expérimentations. Suivez toujours vos expériences pour garder des résultats bien organisés.

Remarque : une gestion efficace des données et une gestion intelligente des ressources vous aident à tirer le meilleur parti de vos projets d’IA.

Dépannage

Lorsque vous travaillez avec les notebooks Microsoft Fabric, vous pouvez rencontrer des difficultés qui ralentissent votre progression. Savoir résoudre les problèmes courants vous aide à garder vos projets sur la bonne voie. Cette section vous présente des étapes pratiques de débogage et indique où trouver de l’aide lorsque vous en avez besoin.

Débogage

Vous pouvez résoudre de nombreux problèmes en suivant une méthode claire. Commencez par vérifier le Hub de surveillance dans le portail Microsoft Fabric. Cet outil indique si des pipelines ont échoué ou si des erreurs sont présentes dans votre espace de travail. Si un problème apparaît, examinez les détails, comme le nom de l’espace de travail, l’activateur et la source de l’eventstream. Ces informations vous aident à identifier rapidement la cause première.

Suivez les étapes ci-dessous pour déboguer vos pipelines de données et vos notebooks :

  1. Vérifiez le Hub de surveillance pour détecter les tâches en échec ou les erreurs.
  2. Validez toutes les connexions et tous les identifiants, en particulier pour Azure SQL ou les autres services liés.
  3. Utilisez le mode débogage pour parcourir vos pipelines de données et repérer où ils se bloquent.
  4. Vérifiez les paramètres de planification et de déclenchement pour vous assurer que vos tâches s’exécutent comme prévu.
  5. Surveillez l’utilisation des ressources pour voir si les lenteurs proviennent d’une capacité insuffisante.
  6. Consultez la page d’état de Microsoft Fabric pour vérifier les interruptions de service ou les mises à jour.
  7. Exportez et importez les pipelines à l’aide de la fonctionnalité « Enregistrer sous » si vous devez les dupliquer ou les réinitialiser.
  8. Notez les identifiants de règles, les conditions, les horodatages et les objets concernés pour garder une trace de ce qui s’est passé.

Astuce : lorsque vous exécutez et déboguez des notebooks, tenez toujours un journal des modifications et des actions. Cette habitude facilite le suivi des problèmes et le partage des conclusions avec votre équipe.

Ressources d’assistance

Si vous ne parvenez pas à résoudre un problème par vous-même, plusieurs options d’assistance s’offrent à vous. Microsoft propose une communauté active et des canaux d’aide officiels. Vous pouvez vous appuyer sur ces ressources pour obtenir des réponses et apprendre des expériences des autres.

Lorsque vous demandez de l’aide, indiquez les informations importantes, comme le nom de votre espace de travail, la source de votre eventstream, les identifiants de vos règles et l’heure à laquelle le problème est survenu. Ces informations permettent aux équipes de support de répondre plus rapidement et plus précisément.

Remarque : échanger avec la communauté permet souvent de trouver rapidement une solution. De nombreux utilisateurs partagent des astuces et des bonnes pratiques qui peuvent vous aider à éviter des problèmes similaires à l’avenir.

En suivant ces étapes de dépannage et en utilisant les ressources d’assistance disponibles, vous pourrez résoudre la plupart des problèmes liés aux notebooks Fabric et faire avancer vos projets.


Vous pouvez accélérer l’entraînement de vos modèles d’IA avec les notebooks Microsoft Fabric. L’interface familière, proche de celle de Power BI, rend votre flux de travail intuitif et productif. Vous travaillez dans un environnement unifié qui combine ingénierie des données, analyse et assistance par IA, ce qui vous évite de passer d’un outil à l’autre. Cette intégration simplifie chaque étape, de la préparation des données au déploiement.

Explorez ces ressources pour approfondir vos compétences :

Commencez votre parcours dès aujourd’hui et exploitez toute la puissance d’un développement de modèles d’IA évolutif et efficace. Pour en savoir plus sur ces techniques et découvrir les échanges d’experts, n’hésitez pas à écouter l’épisode de podcast associé : Train AI Models with Microsoft Fabric Notebooks.

Fabric notebooks Fabric workspace Microsoft Fabric Azure AI Search Power BI

Related articles

RSS