Data Factory in Microsoft Fabric
Produit
L'expérience d'intégration de données intégrée à Microsoft Fabric pour déplacer et transformer des données avec des pipelines, Dataflow Gen2, des tâches de copie et la mise en miroir ; Microsoft la présente comme le successeur d'Azure Data Factory.
Souvent abordés ensemble
Les épisodes consacrés à Data Factory in Microsoft Fabric abordent souvent aussi Fabric notebooks.
Description
Data Factory dans Microsoft Fabric est le service d'intégration de données intégré à Microsoft Fabric. Microsoft le décrit comme la nouvelle génération d'Azure Data Factory. Son objectif est de rassembler les données dispersées entre des bases de données, des fichiers, des services cloud et des systèmes hérités, de les nettoyer et de les préparer pour l'analyse dans un lakehouse ou un entrepôt de données. Le déplacement et la transformation sont orchestrés depuis une interface unique. Son utilisation nécessite un compte de locataire Fabric avec un abonnement actif et un espace de travail où Fabric est activé.
Le service se connecte à plus d'une centaine de sources de données. Il s'agit notamment de sources multicloud et hybrides, accessibles via des passerelles locales. Les modèles ETL et ELT sont tous deux pris en charge, de sorte que les équipes peuvent choisir de transformer les données avant ou après leur arrivée dans la cible.
Pour le déplacement des données, la documentation mentionne plusieurs options. La tâche de copie est l'option privilégiée et gère les copies en masse, les copies incrémentielles et les copies par capture des modifications de données. L'activité de copie dans un pipeline offre un contrôle manuel du parallélisme. La mise en miroir maintient une réplique quasi temps réel d'une base de données opérationnelle dans OneLake. Le choix entre ces options dépend généralement du besoin d'un chargement ponctuel, d'un chargement incrémentiel récurrent ou d'une réplique mise à jour en continu, ainsi que du niveau de contrôle souhaité sur le processus de copie.
Les transformations peuvent s'exécuter de plusieurs façons. Les activités de pipeline peuvent appeler des notebooks, des définitions de tâches Spark, des procédures stockées et des scripts SQL. Dataflow Gen2 propose une interface low-code pour structurer les données. Des tâches dbt peuvent être exécutées sur un entrepôt de données Fabric. Cela permet aux équipes orientées code comme aux équipes low-code de travailler dans le même environnement.
L'orchestration couvre les planifications, les déclencheurs basés sur des événements, le contrôle de flux dans le concepteur de pipelines et les DAG Apache Airflow. Copilot peut créer des pipelines et des dataflows à partir d'invites en langage naturel et peut expliquer les erreurs, ce qui peut aider lors de la construction ou du dépannage de la logique d'intégration.
La sécurité est un thème récurrent dans la couverture de M365.FM. L'épisode « Secure Microsoft Fabric Data Pipelines » conseille de revoir régulièrement les politiques de déplacement des données et de les mettre à jour à mesure que l'organisation se développe ou que de nouvelles menaces apparaissent. Il indique qu'une sécurité solide du déplacement des données protège les informations sensibles et favorise la conformité aux réglementations. L'épisode aborde également l'authentification par identité managée pour sécuriser Data Factory dans Microsoft Fabric. Selon cet épisode, cette méthode permet aux pipelines de se connecter aux ressources sans stocker de mots de passe ni de secrets, ce qui évite les risques liés aux identifiants codés en dur.
En pratique, les équipes qui travaillent avec Data Factory dans Microsoft Fabric décident de la méthode de déplacement adaptée à chaque source, de l'approche de transformation qui correspond à leurs compétences, et de la manière d'authentifier et de gouverner leurs pipelines. Comme le service se trouve au sein de Fabric, ses résultats alimentent directement les expériences lakehouse et entrepôt que le reste de la plateforme utilise pour l'analyse.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Produit |
|---|---|
| Documentation | Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com |
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Qu'est-ce que Data Factory dans Microsoft Fabric ? (IA)
C'est le service d'intégration de données de Microsoft Fabric permettant de déplacer et de transformer des données à l'aide de pipelines, de Dataflow Gen2, de tâches de copie et de la mise en miroir. Microsoft le décrit comme la nouvelle génération d'Azure Data Factory.
Quelles options existent pour déplacer des données dans Data Factory dans Microsoft Fabric ? (IA)
La tâche de copie est l'option privilégiée et gère les copies en masse, les copies incrémentielles et les copies par capture des modifications de données. L'activité de copie offre un contrôle manuel du parallélisme, et la mise en miroir maintient une réplique quasi temps réel d'une base de données opérationnelle dans OneLake.
Comment les pipelines peuvent-ils être sécurisés selon M365.FM ? (IA)
L'épisode « Secure Microsoft Fabric Data Pipelines » recommande l'authentification par identité managée, qui permet de se connecter aux ressources sans stocker de mots de passe ni de secrets dans les pipelines. Il conseille également de revoir régulièrement les politiques de déplacement des données.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Sources
- Data Factory in Microsoft Fabric – Microsoft Learn learn.microsoft.com
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: