Mapping data flows
Produit
Transformations de données sans code créées visuellement dans Azure Data Factory, exécutées comme activités au sein de pipelines sur des clusters Apache Spark gérés par le service.
Également abordés
L’épisode consacré à Mapping data flows aborde aussi Integration runtime et Azure Data Factory.
Description
Les flux de données de mappage sont des transformations de données conçues visuellement dans Azure Data Factory. Selon Microsoft Learn, la page s'applique également à Azure Synapse Analytics. Ils permettent aux développeurs de créer une logique de transformation sans écrire de code. Le service prend en charge la traduction du code, l'optimisation des chemins et l'exécution des tâches de flux de données, qui s'exécutent sur des clusters Apache Spark à grande échelle gérés par le service.
Un flux de données de mappage ne s'exécute pas de manière autonome. Il est exécuté comme une activité au sein d'un pipeline. Dans cette activité de pipeline, le runtime d'intégration et les valeurs des paramètres sont choisis. Par conséquent, un flux de données peut utiliser les fonctionnalités de planification, de contrôle de flux et de surveillance déjà existantes pour les pipelines Azure Data Factory, sans nécessiter de mécanisme distinct pour l'orchestration.
L'expérience de création repose sur un canevas composé de trois zones principales. Une barre supérieure propose des fonctions permettant d'enregistrer, de valider et d'afficher le JSON ou le script du flux de données. Un graphe montre le flux allant de la source au récepteur, de sorte que le parcours des données à travers les transformations est visible d'un seul coup d'œil. Un panneau de configuration apparaît pour la transformation sélectionnée. Chaque transformation propose des onglets pour ses propres paramètres, pour l'optimisation des partitions, pour une inspection des métadonnées en lecture seule et pour un aperçu des données.
La documentation signale quelques contraintes pratiques. L'aperçu des données ne fonctionne que lorsque le mode débogage est activé. L'onglet d'inspection n'affiche aucune métadonnée lorsque la source ne dispose pas d'un schéma défini, ce qui est typique en cas de dérive de schéma. Les personnes qui conçoivent des flux à partir de sources dont la structure évolue doivent s'attendre à ce comportement lors de l'inspection des métadonnées pendant le développement.
Dans les situations courantes, les flux de données de mappage sont choisis lorsque la logique de transformation doit être exprimée visuellement plutôt que sous forme de code, tandis que le pipeline environnant gère les déclencheurs, la planification et la surveillance. La décision porte surtout sur l'emplacement du travail de transformation : dans un flux graphique de transformations exécuté sur Spark géré, ou ailleurs dans la plateforme de données. La documentation mentionne également Dataflow Gen2 dans Microsoft Fabric comme technologie comparable, ce qui est pertinent pour les équipes qui comparent Azure Data Factory et Fabric.
L'épisode de M365.FM « Azure Data Factory - Simply Explained » traite des flux de données de mappage sous le titre « Transforming Without Code ». Il les place aux côtés des autres briques de base du service : pipelines et activités, services liés et jeux de données, runtimes d'intégration, ainsi que déclencheurs et planification. Le même épisode compare également Azure Data Factory aux pipelines Fabric et aborde les coûts et les bonnes pratiques.
L'épisode « What Microsoft Fabric Means for Power BI Professionals » mentionne les flux de données de mappage dans un plan de formation sur l'ingestion et l'intégration de données dans Fabric. Il y figure, avec l'exploration des connecteurs et la pratique de l'ingestion dans OneLake, en utilisant les fonctionnalités de Data Factory dans Fabric. Cela montre comment ce concept apparaît à la fois dans le contexte d'Azure Data Factory et dans les discussions autour de la plateforme de données Fabric.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Produit |
|---|
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Que sont les flux de données de mappage dans Azure Data Factory ? (IA)
Ce sont des transformations de données conçues visuellement, qui ne nécessitent aucun code. Le service traduit la conception et l'exécute sur des clusters Apache Spark à grande échelle qu'il gère.
Comment un flux de données de mappage s'exécute-t-il ? (IA)
Il s'exécute comme une activité au sein d'un pipeline, où le runtime d'intégration et les valeurs des paramètres sont sélectionnés. Cela lui permet d'utiliser les fonctionnalités existantes de planification, de contrôle de flux et de surveillance des pipelines.
Pourquoi l'aperçu des données ou les métadonnées ne s'affichent-ils parfois pas ? (IA)
L'aperçu des données ne fonctionne que lorsque le mode débogage est activé. L'onglet d'inspection n'affiche aucune métadonnée lorsque la source ne dispose pas d'un schéma défini, ce qui est typique en cas de dérive de schéma.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: