Dominar el ETL con Dataflows Gen2 de Microsoft Fabric

By Mirko Peters · 2026-08-12

¡Te damos la bienvenida de nuevo al podcast y a nuestra serie de blogs que lo acompaña! Si has estado buscando una forma de agilizar tus operaciones de datos sin verte atascado por o…

Automatically translated with AI from the original post. Read the English original

Titelbild: Mastering ETL with Microsoft Fabric Dataflows Gen2

¡Bienvenido de nuevo al podcast y a nuestra serie de artículos complementarios! Si buscabas la forma de agilizar tus operaciones de datos sin quedar atrapado en entornos de programación demasiado complejos, has llegado al lugar adecuado. Para profundizar en este tema y escuchar nuestra conversación completa, no dejes de consultar el episodio relacionado, Build ETL with Microsoft Fabric Dataflows Gen2. Hoy ampliamos cómo esta herramienta está cambiando el panorama de la integración de datos en organizaciones de todo el mundo.

¿Qué es Dataflows Gen2 de Microsoft Fabric?

Propósito principal y evolución

Necesitas una solución moderna para la transformación de datos, y Dataflows de Microsoft Fabric la ofrece. Dataflow Gen2 se basa en los fundamentos de Dataflows de Power BI, pero aporta un nuevo nivel de flexibilidad y rendimiento. Ahora puedes conectarte a más orígenes de datos y utilizar funciones de transformación avanzadas. La plataforma emplea motores de cómputo mejorados, por lo que obtienes un procesamiento más rápido y una mejor escalabilidad.

Esta es una comparativa rápida que muestra cómo Gen2 mejora a su predecesor:

Característica	Dataflow Gen1	Dataflow Gen2
Experiencia de creación	Experiencia básica de Power Query Online	Mejorada con guardado automático y validación en segundo plano
Destino de salida	Limitado al almacenamiento interno o a ADLS Gen2	Varios destinos por consulta, incluidos Azure SQL, ADLS Gen2 y más
Forma de salida	Publica las entidades como tablas	Puede publicar tanto tablas como archivos
Ejecución y cómputo	Se ejecuta en la capacidad compartida de Power BI	Se ejecuta en los motores de cómputo SQL de Fabric
Actualización incremental	Mecanismo basado en particiones	Bloques fijos de una sola unidad con enfoque de reemplazo

Como puedes ver, Gen2 admite más destinos y ofrece una experiencia de creación más fluida. La plataforma también introduce el almacenamiento provisional administrado y una gobernanza mejorada, para que puedas gestionar los dataflows de forma más eficiente.

Enfoque sin código y de bajo código

No necesitas ser un experto en programación para usar Dataflow Gen2 de Microsoft Fabric. La plataforma utiliza un modelo de transformación de datos de bajo código, lo que significa que puedes crear y gestionar canalizaciones de datos con simples acciones de arrastrar y soltar. Este enfoque abre la transformación de datos a un público más amplio, incluidos analistas de negocio y responsables de datos.

Puedes usar Power Query para dar forma y limpiar tus datos sin escribir código.
La interfaz ofrece retroalimentación y validación en tiempo real, para que detectes los errores desde el principio.
Puedes desplegar los dataflows directamente en tu espacio de trabajo y ver los resultados en tiempo real.

Integración con OneLake y Lakehouse

La integración es uno de los puntos fuertes de Dataflows de Microsoft Fabric. Puedes conectar tus dataflows directamente a OneLake y Lakehouse, lo que significa que almacenas y accedes a los datos en un entorno unificado. Esta configuración te permite:

Ingerir datos de múltiples orígenes en OneLake sin pasos adicionales.
Almacenar datos en formatos abiertos como Delta y Parquet, haciéndolos accesibles en distintas cargas de trabajo.
Enviar los datos transformados de vuelta a Lakehouse, Warehouse u otros destinos con facilidad.

Pros y contras de Dataflows Gen2 de Microsoft Fabric

Pros

Plataforma integrada: La integración nativa con Microsoft Fabric, Power BI, Lakehouses y otros servicios de Microsoft permite flujos de análisis de extremo a extremo más ágiles.
Mejor rendimiento: Gen2 utiliza un motor de ejecución optimizado para procesar datos y realizar transformaciones más rápido y a gran escala.
Separación de almacenamiento y cómputo: La arquitectura desacoplada permite escalar de forma independiente los recursos de cómputo y el almacenamiento, optimizando costes y rendimiento.
Escalabilidad: Gestiona grandes volúmenes de datos y cargas de trabajo concurrentes, por lo que es adecuado para canalizaciones ETL/ELT a escala empresarial.
Creación de bajo código y sin código: El diseñador visual de dataflows y las transformaciones integradas lo hacen accesible a analistas e ingenieros de datos sin necesidad de programar mucho.
Canalizaciones reutilizables y modulares: Los dataflows admiten reutilización, parametrización y orquestación para estandarizar y simplificar las tareas de ingeniería de datos.
Linaje de datos y gobernanza: El linaje, los metadatos integrados y la integración con las funciones de gobernanza de Fabric ayudan al cumplimiento normativo y a la auditabilidad.
Seguridad y cumplimiento: Seguridad de nivel empresarial, controles de acceso basados en roles e integración con Azure Active Directory simplifican las implementaciones seguras.
Amplia conectividad: Los conectores a muchos orígenes simplifican la ingesta de datos diversos.
Pago por uso y control de costes: Las opciones de capacidad flexibles y la gestión de cargas de trabajo ayudan a controlar los costes si se ajustan adecuadamente.

Desventajas

Madurez de la plataforma: Gen2 es más reciente y sigue evolucionando; algunas funciones, integraciones o buenas prácticas de la comunidad pueden estar menos maduras que las alternativas consolidadas.
Curva de aprendizaje: Puede ser necesario familiarizarse con los conceptos de Fabric, la orquestación y el ajuste de Spark en escenarios complejos.
Posible dependencia de un proveedor: La profunda integración con el ecosistema de Microsoft puede dificultar las migraciones multinube o multiproveedor.
Complejidad de costes: La facturación de cómputo, almacenamiento y capacidades de Fabric puede ser compleja; sin una gobernanza cuidadosa, los costes pueden dispararse inesperadamente.
Transformaciones avanzadas y depuración: Las transformaciones complejas o la resolución de problemas de rendimiento pueden requerir habilidades de ingeniería más profundas y visibilidad de las capas de ejecución.
Paridad de funciones y herramientas de terceros: Algunas herramientas de ingeniería de datos de terceros o conectores específicos pueden no estar totalmente compatibles ni tan integrados como en otros ecosistemas.
Consideraciones sobre el movimiento de datos: Trasladar grandes volúmenes entre entornos o sistemas externos puede generar latencia y costes de salida de datos.
Sobrecarga operativa: Gestionar la orquestación, la supervisión y el ciclo de vida (CI/CD) de muchos flujos de datos puede requerir herramientas y procesos adicionales.

Funcionalidades de Microsoft Fabric Dataflows Gen2

Dataflows canónicos y reutilización

Puedes potenciar tus flujos ETL usando dataflows canónicos en Microsoft Fabric Dataflows Gen2. Esta funcionalidad te permite definir una única lógica de transformación y reutilizarla en distintos proyectos y equipos. No necesitas duplicar el trabajo ni preocuparte por resultados inconsistentes. En su lugar, creas canalizaciones escalables y reutilizables que ahorran tiempo y reducen errores.

Separación de cómputo y eficiencia de costes

Gen2 introduce la separación de cómputo, lo que significa que puedes escalar tu capacidad de transformación sin aumentar los costes de almacenamiento. Solo pagas por los recursos de cómputo que utilizas, lo que hace que tus procesos ETL sean más rentables. Este modelo te ayuda a evitar gastos innecesarios derivados de la duplicación de datos, las transformaciones repetidas o las canalizaciones redundantes.

Preparación gestionada y optimización del almacenamiento

La preparación gestionada en Microsoft Fabric Dataflows Gen2 te ayuda a procesar grandes conjuntos de datos con rapidez y a un coste menor. La plataforma utiliza funciones avanzadas como Fast Copy y un evaluador moderno para acelerar la ingesta y la transformación de datos. Puedes observar mejoras significativas en rendimiento y optimización del almacenamiento.

Integración con Git para la colaboración

Puedes facilitar y hacer más eficiente el trabajo en equipo con la integración de Git en Microsoft Fabric Dataflows Gen2. Git te ofrece una forma potente de gestionar tus dataflows, registrar cambios y trabajar con otros. No tienes que preocuparte por perder tu trabajo ni por cometer errores que no puedas deshacer.

Asistencia de IA y Copilot

Las funciones de IA y Copilot en Microsoft Fabric Dataflows Gen2 te ayudan a trabajar de forma más inteligente y rápida. No necesitas escribir código complejo ni dedicar horas a tareas repetitivas. Las herramientas de IA te guían durante el proceso y automatizan muchos pasos.

Dataflow Gen2 frente a las herramientas ETL tradicionales

Diferencias de arquitectura y flujo de trabajo

Notarás diferencias claras al comparar Dataflow Gen2 con las herramientas ETL tradicionales. Dataflow Gen2 utiliza una arquitectura moderna que te ayuda a gestionar los datos con más facilidad, sin tener que lidiar con las configuraciones rígidas que suelen exigir las herramientas antiguas.

Mejoras y limitaciones

Con Gen2 obtienes mejor automatización, escalabilidad y flexibilidad. Puedes manejar grandes volúmenes de datos y dar soporte a muchos tipos de proyectos. La plataforma utiliza programación avanzada, desencadenadores y API para automatizar tus tareas de datos, y ofrece supervisión completa y linaje de datos.

Gestión de costes y recursos

Quieres mantener los costes previsibles y gestionar bien los recursos. Microsoft Fabric utiliza un modelo de precios basado en capacidad, lo que te permite estimar los costes con más facilidad, sobre todo si tus cargas de trabajo son estables, en comparación con los modelos de consumo habituales en las herramientas tradicionales.

Impacto en los procesos ETL

Extracción de datos y conectividad

Necesitas acceso fiable a tus fuentes de datos. Microsoft Fabric Dataflows Gen2 lo facilita al centralizar tus conexiones. Puedes extraer datos de muchos sistemas, como Salesforce, bases de datos SQL y almacenamiento en la nube, todo en un solo lugar.

Coherencia y automatización de transformaciones

Quieres que los pasos de transformación sean coherentes cada vez que ejecutas tus pipelines ETL. En Gen2, cada paso de transformación queda registrado, lo que facilita repetir tus procesos y mantener los mismos resultados en distintas ingestas.

Carga de datos optimizada

Necesitas trasladar datos a tus sistemas analíticos de forma rápida y eficiente. Microsoft Fabric Dataflows Gen2 agiliza este proceso y te permite cargar datos en Lakehouse, Warehouse o modelos de Power BI con solo unos clics.

Orquestación y supervisión de flujos de trabajo

Necesitas una orquestación y una supervisión sólidas de los flujos de trabajo para que tus procesos ETL funcionen sin problemas. Microsoft Fabric Dataflows Gen2 te ofrece herramientas para automatizar, programar y hacer seguimiento de cada paso de tu pipeline de datos.

Integración y colaboración de dataflows

Orquestación unificada de actualizaciones

Puedes gestionar tus tareas de actualización programadas en un solo lugar con Microsoft Fabric Dataflows Gen2. Este enfoque unificado te ayuda a mantener todos tus dataflows actualizados sin esfuerzo adicional.

Control de versiones y trabajo en equipo

Puedes trabajar con tu equipo de forma más sencilla gracias al control de versiones integrado. Microsoft Fabric Dataflows Gen2 se conecta con Git, así que puedes hacer seguimiento de cada cambio en tus dataflows sin fricciones.

Gobernanza y seguridad

Necesitas proteger tus datos y cumplir las normas de la empresa. Microsoft Fabric Dataflows Gen2 te ofrece herramientas para una gobernanza y una seguridad sólidas, incluidos los controles de acceso basados en roles y los registros de auditoría.

Casos de uso prácticos para Dataflow Gen2

Modernización de ETL heredados

Puede que tengas sistemas ETL antiguos que ralentizan tu negocio. Con Dataflow Gen2, puedes modernizar tus procesos ETL dejando atrás los flujos de trabajo rígidos y adoptando una solución flexible y de bajo código.

Procesamiento en tiempo real y por lotes

Necesitas gestionar datos en tiempo real y por lotes en tu organización. Gen2 admite ambos tipos de procesamiento, lo que permite escenarios en tiempo real junto con una ejecución eficiente por lotes.

Preparación de datos en autoservicio

Quieres que tu equipo prepare datos sin esperar a TI. Los dataflows hacen posible la preparación de datos en autoservicio mediante una interfaz intuitiva que acelera los proyectos analíticos.

Integración de datos entre plataformas

A menudo necesitas reunir datos de muchos sistemas diferentes. Microsoft Fabric Dataflows Gen2 te ayuda a conectarte a servicios en la nube, bases de datos locales y plataformas de terceros sin cambiar de herramienta.

Retos y buenas prácticas

Migración y adopción

Cuando traslades tu organización a Microsoft Fabric Dataflows Gen2, conviene empezar por una auditoría completa de todas las consultas existentes para detectar problemas de rendimiento y dependencias ocultas.

Requisitos de habilidades y curva de aprendizaje

No necesitas ser un experto en programación para usar Dataflow Gen2. La interfaz fácil de usar reduce la barrera de entrada para los nuevos usuarios, sobre todo para quienes ya conocen Power BI.

Seguridad y cumplimiento

La seguridad y el cumplimiento son prioridades máximas. Las directivas de prevención de pérdida de datos te ayudan a detectar datos confidenciales, mientras que Entra ID garantiza una autenticación segura para cada usuario.

Optimización del uso de Dataflow Gen2

Sigue buenas prácticas como planificar los dataflows con antelación, usar convenciones de nomenclatura claras, configurar alertas de supervisión y aprovechar la actualización incremental para optimizar el rendimiento y controlar los costes.

Lista de comprobación para empezar con Microsoft Fabric Dataflows Gen2

Usa esta lista de comprobación para empezar con Microsoft Fabric Dataflows Gen2:

Comprende los conceptos de Microsoft Fabric y de los dataflows Gen2.
Verifica la licencia y el acceso de tu inquilino a las funciones de Microsoft Fabric.
Confirma que tienes los permisos necesarios en el área de trabajo y en el destino.
Crea o identifica el área de trabajo de Fabric para la creación de contenido.
Prepara las directivas de gobernanza del almacenamiento de OneLake o de Lakehouse.
Planifica los orígenes de datos y los conectores, y valida la conectividad.
Configura los servicios vinculados y las credenciales de forma segura.
Diseña el esquema del dataflow, las transformaciones y las claves principales.
Crea un Dataflow Gen2 y añade entidades con Power Query.
Configura la actualización incremental y las estrategias de particionado.
Define las comprobaciones de calidad de datos y las reglas de validación.
Configura el linaje, las anotaciones y los metadatos.
Configura la actualización programada, los desencadenadores y la orquestación.
Supervisa el rendimiento, el uso de recursos y el plegado de consultas.
Implementa funciones de seguridad como la seguridad a nivel de fila.
Prueba la ingesta, la transformación y el consumo de extremo a extremo.
Documenta los procesos, la propiedad y los runbooks de soporte.
Registra los artefactos en las herramientas de gobernanza y de catálogo.
Capacita a las partes interesadas para acceder a los resultados.
Planifica el mantenimiento continuo, el escalado y la supervisión de costes.

Conclusión

Microsoft Fabric Dataflows Gen2 está redefiniendo de verdad cómo las organizaciones modernas gestionan la integración de datos, al combinar a la perfección la accesibilidad del bajo código con un rendimiento de nivel empresarial. Gracias a funciones como el almacenamiento provisional gestionado, la separación del proceso de cálculo y la integración con OneLake, los equipos de datos pueden escalar sus operaciones de forma eficiente sin renunciar a una gobernanza estricta. Para profundizar en estos conceptos y escuchar más opiniones de expertos, no dejes de escuchar el episodio complementario Build ETL with Microsoft Fabric Dataflows Gen2 y empieza hoy mismo a transformar tu estrategia de datos.