Dataflows Gen1 vs Gen2 in Microsoft Fabric: scegliere l'architettura giusta per staging e calcolo
By Mirko Peters ·
Confronto tra Dataflows Gen1 e Gen2 in Microsoft Fabric. Scopri come storage, staging del calcolo e capacità influiscono sulla tua strategia di ETL nel cloud.
Automatically translated with AI from the original post. Read the English original

Quando migri i carichi di lavoro ETL verso Microsoft Fabric, scegliere l'architettura giusta di staging e calcolo tra Dataflows Gen1 e Gen2 incide direttamente sulle prestazioni della pipeline, sui costi delle risorse e sull'affidabilità dei dati. Comprendere le differenze di fondo nell'allocazione del calcolo e nella gestione dello storage evita colli di bottiglia architetturali costosi prima che il team scali i propri report.
Punti chiave
- I Dataflows Gen2 introducono un'integrazione nativa con OneLake, cambiando in modo sostanziale il modo in cui i dati vengono sottoposti a staging e archiviati rispetto alla Gen1.
- Scegliere l'opzione di calcolo sbagliata in fase di authoring può causare inattese limitazioni della capacità e un calo delle prestazioni nel workspace di Fabric.
- La Gen1 si affidava in larga misura a meccanismi di storage esterni, mentre la Gen2 scrive direttamente nelle tabelle Lakehouse di Fabric come destinazione predefinita.
- Una corretta configurazione dello staging evita trasformazioni dei dati ridondanti e ottimizza l'aggiornamento dei modelli semantici di Power BI.
- Allineare la strategia ETL alle unità di capacità di Fabric aiuta l'organizzazione a evitare costi di calcolo fuori controllo.
Comprendere il cambiamento architetturale in Fabric
Il passaggio dai dataflow di Power BI tradizionali ai dataflow di Microsoft Fabric non è un semplice cambio di nome: rappresenta una revisione architetturale completa del modo in cui i dati cloud vengono acquisiti, trasformati e persistiti. Nel mondo legacy della Gen1, i dataflow erano progettati principalmente per alimentare i modelli semantici di Power BI. Operavano in un ecosistema piuttosto isolato, dove le trasformazioni avvenivano in Power Query Online e l'output veniva archiviato in uno storage interno gestito interamente dal servizio Power BI.
Con l'introduzione di Microsoft Fabric, i Dataflows Gen2 sono stati costruiti da zero per usare OneLake come repository centrale dei dati. Questo significa che ogni trasformazione applicata tramite Power Query Online non resta più confinata in un contenitore proprietario. La Gen2, invece, colma il divario tra la preparazione dei dati self-service tradizionale e l'ingegneria dei dati enterprise, scrivendo direttamente in tabelle Delta Parquet in formato aperto all'interno di un Lakehouse di Fabric. Questo cambiamento fondamentale modifica il modo in cui gli architetti cloud affrontano lo staging dei dati, l'utilizzo del calcolo e l'affidabilità dei report a valle.
La svolta nel paradigma dello storage
Negli scenari tradizionali, se un business analyst doveva ripulire un export da Excel, rimuovere le righe vuote e formattare le date, quei dati restavano confinati all'interno dell'archivio del dataflow. Se un altro reparto voleva usare lo stesso dataset ripulito, spesso doveva attingere dal report o ricreare la query. Dataflows Gen2 risolve il problema trattando il Lakehouse come destinazione di primo livello. Una volta eseguito il dataflow, i dati puliti sono subito disponibili come tabelle Delta, pronti per i notebook Spark, per gli endpoint di analisi SQL e per il reporting diretto con DirectLake, senza bisogno di spostamenti di dati aggiuntivi.
La decisione su compute e staging che la maggior parte dei team trascura
Una delle decisioni architetturali più critiche che gli ingegneri affrontano quando costruiscono Dataflows Gen2 riguarda la gestione delle fasi di compute e staging. A differenza di Gen1, dove la gestione del compute era in gran parte astratta e a volte opaca, Gen2 viene eseguito sulle Fabric Capacity Units (CU) sottostanti. Se la tua organizzazione non monitora con attenzione come e quando i dati vengono sottoposti a staging durante la fase di valutazione della query, rischi di esaurire la capacità allocata più in fretta del previsto.
Quando applichi trasformazioni complesse, Power Query valuta se i passaggi possono essere ripiegati (folded) sull'origine dati oppure se devono essere eseguiti localmente nel motore del dataflow. In Gen2, l'area di staging funge da zona di approdo intermedia. Se configurata male, i dataset di grandi dimensioni possono essere ripetutamente caricati in memoria, elaborati e riscritti, con un inutile sovraccarico di compute. Gli architetti devono valutare i sistemi di origine, la latenza di rete e la complessità delle trasformazioni per decidere se spingere l'elaborazione verso il database di origine o lasciare che sia Fabric a fare il lavoro pesante.
Ottimizzare le Capacity Units per i carichi di lavoro ETL
La capacità di Fabric è un pool condiviso all'interno dell'organizzazione. Quando un Dataflow Gen2 poco ottimizzato esegue aggiornamenti pianificati in orario di punta, può consumare la capacità fino a causare throttling, con effetti sulla visualizzazione dei report Power BI per i dirigenti. Per evitarlo, i team dovrebbero isolare i job ETL pesanti in aree di lavoro dedicate, supportate da riserve di capacità adeguate, oppure pianificarli in orari di minor utilizzo. Capire come i job di calcolo in background interagiscono con i carichi interattivi è essenziale per mantenere stabile l'ambiente Fabric.
Costruire fiducia attraverso un'architettura coerente
L'obiettivo finale dell'aggiornamento delle pipeline di dati è eliminare le correzioni manuali in Excel che affliggono il reporting aziendale. Quando i report non funzionano, raramente è per mancanza di dati; quasi sempre è per mancanza di fiducia. Quando gli utenti vedono numeri in conflitto perché un report attinge da un CSV grezzo e un altro da un vecchio dataflow, l'adozione crolla.
Standardizzando su Dataflows Gen2 e sfruttando l'architettura Lakehouse, le organizzazioni stabiliscono un'unica fonte di verità. Le date pulite, i nomi di colonna standardizzati e la logica di business validata vengono codificati una sola volta nel dataflow e propagati automaticamente a valle. Questo riduce gli errori umani, elimina la dipendenza dai singoli computer desktop e fa sì che, quando la dirigenza apre una dashboard, i numeri sottostanti siano affidabili e pronti per l'audit.
Conclusione
Migrare e costruire con Dataflows Gen2 richiede un cambio di prospettiva su storage cloud, budget di compute e data governance. Partendo da un unico processo ripetitivo basato su fogli di calcolo disordinati e mappandolo correttamente in un Lakehouse di Fabric, il tuo team può costruire pipeline scalabili che reggono nel tempo. Per approfondire i concetti di base alla base di questa evoluzione e ascoltare le riflessioni di esperti sulle strategie cloud Microsoft moderne, ascolta la puntata completa del podcast M365 FM.
Domande frequenti
Qual è la differenza principale tra Dataflows Gen1 e Gen2 per quanto riguarda lo storage?
I Dataflows Gen1 archiviano i dati trasformati all'interno dell'archivio interno di Power BI, mentre i Dataflows Gen2 scrivono nativamente in tabelle Delta Parquet, un formato aperto, all'interno di un Lakehouse di Microsoft Fabric tramite OneLake.
Come incidono i Dataflows Gen2 sulle Capacity Units di Fabric?
I Gen2 consumano la capacità di Fabric sottostante durante le fasi di compute e staging. Trasformazioni poco ottimizzate o aggiornamenti pesanti in orario di punta possono esaurire la capacità allocata e causare throttling sugli altri carichi di lavoro.
I Dataflows Gen2 possono sostituire le pipeline tradizionali di Azure Data Factory?
Per la preparazione dei dati self-service, l'ETL leggero e la trasformazione dei dati low-code, i Dataflows Gen2 sono un'ottima alternativa. Tuttavia, per l'orchestrazione aziendale complessa, la logica di ramificazione e l'ingegneria dei dati avanzata, Azure Data Factory o le Fabric Pipelines restano gli strumenti preferiti.
Perché la fase di staging è importante nei Dataflows Gen2?
La fase di staging funge da area di approdo intermedia per le trasformazioni dei dati. Configurare correttamente lo staging evita elaborazioni ridondanti dei dati, ottimizza il query folding e garantisce scritture efficienti nel Lakehouse di destinazione.
In che modo i Dataflows Gen2 migliorano l'affidabilità dei dati nei report?
Automatizzando la pulizia delle esportazioni manuali disordinate e centralizzando le trasformazioni in tabelle riutilizzabili del Lakehouse, Gen2 elimina le soluzioni alternative manuali in Excel e garantisce dati coerenti e affidabili in tutti i report a valle.