L'argomento di oggi è qualcosa che quasi tutti coloro che lavorano con i dati hanno sentito nominare, ma che in pochi comprendono davvero. Microsoft Fabric One Lake. Probabilmente l'avete visto nel marketing Microsoft, ho sentito definire come il data lake unificato per l'intera organizzazione. Ma cosa significa esattamente? È solo un altro spazio di archiviazione o è qualcosa di fondamente diverso? Ecco la definizione più semplice. One Lake è un unico data lake logico che si trova al centro di Microsoft Fabric. Ogni servizio di Fabric, Lake House, Warehouse, Event House, Power BI, memorizza i propri dati qui. La regola fondamentale è sempre. Una sola copia fisica dei dati è accessibile da molti motori diversi. Basta copiare dati da uno strumento all'altro. Basta chiedersi quale versione di un report sia quella corretta. Alla fine di questo episodio capirete cos'è davvero One Lake, com'è elimina la duplicazione dei dati e perché cambia le regole del gioco per Power BI, Data Engineering e AI. Iniziamo quindi dal problema che One Lake è stato creato per risolvere. Problema. Ogni dipartimento ha il proprio lake. Immaginate di lavorare in un'azienda a dimensioni. Il vostro team vendita usa un sistema CRM trattativa. Il team finance gestisce l'ERP per fatturazione bollette. Il team marketing estrae i dati dai propri strumenti di campagna. E il team di data engineering gestisce un data warehouse per la reportistica. Quindi ecco se voglio farevi riflettere. Quante copie degli stessi dati clienti esistono tra questi sistemi? Nella maggior parte delle aziende la risposta è 4 o 5. CRM memorizza. L'ERP li memorizza. Il marketing li esporta nel proprio strumento di analisi. Qualcuno in amministrazione crea un foglio di calcolo dall'ERP. E il team di data engineering li copia nel warehouse affinché Power BI possa leggerli. Si tratta dello stesso ID cliente e lo stesso importo di vendita e la stessa data di fattura memorizzati in 5 posti diversi. Non è perché le persone siano negligenti. È perché i vecchi strumenti non comunicavano tra loro. Se volevate eseguire un report che combinasse i dati di vendita del CRM con quelli finanziari dell'ERP dovevate copiare entrambi in qualcosa che potesse leggerli insieme. Ciò significava costruire pipeline, pianificare job e sperare che nulla si rompesse durante la notte. I costi nascosti si accumulano velocemente. Le bollette dello storage crescono perché pagate per gli stessi dati 5 volte. I report diventano obsoleti perché una copia viene aggiornata e l'altra no. E poi qualcuno pone la domanda a cui nessuno vuole rispondere. Qual è la versione giusta? Quella confusione erode la fiducia nei dati e, una volta persa la fiducia, le persone smettono del tutto di usare la piattaforma di analisi. Quindi Microsoft ha esaminato questo caos e ha posto una domanda semplice. Cosa succederebbe se potessi avere una sola copia dei tuoi dati leggibili ad ogni strumento? Nessuna duplicazione, nessuna confusione. Un'unica fonte di verità. Cos'è esattamente OneLake? OneLake è la risposta di Microsoft a quella domanda. È un unico data lake logico per l'intera organizzazione? La frase chiave da ricordare è questa. Un lake per tenant, non un lake per team. Tecnicamente, OneLake è basato su Azure Data Lake Storage Gen 2. Tessa tecnologia, stesse API, ma Microsoft l'ha riconfezionato come un servizio SaaS completamente gestito. Non devi creare account di archiviazione, non devi gestire container, non devi impostare chiavi di accesso, lo usi. Basta. Pensalo come a OneDrive per i dati della tua azienda. OneDrive ti offre un unico posto per i tuoi file personali, documenti, foto, fogli di calcolo. Non pensi a dove siano archiviati fisicamente, li apri e lavori. OneLake fa la stessa cosa, ma per i dati della tua organizzazione. Offre ogni team, ogni progetto, ogni carico di lavoro, un pool di archiviazione condiviso. Ora ecco una distinzione importante. OneLake è logico, non fisico. Sotto il cofano, può estendersi su più account di archiviazione in diverse regioni. Ma per te sembra un unico enorme pool. Non ti importa quale server contenga i file, vedi semplicemente i tuoi dati. Ogni servizio fabric memorizza i propri dati. Quando crei una Lake House, i dati risiedono in OneLake. Quando costruisci un warehouse, le tabelle risiedono in OneLake. Quando esegui un report di Power BI, se usa la modalità DirectLake, legge direttamente da OneLake. Anche EventHouse, l'archivio di analisi in tempo reale, può esporre i propri dati in OneLake. Tutto punta allo stesso posto e il formato dati predefinito è DeltaParchet. È un formato aperto, non un vincolo proprietario di Microsoft. Databricks lo usa, motori Spark lo leggono. Strumenti come Pandas e Polas possono lavorarci. Quindi i tuoi dati non sono intrappolati nel mondo Microsoft. È aperto e portabile, ma la vera magia non è l'archiviazione, come OneLake elimini bisogno di copiare i dati in primo luogo. Principio della copia unica Ora, ecco l'idea fondamentale che rende OneLake diverso da tutto ciò che c'era prima. Si chiama Principio della copia unica ed è semplice. Una sola copia fisica dei dati è accessibile da molti motori diversi. Lascio che ti mostri cosa significa supponiamo che tu abbia una tabella di dati di vendita in OneLake. Un ingegnere dei dati esegue un notebook Spark per pulire. Un analista aziendale scrive una query TSQL per aggregato. E un report di Power BI la legge per un dashboard. Tutti e tre avvengono nello stesso momento. Tutte le leggono lo stesso file. Nessuno ha copiato nulla. Nel vecchio mondo ciò non accadeva mai. Si copiavano i dati dal DataLake a un warehouse. Poi li si copiava dal warehouse in un modello semantico. Infine si aggiornava il report. Sono tre copie dello stesso dato. Ognuno richiede tempo e spazio di archiviazione. E se un passaggio falliva e i numeri erano sbagliati? Una sola copia elimina tutto questo. I dati risiedono in OneLake una sola volta. I motori Spark, SQL e Power BI li leggono direttamente. Nessuno spostamento. Nessuna duplicazione. Nessun problema di sincronizzazione. Gli risparmi sui costi reali. Meno storage perché non paghi gli stessi dati cinque volte. Meno ETL perché non devi creare pipeline solo per spostare i dati tra strumenti. Nelocose da mantenere perché non c'è nulla che possa rompersi tra le copie. E il vantaggio della freschezza dei dati è enorme. Una copia significa un'unica fonte di verità. Quando i dati si aggiornano, ogni report vede l'aggiornamento immediatamente. Niente più domande. Questo report usa i dati della scorsa settimana di questa. Sono sempre gli stessi dati ovunque. Ora potresti pensare, beh, non è solo aggiornata Lake Storage. Non esattamente. ADLS è un servizio PAP. Crea account di archiviazione. Gestisci container. Imposti le chiavi di accesso. Decidi quale regione contiene cosa. È flessibile ma richiede anche lavoro. OneLake è un servizio SAS. Non crea account di archiviazione. Non gestisci container. Lo usi e basta. L'infrastruttura sottostante è gestita per te. Una copia ottima per i dati che risiedono dentro fabbrica. Ma che dire dei dati che vivono altrove? Lascia i dati dove si trovano. È qui che entrano in gioco i collegamenti. Un collegamento è un puntatore virtuale. Pensalo come un link simbolico per il tuo Data Lake. E ti permette di accedere a dati che risiedono fisicamente fuori da OneLake senza spostarli o copiarli? Ecco come funziona. Crea un collegamento all'interno di un Lake House o di un Warehouse. E quel collegamento punta a un file o una cartella da un'altra parte. Potrebbe essere in un account a Giurata Lake Storage, un bucket Amazon S3, Google Cloud Storage o persino un altro Workspace Fabric. I dati rimangono dove sono, ma da dentro Fabric sembra che siamo proprio l'in-one lake. Ti faccio un esempio reale. Il tuo team vendita esegue l'analisi su AWS da anni, quindi tutti i loro dati risiedono in Bucket S3. Il tuo team finanziario usa Fabric e Power BI e deve combinare i dati di vendita con quelli finanziari. Nel vecchio mondo dovevi esportare tutto da S3, caricarlo su Azure, creare una pipeline per mantenerlo sincronizzato e sperare che non si rompesse nulla. Con i collegamenti crea una scorciatoia dal tuo Lake House al Bucket S3. I dati rimangono in AWS, ma al reparto finanziario puoi interrogarli in Power BI come se fossero in OneLake. Nessuna esportazione, nessun caricamento, nessuna pipeline di cui preoccupa. I collegamenti funzionano anche internamente. Se un team ha un set di dati curato nel proprio Workspace, un altro team può creare un collegamento ad esso. Nessuna copia, nessuna duplicazione. I dati rimangono nel Workspace originale e tutti gli altri vi fanno semplicemente riferimento. C'è una limitazione che devi comprendere. I collegamenti non copiano i dati, quindi le prestazioni delle query dipendono dalla velocità del sistema sorgente. Se ti colleghi a un Bucket S3 dall'altra parte del mondo, le tue query saranno più lente rispetto a quando i dati sono locali. Per i dati consultati frequentemente, valuta invece il mirroring. E questo ci porta al nostro prossimo argomento. Il mirroring. Importa automaticamente i dati database. I collegamenti gestiscono molto bene l'archiviazione di file esterni, ma che dire dei tuoi database esistenti. Quelli che gestiscono il tuo ERP, il tuo CRM, le tue applicazioni operative. È qui che entra in gioco il mirroring. Il mirroring è un modo per trasferire dati dai database a OneLake quasi in tempo reale senza costruire alcuna pipeline. Indichi a Fabric il tuo database e lui gestisce il resto creando una copia incrementale automatica dei dati in formato delta parquet all'interno di OneLake, mantenendo la copia aggiornata man mano che avvengono le modifiche alla fonte. Le fonti supportate includono Azure SQL Database, SQL Server in locale, Cosmos DB e altri, con Microsoft che ne aggiungerà altre nel tempo. Tuttavia, lo scenario più comune riguarda i database aziendali critici, quelli su cui girano i tuoi ERP o le tue applicazioni di business. Ecco come funziona. Abilita il mirroring su un database e Fabric legge il feed delle modifiche, inserimenti, aggiornamenti, eliminazioni e replica tali modifiche in OneLake. La prima sincronizzazione copia l'intero set di dati. In seguito è incrementale, esposta solo le righe modificate. I dati arrivano in formato delta parquet pronti per essere interrogati da qualsiasi motore Fabric. Ora ecco la differenza principale rispetto ai collegamenti. I collegamenti non copiano i dati, puntano ad essi. Il mirroring copia effettivamente i dati, quindi questi risiedono fisicamente in OneLake. E le prestazioni delle query sono veloci indipendentemente dalla velocità del database di origine. Il compromesso è che stai archiviando una copia, ma il vantaggio è un accesso quasi in tempo reale, senza pipeline da creare, senza programmazione da gestire, senza programmazione da gestire, senza manutenzione di cui preoccuparsi. Lasciatemi fare un esempio concreto. La vostra azienda utilizza un ERP su SQL Server che contiene tutti i dati finanziari, fatture, pagamenti e contabilità generale. In passato avreste creato un processo ETL notturno per estrarre, trasformare e caricare i dati in un data warehouse. Quel processo si rompeva, qualcuno doveva ripararlo. E i dati erano sempre vecchi di almeno un giorno. Con il mirroring lo attivate una sola volta e Fabric replica i dati in OneLake in modo continuo. I vostri report Power BI leggono direttamente da OneLake vedendo dati di pochi minuti fa, non di ore o giorni, senza mai toccare la pipeline. Ora avete dati di OneLake provenienti da collegamenti, mirroring e caricamenti diretti, come si utilizza l'uncrono. OneLake è i tre archivi dati. OneLake è il livello di archiviazione, il luogo in cui risiedono tutti i vostri file. Tuttavia, non lavorate direttamente su OneLake. Interagite invece tramite quelli che chiamiamo archivi dati, interfacce che offrono modi diversi di lavorare con gli stessi dati sottostanti. In Fabric ci sono tre archivi dati principali, LakeHouse, Warehouse ed EventHouse. Tutti memorizzano i dati nello stesso OneLake, ma ognuno ha uno scopo diverso. Iniziamo con LakeHouse, l'archivio flessibile che accetta file come CSV, JSON e immagini, oltre alle tabelle Delta. Si usa per Data Engineering, Machine Learning o per l'atterraggio di dati grezzi dai sistemi sorgente. È un banco di lavoro dove pulire, trasformare e preparare i dati. Se state costruendo un'architettura a medaglione, con livelli bronze, silver e gold, LakeHouse è il posto giusto. Potete accedervi tramite Notebook Spark, tramite l'endpoint di analisi SQL per query, in sola lettura. Poi c'è Warehouse, l'archivio dati strutturato. Offre pieno supporto TSQL in lettura e scrittura, consentendo di creare tabelle, viste, stored procedure e funzioni, ed eseguire istruzioni Insert, Update, Delete. Sembra un database SQL Server tradizionale perché è pensato per chi ragiona in SQL. Usate Warehouse per creare report di BI, eseguire aggregazioni complesse o migrare da un data warehouse esistente. Consideratelo come il livello gold per le reportistiche aziendali. Infine c'è EventHouse, l'archivio dati in tempo reale basato sul motore Kusto, la stessa tecnologia di Azure Data Explorer. Gestisce streaming di dati, log, telemetria IoT e clickstream. Tutto ciò che arriva rapidamente richiede un'interrogazione immediata. Lo interrogate con KQL, il linguaggio di query Kusto. E quando abiliti la disponibilità di OneLake, quei dati di evento diventano accessibili a LakeHouse e a Warehouse come tabelle Delta. Quindi ecco cosa devi capire. Tutte e tre archiviano i propri dati nello stesso OneLake. Una tabella creata in un LakeHouse può essere letta da una query di Warehouse. Una tabella in un Warehouse può essere accessibile da un Notebook Spark. I dati acquisiti nell'EventHouse possono essere esposti come tabelle Delta per Power BI. Non sono database separati, sono viste diverse dello stesso DataLake. Molte persone si sbagliano su. Pensano che LakeHouse, Warehouse ed EventHouse siano prodotti concorrenti, ma non è così. In realtà li usi tutti e tre perché ognuno risolve un problema diverso. LakeHouse per l'ingegneria dei dati, Warehouse per la BI, EventHouse per il tempo reale. E condividono tutti lo stesso storage. OneLake gestisce l'archiviazione. Gli archivi dati gestiscono l'accesso. Ma chi può vedere cosa? Sicurezza e governance in OneLake. Poiché tutti i dati risiedono in un unico posto, la sicurezza diventa più semplice. Gestisci l'accesso in un unico punto invece che su dieci sistemi diversi. Basta impostare i permessi nel CRM, poi di nuovo nel Warehouse, poi ancora in Power BI. OneLake ti offre un modello di sicurezza unico per tutti. A livello superiore, hai ruoli dell'area di lavoro. Amministratore, membro, collaboratore, visualizzatore. Questi controlli che può lavorare in una determinata area. Se qualcuno è un visualizzatore può vedere gli elementi ma non modificarli. Sei un amministratore controlla tutto. Abstanza sempre. Ma puoi spingerti oltre. I ruoli di sicurezza di OneLake ti consentono di controllare l'accesso a livello di cartella, tabella, colonna e persino di riga. Ad esempio la sicurezza a livello di colonna significa che puoi nascondere informazioni salarie a tutti i tramicati e le risorse umane. Sicurezza a livello di riga significa che un responsabile vendita vede solo i dati della propria regione. E funziona allo stesso modo in tutti gli archivi dati perché poggiano tutti sullo stesso OneLake. C'è anche il catalogo OneLake, una vista centrale dove puoi vedere tutti i dati in tutte le aree di lavoro. Puoi trovare datasi certificati, verificare chi possiede cosa e gestire la governance da un unico posto. Si integra con Microsoft Perview per classificazione, etichette di sensibilità e prevenzione della perdita di dati. Quindi se devi contrassegnare determinati dati come riservati o altamente limitati, puoi farlo a livello di Lake e si applica ovunque. E c'è la diagnostica di OneLake che cattura chi ha avuto accesso a cose quando. È utile per audit, controllo di conformità e per rispondere alla domanda a chi ha toccato questi dati la scorsa settimana. Registra ogni operazione di lettura e scrittura e archivia tali log come fa il JSON all'interno di un lake house. Puoi analizzarli con Spark, SQL o Power BI. Il quadro generale è questo, un unico modello di sicurezza per tutti i tuoi dati, invece di gestire regole separate per ogni strumento. Si tratta di una semplificazione enorme per qualsiasi organizzazione. Consigli pratici? Cosa significa questo per te? Quindi cosa significa tutto questo se stai iniziando oggi il tuo percorso con Fabri? Analizziamolo nel detetore. Se stai costruendo una nuova piattaforma dati, OneLake elimina la necessità di progettare complessi spostamenti di dati. Non devi pianificare come i dati fluiscono da un lake a un warehouse e poi, in un modello semantico, mettili semplicemente OneLake e un strumento leggerà da lì. OneLake, una sola copia. Questa è l'intera architettura. Se stai migrando da un sistema precedente, i collegamenti, i shortcuts e il mirroring ti permettono di lasciare i dati dove sono, spostando gradualmente i carichi di lavoro. Nessuna migrazione massiva necessaria. Punta un collegamento al tuo datalake esistente e replica il tuo database SQL Server. Inizia a usare Fabric mentre i tuoi vecchi sistemi continuano a funzionare. Procedi secondo i tuoi ritmi. Ecco il cambio di mentalità. Smetti di pensare allo storage per singolo progetto. Smetti di creare un nuovo datalake per ogni nuova iniziativa. Inizia a pensare a un unico lake condiviso a cui ogni progetto può accedere. I dati del tuo team vendita, i dati del tuo team finance, i dati del tuo team tech, vivono tutti nello stesso posto. Vedono semplicemente parti diverse. Per gli utenti Power BI, i report leggono direttamente da OneLake. Nessuna importazione separata, nessun modello semantico duplicato. I dati sono aggiornati perché sono gli stessi dati con cui lavorano i data engineer. Per i data engineer significa meno pipeline da costruire e mantenere e sottoporre a debug. Inserisci i dati una volta. Tutti gli altri si limitano a farvi riferimento. Punto fondamentale che OneLake non è solo un altro datalake. È la base che rende Fabric diverso da qualsiasi cosa esistita prima. È il motivo per cui puoi smettere di copiare i dati e iniziare a fidarti di essi. Quindi ecco a te. OneLake è l'unico datalake della tua organizzazione costruito sul principio di un'unica copia. Una copia fisica dei dati è accessibile da qualsiasi strumento, timo o carico di lavoro. Basta duplicazione, basta confusione su quale versione sia quella corretta. Tuo compito è semplice. Inizia con un collegamento da una fonte esterna o replica a un database. Guarda quanto diventa semplice quando non devi costruire pipeline solo per spostare dati. La maggior parte dell'organizzazione non farà questo passaggio rapidamente. Sì tu a farlo. Se questo episodio ti ha aiutato a capire OneLake iscriviti a Microsoft Knowledge Nuggets per altri contenuti su Fabric in modo semplice e chiaro. E condividilo con qualcuno che sta ancora gestendo 5 data di Xperia. Ti ringrazierai nei segni.