O tópico de hoje é algo que quase todo mundo que trabalha com dados já ouviu falar, mas poucos realmente entendem. Microsoft Fabric One Lake. Você provavelmente já viu isso no marketing da Microsoft ou ouviu alguém chamar de Data Lake unificado para toda a sua organização. Mas o que isso realmente significa? É apenas mais um repositório de armazenamento ou algo fundamental diferente? Aqui está a definição mais simples. One Lake é um Data Lake lógico único que fica no centro do Microsoft Fabric. Cada serviço do Fabric, Lake House, Warehouse, Event House, Power BI, armazena seus dados aqui. A regra fundamental é simples. Uma única cópia física de dados acessível por vários mecanismos diferentes. Chega de copiar dados de uma ferramenta para outra. Chega de se perguntar qual versão de um relatório está correta. Ao final deste episódio, você entenderá o que o One Lake realmente é, como ele elimina a duplicação de dados e por que ele muda o jogo para Power BI, Engenharia de Dados e IA. Então vamos começar com um problema que o One Lake foi criado para resolver. Problema. Cada departamento tem seu próprio lake. Imagine que você trabalha em uma empresa de média porte. Sua equipe de vendas usa um sistema CRM para rastrear negócio. Sua equipe financeira executa o RP para faturamento e notas fiscais. Sua equipe de marketing extrai dados de suas ferramentas de campanha. E sua equipe de engenharia de dados gerencia um Data Warehouse para relatórios. Então aqui está o que eu quero que você pense. Quantas cópias dos mesmos dados de clientes existem nesse sistema? Na maioria das empresas, a resposta é 4 ou 5. O CRM os armazena. O RP os armazena. O marketing os exporta para sua ferramenta de análise. Alguém no financeiro cria uma planilha a partir do ERP. E a equipe de engenharia de dados os copia para o Warehouse para que o Power BI possa lê-los. É o mesmo ID de cliente, o mesmo valor de venda, a mesma data de fatura armazenados em 5 lugares diferentes. Isso não acontece porque as pessoas são descuidadas. É porque as ferramentas antigas não se comunicavam. Se você quisesse executar um relatório combinando dados de vendas do CRM com dados financeiros do ERP, teria que copiar ambos para algo que pudesse lê-los juntos. Isso significava criar pipelines, agendar tarefas e esperar que nada quebrasse durante a noite. Os cursos ocultos aumentam rapidamente. Contas de armazenamento crescem porque você está pagando pelos mesmos dados 5 vezes. Os relatórios ficam defasados porque uma cópia é atualizada enquanto a outra não é. E então alguém faz a pergunta que ninguém quer responder. Qual versão é a correta? Essa confusão corrói a confiança nos dados e uma vez que a confiança acaba, as pessoas param de usar a plataforma de análise. Então, a Microsoft analisou essa bagunça e fez uma pergunta simples. E se você pudesse ter uma cópia dos seus dados que qualquer ferramenta pudesse ler? Sem duplicação, sem confusão, uma fonte única de verdade. O que exatamente é o One Lake? One Lake é a resposta da Microsoft para essa pergunta. É um data lake lógico único para toda a sua organização. A frase-chave para lembrar é esta. Um lake por tenant, não um lake por equipe. Por baixo dos planos, o One Lake é construído sobre o Azure Data Lake Storage Inundate. Mesma tecnologia, mesmas APIs, mas a Microsoft o reformulou como um serviço SaaS totalmente gerenciado. Você não cria contas de armazenamento, não gerencia containers, não configura chaves de acesso, você apenas usa. Pense nele como OneDrive para os dados da sua empresa. O OneDrive oferece um lugar para seus arquivos pessoais, documentos, fotos, planilhas. Você não pensa onde eles estão armazenados fisicamente. Apenas os abre e trabalha. O One Lake faz a mesma coisa, mas para os dados da sua organização. Ele oferece a cada equipe, projeto e carga de trabalho um pool compartilhado de armazenamento. Agora, aqui está uma distinção importante. O One Lake é lógico, não físico. Por baixo dos panos, ele pode abranger múltiplas contas de armazenamento em diferentes regiões, mas para você parece um pool gigante. Você não se importa com qual servidor contém os arquivos, você apenas vê seus dados. Todo serviço do fábrico armazena seus dados. Quando você cria um lake house, os dados vivem no One Lake. Quando se constrói um warehouse, as tabelas vivem no One Lake. Ao executar um relatório do Power BI, se ele usar o modo Direct Lake, ele lê diretamente do One Lake. Até o Event House, o armazenamento de análise em tempo real pode expor seus dados no One Lake. Tudo aponta para o mesmo lugar, e o formato de dados padrão é o Delta Parque. Esse é um formato aberto, não uma trava da Microsoft. O Databricks utiliza motores Sparkling, ferramentas como pandas e podas para entrar o Blackwind. Tanto seus dados não ficam presos dentro do mundo da Microsoft. Eles são abertos e portáteis, mas a verdadeira mágica não é o armazenamento, é como o One Lake elimina a necessidade de copiar dados desde o início. O princípio de uma única cópia Agora aqui está a ideia central que torna o One Lake diferente de tudo que veio antes. É chamado de princípio de uma única cópia. É simples. Uma cópia física de dados, acessível por muitos motores diferentes. Deixe-me mostrar o que isso significa. Digamos que você tem uma tabela de dados de vendas no One Lake. Um engenheiro de dados executa um notebook Spark para mim. Um analista de negócios escreve uma consulta TSQL para agregá-lo. Em um relatório do Power BI, ela lê para um dashboard. Todos os três acontecem ao mesmo tempo. Todos os três na mesma... Ninguém copiou nada. No passado isso nunca acontecia. Você copiava dados do Data Lake para um Warehouse. Depois copiava do Warehouse para um modelo semântico. Em seguida atualizava o relatório. Isso são três cópias dos mesmos dados. Cada um ao consumir do tempo e espalha de armazamento. E se qualquer etapa falhasse, seus números estariam errados. Uma única cópia elimina tudo isso. Os dados ficam no One Lake mesmo. Os mecanismos Spark, SQL, Power BI, todos lêem. Diretamente. Sem movimentação. Sem duplicação. Sem problemas de sincronização. A economia de custo é real. Menos armazenamento, pois você não paga pelos mesmos dados cinco vezes. Menos ETL, porque você não cria pipelines apenas para mover dados entre ferramentas. Menos coisas para manter, já que não há nada para quebrar entre as cópias. E o benefício da atualização é enorme. Uma cópia significa uma única fonte da verdade. Quando os dados são atualizados, cada relatório vê a atualização imediatamente. Chega de perguntar, este relatório usa dados da semana passada ou desta semana? São sempre os mesmos dados em todo lugar. Agora, você pode estar pensando, bem, isso não é apenas o Azure Data Lake Storage. Não, exatamente. O ADLS é um serviço para... Você cria contas de armazenamento. Gerencia contêineres. Você configura chave de acesso. Você decide qual região armazena o quê. É flexível, mas também dá trabalho. O Unlake é um serviço SaaS. Você não cria contas de armazenamento. Dando gerencia contêineres. Você apenas o utiliza. A infraestrutura subjacente é cuidada para você. Uma cópia ótima para dados que residem dentro do fabric. Mas e quanto aos dados que residem em outro lugar? Atalhos. Deixe os dados onde eles estão. Então é aqui que os atalhos entram. Um atalho é um ponteiro virtual. Pense nele como um link simbólico para o seu Data Lake. Ele permite acessar dados que residem fisicamente fora do Unlake sem movê-los ou copiá-los. Veja como funciona. Você cria um atalho dentro de um Lake House ou um Warehouse. E esse atalho aponta para um arquivo ou pasta em outro lugar. Pode ser em uma conta do Azure Data Lake Storage, um bucket do Amazon S3, Google Cloud Storage ou até outro workspace do Fabric. Os dados permanecem onde estão, mas dentro do Fabric parece que estão bem ali no Unlake. Deixe-me dar um exemplo real. Sua equipe de vendas executa suas análises na AWS há anos, portanto todos os dados deles ficam em buckets do S3. Sua equipe financeira usa o Fabric e o Power BI e eles precisam combinar dados de vendas com dados financeiros. No mundo antigo, você exportava tudo do S3, carregava para o Azure e criava um pipeline para manter tudo sincronizado e torcia para que nada quebrasse. Com os atalhos, você cria um atalho do seu Lake House para o bucket do S3. Os dados permanecem na AWS, mas o financeiro pode consultá-los no Power BI como se estivesse no Unlake. Nada a exportar, carregar ou se preocupar com pipelines. Os atalhos funcionam internamente também. Se uma equipe tem um conjunto de dados curado em seu workspace, outra equipe pode criar um atalho para ele. Sem cópia, sem duplicação. Os dados permanecem no workspace original e todos os outros apenas fazem referência. Existe uma limitação que você precisa entender. Os atalhos não copiam dados, portanto o desempenho da consulta depende da velocidade do sistema de origem. Se você criar um atalho para um bucket S3 do outro lado do mundo, suas consultas serão mais lentas do que se os dados fossem locais. Para dados acessados com frequência, considere espelhá-los. Isso nos leva ao nosso próximo tópico, o espelhamento. Traga dados de banco de dados automaticamente. Os atalhos cobrem muito bem o armazenamento de arquivos externos, mas e quanto aos seus bancos de dados existentes? Aqueles que executam seu RP, seu CRM, suas aplicações operacionais. É aí que entra o espelhamento. O espelhamento é uma forma de levar dados de banco de dados para o Unlake quase em tempo real, sem criar um único pipeline. Você aponta o fabric para seu banco de dados e ele cuida do resto, criando uma cópia incremental automática dos dados no formato delta parquê dentro do Unlake, mantendo essa cópia atualizada conforme as mudanças ocorrem na origem. As origens suportadas incluem Azure SQL Database, SQL Server Local, Cosmos DB e outros, e a Microsoft adiciona mais com o tempo. Mas o cenário mais comum é seu banco de dados crítico para o negócio, aquele onde seu RP ou sua aplicação de linha de negócio roda. Veja como funciona. Você ativa o espelhamento em um banco de dados e o fabric lê o feed de alterações, inserções, atualizações e exclusões e replica essas mudanças para o Unlake. A primeira sincronização copia todo o conjunto de dados. Depois disso, ela é incremental, movendo apenas as linhas alteradas. Os dados chegam no formato delta parquê, prontos para serem consultados por qualquer mecanismo do fabric. Agora, aí é a principal diferença dos atalhos. Atalhos não copiam dados, eles apontam para eles. O espelhamento realmente copia os dados, então eles residem fisicamente no Unlake. E o desempenho da consulta é rápido, independentemente da velocidade do banco de dados de origem. A contrapartida é que você armazena uma cópia, mas o benefício é o acesso quase em tempo real, sem pipelines para criar, agendamentos para gerenciar, manutenção para se preocupar ou manutenção para se preocupar. Deixe-me dar um exemplo de uso concreto. Sua empresa usa um RP no SQL Server que armazena todos os seus dados financeiros, notas fiscais, pagamentos e o razão geral. Antigamente, você criaria um trabalho de ETL que rodaria toda noite, extraindo os dados, transformando-os e carregando-os em um warehouse. Esse trabalho falha, alguém precisa consertá-lo. E os dados estão sempre com pelo menos um dia de atraso. Com o espelhamento, você ativa uma vez e o Fabric replica os dados para o Unlake continuamente. Seus relatórios do Power BI lêem diretamente do Unlake e vêm dados com minutos de atraso, não horas ou dias, sem nunca tocar no pipeline. Agora, você tem dados no Unlake provenientes de atalhos, espelhamento e uploads diretos. Como você realmente utiliza? O Unlake e os três armazenamentos de dados. O Unlake é a camada de armazenamento, o local onde todos os seus arquivos existem. Mas aqui está o ponto, você não trabalha com o Unlake diretamente. Em vez disso, você interage com ele através do que chamamos de armazenamento de dados e interfaces que oferecem formas diferentes de trabalhar com os mesmos dados subjacentes. Existem três armazenamentos de dados principais no Fabric, Lakehouse, Warehouse e Eventhouse. Todos eles armazenam seus dados no mesmo Unlake, mas cada um serve a um propósito diferente. Vamos começar com o Lakehouse, o armazenamento flexível que aceita arquivos como CSV, JSON e imagens, além de tabelas Delta. Você utiliza para engenharia de dados, aprendizado de máquina ou para receber dados brutos de sistema de origem. É uma bancada de trabalho onde você limpa, transforma e prepara os dados. Se você está construindo uma arquitetura de medalhão com camadas bronze, prata e ouro, o Lakehouse é onde isso acontece. Você pode acessá-lo por meio de notebooks Spark ou pelo endpoint de análise SQL para consulta somente leitura. O próximo é o Warehouse, o armazenamento estruturado e estruturado. Ele oferece suporte total de leitura e escrita de SQL, permitindo criar tabelas, views, procedimentos armazenados, funções e executar comandos de inserção, atualização e exclusão. Ele parece um banco de dados SQL Server tradicional porque foi projetado por quem pensa em SQL. Use o Warehouse ao criar relatórios de BI, realizar agregações complexas ou migrar de um data warehouse existente. Pense nele como a camada ouro para relatórios corporativos. Depois, a Webvent House é o armazenamento de dados em tempo real, construído no motor custo a mesma tecnologia por trás do Azure DataX. Ele lida com dados e streaming, logs, termite de IoT, fluxos de cliques, qualquer coisa que chegue rapidamente precisa ser consultada imediatamente. Ou seja, consulta com KQL, mais de consulta o custo. Quando você habilita a disponibilidade no OneLake, esses dados de evento tornam-se acessíveis ao Lakehouse e ao Warehouse com tabelas Delta. Então, aqui está o que você precisa entender. Os três armazenam seus dados no mesmo Lake. Uma tabela criada em um Lakehouse pode ser lida por uma consulta de Warehouse. Uma tabela em um Warehouse pode ser acessada a partir de um notebook Spark. Dados ingeridos no Event House podem ser expostos como tabelas Delta para o Power BI. Eles não são bancos de dados separados, são visões diferentes do mesmo DataLake. Muitas pessoas se enganam quanto a ela. Elas pensam que Lakehouse, Warehouse e Event House são produtos concorrentes, mas não são. Você, na verdade, usa os três porque cada um resolve um problema diferente. Lakehouse para engenharia de dados, Warehouse para BI e Event House para tempo real e todos compartilham o mesmo armazenamento. O OneLake lida com armazenamento e os DataStores lidam com acesso. Mas quem pode ver o quê? Segurança e governança no OneLake. Como todos os seus dados residem em um só lugar, a segurança se torna mais simples. Você gerencia o acesso em um ponto em vez de em dez sistemas diferentes. Chega de definir permissões no CRM, depois novamente no Warehouse e novamente no Power BI. O OneLake oferece a você um modelo de segurança único para tudo. No nível superior, você tem funções de Workspace. Administrador, Membro, Colaborador e Visualizador. Elas controlam quem pode trabalhar em um determinado Workspace. Se alguém é um visualizador, pode ver itens, mas não pode modificá-los. Se for um administrador, controla tudo. Simples o suficiente. Mas você pode ir além. As funções de segurança do OneLake permitem controlar o acesso no nível de pasta, de tabela, de coluna e até de linha. Por exemplo, segurança em nível de coluna significa que você pode ocultar informações salariais de todos, exceto do RH. Segurança em nível de linha significa que um gerente de vendas vê apenas os dados da sua própria região. E funciona da mesma forma em todos os data storage, porque todos residem no mesmo OneLake. Há também o catálogo do OneLake, uma visão central onde você pode ver todos os dados de todos os Workspace. Você pode encontrar conjuntos de dados certificados, verificar quem é o proprietário de que e gerenciar a governança de um só lugar. Ele se integra ao Microsoft Purview para classificação, rótulos de sensibilidade e prevenção contra a perda de dados. Portanto, se você precisar marcar certos dados como confidenciais ou altamente restritos, pode fazer isso no nível do Lake. Isso se aplica em todos os lugares. E existe o diagnóstico do OneLake, que captura quem acessou o que e quando. É útil para auditorias e verificações de conformidade para responder a pergunta quem mexeu nesses dados na semana passada. Ele registra cada operação de leitura e escrita e armazena esses logs como arquivos JSON dentro de um LakeHouse. Você pode analisá-los com Spark SQL ou Power BI. O panorama geral é este. Um único modelo de segurança para todos os seus dados, em vez de gerenciar regras separadas para cada ferramenta. Isso é uma simplificação enorme para qualquer organização. Conclusões práticas. O que isso significa para você? Então, o que tudo isso realmente significa se você está começando sua jornada no Fabric hoje? Vamos detalhar. Se você está construindo uma nova plataforma de dados, o OneLake elimina a necessidade de projetar movimentos complexos de dados. Você não precisa planejar como os dados fluem de um Lake para um Warehouse e para um modelo semântico. Basta colocá-los no OneLake. Todas as ferramentas farão leitura. Essa é a arquitetura completa. Se você está migrando de um sistema antigo, atalhos e espelhamento permitem manter os dados onde estão enquanto você transfere cargas de trabalho gradualmente. Não é necessário uma migração radical. Aponte um atalho para seu DataLake existente, espelhe seu banco de dados SQL Server e comece a usar o Fabric enquanto seus sistemas antigos continuam funcionando. E avance no seu próprio índice. Está a mudança de mentalidade. Pare de pensar em armazenamento por projeto. Pare de criar um novo DataLake para cada nova iniciativa. Comece a pensar em um único Lake compartilhado que todos os projetos acessam. Dados da sua equipe de vendas, da sua equipe financeira, da sua equipe de engenharia. Tudo vive no mesmo lugar. Eles apenas vêm partes diferentes disso. Para usuários do Power BI, os relatórios leem diretamente do OneLake. Sem importações separadas, sem modelos semânticos duplicados. Dados estão atualizados porque são os mesmos dados com os quais os engenheiros de dados trabalham. Para os engenheiros de dados, isso significa menos pipelines para construir, manter e depurar. Armazen do Cabeça. Todos os outros apenas fazem referência a ele. O ponto principal é este. O OneLake não é apenas mais um DataLake. É a base que torna o Fabric diferente de tudo que veio antes. É a razão pela qual você pode parar de copiar dados e começar a confiar neles. Então, aí está. O OneLake é o DataLake único da sua organização construído sobre o princípio de cópia única. Uma cópia física de dados acessível a qualquer ferramenta, qualquer equipe, qualquer carga de trabalho. Chega de duplicação, chega de confusão sobre qual versão é a correta. Sua tarefa é simples. Comece com o atalho de uma fonte externa ou espelho, um banco de dados. Veja como fica simples quando você não precisa construir pipelines apenas para mover dados. A maioria das organizações não fará essa mudança rapidamente. Seja aquela que fará. Se este episódio o ajudou a entender o OneLake, inscreva-se no Microsoft Knowledge Nuggets para mais conteúdo sobre o Fabric em linguagem simples. E compartilhe isso com alguém que ainda gerencia 5 DataLakes separados. Eles agradecerão mais tarde.