WEBVTT

00:00:00.000 --> 00:00:05.400
O tópico de hoje é algo que quase todo mundo que trabalha com dados já ouviu falar, mas poucos realmente entendem.

00:00:06.120 --> 00:00:07.180
Microsoft Fabric One Lake.

00:00:07.720 --> 00:00:12.340
Você provavelmente já viu isso no marketing da Microsoft ou ouviu alguém chamar de Data Lake unificado para toda a sua organização.

00:00:13.000 --> 00:00:14.140
Mas o que isso realmente significa?

00:00:14.700 --> 00:00:17.420
É apenas mais um repositório de armazenamento ou algo fundamental diferente?

00:00:17.960 --> 00:00:18.880
Aqui está a definição mais simples.

00:00:19.420 --> 00:00:22.640
One Lake é um Data Lake lógico único que fica no centro do Microsoft Fabric.

00:00:23.260 --> 00:00:27.760
Cada serviço do Fabric, Lake House, Warehouse, Event House, Power BI, armazena seus dados aqui.

00:00:27.880 --> 00:00:29.100
A regra fundamental é simples.

00:00:29.100 --> 00:00:32.360
Uma única cópia física de dados acessível por vários mecanismos diferentes.

00:00:32.680 --> 00:00:34.300
Chega de copiar dados de uma ferramenta para outra.

00:00:34.740 --> 00:00:36.860
Chega de se perguntar qual versão de um relatório está correta.

00:00:37.220 --> 00:00:39.840
Ao final deste episódio, você entenderá o que o One Lake realmente é,

00:00:40.200 --> 00:00:44.400
como ele elimina a duplicação de dados e por que ele muda o jogo para Power BI, Engenharia de Dados e IA.

00:00:45.180 --> 00:00:47.660
Então vamos começar com um problema que o One Lake foi criado para resolver.

00:00:49.060 --> 00:00:49.420
Problema.

00:00:49.760 --> 00:00:51.040
Cada departamento tem seu próprio lake.

00:00:51.360 --> 00:00:52.900
Imagine que você trabalha em uma empresa de média porte.

00:00:53.320 --> 00:00:55.600
Sua equipe de vendas usa um sistema CRM para rastrear negócio.

00:00:55.600 --> 00:00:58.340
Sua equipe financeira executa o RP para faturamento e notas fiscais.

00:00:58.340 --> 00:01:01.040
Sua equipe de marketing extrai dados de suas ferramentas de campanha.

00:01:01.480 --> 00:01:04.480
E sua equipe de engenharia de dados gerencia um Data Warehouse para relatórios.

00:01:04.980 --> 00:01:06.220
Então aqui está o que eu quero que você pense.

00:01:06.620 --> 00:01:09.200
Quantas cópias dos mesmos dados de clientes existem nesse sistema?

00:01:09.740 --> 00:01:11.580
Na maioria das empresas, a resposta é 4 ou 5.

00:01:11.960 --> 00:01:12.780
O CRM os armazena.

00:01:13.280 --> 00:01:14.060
O RP os armazena.

00:01:14.340 --> 00:01:16.200
O marketing os exporta para sua ferramenta de análise.

00:01:16.780 --> 00:01:18.880
Alguém no financeiro cria uma planilha a partir do ERP.

00:01:19.460 --> 00:01:23.200
E a equipe de engenharia de dados os copia para o Warehouse para que o Power BI possa lê-los.

00:01:23.200 --> 00:01:27.160
É o mesmo ID de cliente, o mesmo valor de venda, a mesma data de fatura armazenados

00:01:27.160 --> 00:01:28.180
em 5 lugares diferentes.

00:01:28.680 --> 00:01:30.040
Isso não acontece porque as pessoas são descuidadas.

00:01:30.400 --> 00:01:32.120
É porque as ferramentas antigas não se comunicavam.

00:01:32.640 --> 00:01:36.840
Se você quisesse executar um relatório combinando dados de vendas do CRM com dados financeiros

00:01:36.840 --> 00:01:39.600
do ERP, teria que copiar ambos para algo que pudesse lê-los juntos.

00:01:40.480 --> 00:01:44.240
Isso significava criar pipelines, agendar tarefas e esperar que nada quebrasse durante a noite.

00:01:44.700 --> 00:01:45.900
Os cursos ocultos aumentam rapidamente.

00:01:46.380 --> 00:01:49.080
Contas de armazenamento crescem porque você está pagando pelos mesmos dados 5 vezes.

00:01:49.400 --> 00:01:52.300
Os relatórios ficam defasados porque uma cópia é atualizada enquanto a outra não é.

00:01:52.300 --> 00:01:54.520
E então alguém faz a pergunta que ninguém quer responder.

00:01:55.080 --> 00:01:55.860
Qual versão é a correta?

00:01:56.460 --> 00:02:00.520
Essa confusão corrói a confiança nos dados e uma vez que a confiança acaba, as pessoas

00:02:00.520 --> 00:02:02.380
param de usar a plataforma de análise.

00:02:03.120 --> 00:02:05.480
Então, a Microsoft analisou essa bagunça e fez uma pergunta simples.

00:02:05.540 --> 00:02:08.240
E se você pudesse ter uma cópia dos seus dados que qualquer ferramenta pudesse ler?

00:02:08.820 --> 00:02:11.520
Sem duplicação, sem confusão, uma fonte única de verdade.

00:02:12.640 --> 00:02:13.680
O que exatamente é o One Lake?

00:02:14.180 --> 00:02:16.180
One Lake é a resposta da Microsoft para essa pergunta.

00:02:16.560 --> 00:02:18.780
É um data lake lógico único para toda a sua organização.

00:02:19.380 --> 00:02:20.820
A frase-chave para lembrar é esta.

00:02:20.820 --> 00:02:23.300
Um lake por tenant, não um lake por equipe.

00:02:23.980 --> 00:02:27.260
Por baixo dos planos, o One Lake é construído sobre o Azure Data Lake Storage Inundate.

00:02:27.720 --> 00:02:31.580
Mesma tecnologia, mesmas APIs, mas a Microsoft o reformulou como um serviço SaaS totalmente

00:02:31.580 --> 00:02:32.080
gerenciado.

00:02:32.520 --> 00:02:35.700
Você não cria contas de armazenamento, não gerencia containers, não configura chaves

00:02:35.700 --> 00:02:36.860
de acesso, você apenas usa.

00:02:37.380 --> 00:02:39.020
Pense nele como OneDrive para os dados da sua empresa.

00:02:39.820 --> 00:02:43.200
O OneDrive oferece um lugar para seus arquivos pessoais, documentos, fotos, planilhas.

00:02:43.640 --> 00:02:45.420
Você não pensa onde eles estão armazenados fisicamente.

00:02:45.980 --> 00:02:46.920
Apenas os abre e trabalha.

00:02:46.920 --> 00:02:49.820
O One Lake faz a mesma coisa, mas para os dados da sua organização.

00:02:49.820 --> 00:02:53.740
Ele oferece a cada equipe, projeto e carga de trabalho um pool compartilhado de armazenamento.

00:02:54.140 --> 00:02:55.420
Agora, aqui está uma distinção importante.

00:02:55.860 --> 00:02:57.000
O One Lake é lógico, não físico.

00:02:57.400 --> 00:03:00.720
Por baixo dos panos, ele pode abranger múltiplas contas de armazenamento em diferentes regiões,

00:03:00.880 --> 00:03:02.220
mas para você parece um pool gigante.

00:03:02.740 --> 00:03:05.560
Você não se importa com qual servidor contém os arquivos, você apenas vê seus dados.

00:03:05.880 --> 00:03:07.420
Todo serviço do fábrico armazena seus dados.

00:03:07.760 --> 00:03:09.860
Quando você cria um lake house, os dados vivem no One Lake.

00:03:10.220 --> 00:03:12.220
Quando se constrói um warehouse, as tabelas vivem no One Lake.

00:03:12.220 --> 00:03:15.640
Ao executar um relatório do Power BI, se ele usar o modo Direct Lake, ele lê diretamente

00:03:15.640 --> 00:03:16.140
do One Lake.

00:03:16.780 --> 00:03:20.220
Até o Event House, o armazenamento de análise em tempo real pode expor seus dados no One Lake.

00:03:20.920 --> 00:03:24.260
Tudo aponta para o mesmo lugar, e o formato de dados padrão é o Delta Parque.

00:03:24.940 --> 00:03:26.760
Esse é um formato aberto, não uma trava da Microsoft.

00:03:27.200 --> 00:03:31.120
O Databricks utiliza motores Sparkling, ferramentas como pandas e podas para entrar o Blackwind.

00:03:31.480 --> 00:03:33.340
Tanto seus dados não ficam presos dentro do mundo da Microsoft.

00:03:33.960 --> 00:03:36.820
Eles são abertos e portáteis, mas a verdadeira mágica não é o armazenamento,

00:03:36.820 --> 00:03:39.460
é como o One Lake elimina a necessidade de copiar dados desde o início.

00:03:39.460 --> 00:03:41.560
O princípio de uma única cópia

00:03:41.560 --> 00:03:45.120
Agora aqui está a ideia central que torna o One Lake diferente de tudo que veio antes.

00:03:45.600 --> 00:03:46.960
É chamado de princípio de uma única cópia.

00:03:47.020 --> 00:03:47.380
É simples.

00:03:47.740 --> 00:03:50.480
Uma cópia física de dados, acessível por muitos motores diferentes.

00:03:50.940 --> 00:03:52.200
Deixe-me mostrar o que isso significa.

00:03:52.660 --> 00:03:54.720
Digamos que você tem uma tabela de dados de vendas no One Lake.

00:03:55.060 --> 00:03:56.960
Um engenheiro de dados executa um notebook Spark para mim.

00:03:57.300 --> 00:03:59.920
Um analista de negócios escreve uma consulta TSQL para agregá-lo.

00:04:00.400 --> 00:04:02.120
Em um relatório do Power BI, ela lê para um dashboard.

00:04:02.540 --> 00:04:03.820
Todos os três acontecem ao mesmo tempo.

00:04:03.960 --> 00:04:05.200
Todos os três na mesma...

00:04:05.200 --> 00:04:06.160
Ninguém copiou nada.

00:04:07.220 --> 00:04:08.460
No passado isso nunca acontecia.

00:04:08.460 --> 00:04:10.740
Você copiava dados do Data Lake para um Warehouse.

00:04:11.400 --> 00:04:13.720
Depois copiava do Warehouse para um modelo semântico.

00:04:14.200 --> 00:04:15.440
Em seguida atualizava o relatório.

00:04:15.740 --> 00:04:17.120
Isso são três cópias dos mesmos dados.

00:04:17.480 --> 00:04:18.880
Cada um ao consumir do tempo e espalha de armazamento.

00:04:19.280 --> 00:04:21.200
E se qualquer etapa falhasse, seus números estariam errados.

00:04:21.480 --> 00:04:22.640
Uma única cópia elimina tudo isso.

00:04:23.040 --> 00:04:24.000
Os dados ficam no One Lake mesmo.

00:04:24.500 --> 00:04:26.940
Os mecanismos Spark, SQL, Power BI, todos lêem.

00:04:27.280 --> 00:04:27.680
Diretamente.

00:04:28.120 --> 00:04:28.700
Sem movimentação.

00:04:29.080 --> 00:04:29.580
Sem duplicação.

00:04:30.080 --> 00:04:31.040
Sem problemas de sincronização.

00:04:31.460 --> 00:04:32.300
A economia de custo é real.

00:04:32.740 --> 00:04:35.260
Menos armazenamento, pois você não paga pelos mesmos dados cinco vezes.

00:04:35.260 --> 00:04:39.240
Menos ETL, porque você não cria pipelines apenas para mover dados entre ferramentas.

00:04:40.080 --> 00:04:42.540
Menos coisas para manter, já que não há nada para quebrar entre as cópias.

00:04:43.100 --> 00:04:44.400
E o benefício da atualização é enorme.

00:04:44.900 --> 00:04:46.500
Uma cópia significa uma única fonte da verdade.

00:04:46.860 --> 00:04:49.260
Quando os dados são atualizados, cada relatório vê a atualização imediatamente.

00:04:50.280 --> 00:04:53.300
Chega de perguntar, este relatório usa dados da semana passada ou desta semana?

00:04:54.160 --> 00:04:55.440
São sempre os mesmos dados em todo lugar.

00:04:55.920 --> 00:04:58.540
Agora, você pode estar pensando, bem, isso não é apenas o Azure Data Lake Storage.

00:04:58.900 --> 00:04:59.200
Não, exatamente.

00:04:59.200 --> 00:05:01.000
O ADLS é um serviço para...

00:05:01.000 --> 00:05:01.940
Você cria contas de armazenamento.

00:05:02.320 --> 00:05:03.020
Gerencia contêineres.

00:05:03.300 --> 00:05:04.320
Você configura chave de acesso.

00:05:04.720 --> 00:05:06.060
Você decide qual região armazena o quê.

00:05:06.400 --> 00:05:07.780
É flexível, mas também dá trabalho.

00:05:08.280 --> 00:05:09.400
O Unlake é um serviço SaaS.

00:05:09.860 --> 00:05:10.880
Você não cria contas de armazenamento.

00:05:11.260 --> 00:05:12.260
Dando gerencia contêineres.

00:05:12.540 --> 00:05:13.320
Você apenas o utiliza.

00:05:13.580 --> 00:05:15.700
A infraestrutura subjacente é cuidada para você.

00:05:16.320 --> 00:05:18.620
Uma cópia ótima para dados que residem dentro do fabric.

00:05:19.060 --> 00:05:20.480
Mas e quanto aos dados que residem em outro lugar?

00:05:21.160 --> 00:05:21.480
Atalhos.

00:05:22.040 --> 00:05:23.140
Deixe os dados onde eles estão.

00:05:23.820 --> 00:05:24.880
Então é aqui que os atalhos entram.

00:05:25.200 --> 00:05:26.180
Um atalho é um ponteiro virtual.

00:05:26.980 --> 00:05:28.620
Pense nele como um link simbólico para o seu Data Lake.

00:05:29.420 --> 00:05:33.500
Ele permite acessar dados que residem fisicamente fora do Unlake sem movê-los ou copiá-los.

00:05:34.740 --> 00:05:35.360
Veja como funciona.

00:05:35.640 --> 00:05:37.740
Você cria um atalho dentro de um Lake House ou um Warehouse.

00:05:38.400 --> 00:05:40.620
E esse atalho aponta para um arquivo ou pasta em outro lugar.

00:05:41.180 --> 00:05:45.520
Pode ser em uma conta do Azure Data Lake Storage, um bucket do Amazon S3, Google Cloud Storage

00:05:45.520 --> 00:05:47.140
ou até outro workspace do Fabric.

00:05:47.660 --> 00:05:50.980
Os dados permanecem onde estão, mas dentro do Fabric parece que estão bem ali no Unlake.

00:05:50.980 --> 00:05:52.800
Deixe-me dar um exemplo real.

00:05:53.500 --> 00:05:57.700
Sua equipe de vendas executa suas análises na AWS há anos, portanto todos os dados deles

00:05:57.700 --> 00:05:58.580
ficam em buckets do S3.

00:05:59.180 --> 00:06:03.040
Sua equipe financeira usa o Fabric e o Power BI e eles precisam combinar dados de vendas

00:06:03.040 --> 00:06:03.900
com dados financeiros.

00:06:04.840 --> 00:06:08.220
No mundo antigo, você exportava tudo do S3, carregava para o Azure e criava um pipeline

00:06:08.220 --> 00:06:10.600
para manter tudo sincronizado e torcia para que nada quebrasse.

00:06:11.500 --> 00:06:14.280
Com os atalhos, você cria um atalho do seu Lake House para o bucket do S3.

00:06:14.780 --> 00:06:18.600
Os dados permanecem na AWS, mas o financeiro pode consultá-los no Power BI como se estivesse

00:06:18.600 --> 00:06:18.920
no Unlake.

00:06:19.580 --> 00:06:21.560
Nada a exportar, carregar ou se preocupar com pipelines.

00:06:22.060 --> 00:06:23.480
Os atalhos funcionam internamente também.

00:06:24.000 --> 00:06:27.560
Se uma equipe tem um conjunto de dados curado em seu workspace, outra equipe pode criar um

00:06:27.560 --> 00:06:28.300
atalho para ele.

00:06:28.980 --> 00:06:30.100
Sem cópia, sem duplicação.

00:06:30.860 --> 00:06:34.060
Os dados permanecem no workspace original e todos os outros apenas fazem referência.

00:06:34.460 --> 00:06:36.020
Existe uma limitação que você precisa entender.

00:06:36.840 --> 00:06:39.800
Os atalhos não copiam dados, portanto o desempenho da consulta depende da velocidade

00:06:39.800 --> 00:06:40.520
do sistema de origem.

00:06:41.200 --> 00:06:44.620
Se você criar um atalho para um bucket S3 do outro lado do mundo, suas consultas serão

00:06:44.620 --> 00:06:46.160
mais lentas do que se os dados fossem locais.

00:06:46.160 --> 00:06:49.160
Para dados acessados com frequência, considere espelhá-los.

00:06:49.880 --> 00:06:51.860
Isso nos leva ao nosso próximo tópico, o espelhamento.

00:06:52.460 --> 00:06:53.980
Traga dados de banco de dados automaticamente.

00:06:54.580 --> 00:06:58.020
Os atalhos cobrem muito bem o armazenamento de arquivos externos, mas e quanto aos seus

00:06:58.020 --> 00:06:58.940
bancos de dados existentes?

00:06:59.380 --> 00:07:03.060
Aqueles que executam seu RP, seu CRM, suas aplicações operacionais.

00:07:03.500 --> 00:07:04.420
É aí que entra o espelhamento.

00:07:04.960 --> 00:07:08.300
O espelhamento é uma forma de levar dados de banco de dados para o Unlake quase em tempo

00:07:08.300 --> 00:07:09.620
real, sem criar um único pipeline.

00:07:10.040 --> 00:07:13.880
Você aponta o fabric para seu banco de dados e ele cuida do resto, criando uma cópia incremental

00:07:13.880 --> 00:07:17.940
automática dos dados no formato delta parquê dentro do Unlake, mantendo essa cópia atualizada

00:07:17.940 --> 00:07:19.660
conforme as mudanças ocorrem na origem.

00:07:20.720 --> 00:07:25.820
As origens suportadas incluem Azure SQL Database, SQL Server Local, Cosmos DB e outros, e a Microsoft

00:07:25.820 --> 00:07:27.260
adiciona mais com o tempo.

00:07:27.980 --> 00:07:30.860
Mas o cenário mais comum é seu banco de dados crítico para o negócio, aquele onde

00:07:30.860 --> 00:07:32.980
seu RP ou sua aplicação de linha de negócio roda.

00:07:33.560 --> 00:07:34.220
Veja como funciona.

00:07:34.220 --> 00:07:37.740
Você ativa o espelhamento em um banco de dados e o fabric lê o feed de alterações,

00:07:37.860 --> 00:07:41.000
inserções, atualizações e exclusões e replica essas mudanças para o Unlake.

00:07:41.920 --> 00:07:43.900
A primeira sincronização copia todo o conjunto de dados.

00:07:44.540 --> 00:07:47.960
Depois disso, ela é incremental, movendo apenas as linhas alteradas.

00:07:48.620 --> 00:07:51.520
Os dados chegam no formato delta parquê, prontos para serem consultados por qualquer

00:07:51.520 --> 00:07:52.240
mecanismo do fabric.

00:07:52.620 --> 00:07:54.400
Agora, aí é a principal diferença dos atalhos.

00:07:54.900 --> 00:07:56.800
Atalhos não copiam dados, eles apontam para eles.

00:07:57.240 --> 00:08:00.600
O espelhamento realmente copia os dados, então eles residem fisicamente no Unlake.

00:08:00.600 --> 00:08:04.880
E o desempenho da consulta é rápido, independentemente da velocidade do banco de dados de origem.

00:08:05.700 --> 00:08:08.800
A contrapartida é que você armazena uma cópia, mas o benefício é o acesso quase

00:08:08.800 --> 00:08:11.880
em tempo real, sem pipelines para criar, agendamentos para gerenciar, manutenção

00:08:11.880 --> 00:08:13.740
para se preocupar ou manutenção para se preocupar.

00:08:13.920 --> 00:08:15.240
Deixe-me dar um exemplo de uso concreto.

00:08:15.760 --> 00:08:20.280
Sua empresa usa um RP no SQL Server que armazena todos os seus dados financeiros, notas fiscais,

00:08:20.380 --> 00:08:21.700
pagamentos e o razão geral.

00:08:22.840 --> 00:08:25.940
Antigamente, você criaria um trabalho de ETL que rodaria toda noite, extraindo os dados,

00:08:26.080 --> 00:08:27.640
transformando-os e carregando-os em um warehouse.

00:08:28.440 --> 00:08:30.160
Esse trabalho falha, alguém precisa consertá-lo.

00:08:30.160 --> 00:08:32.340
E os dados estão sempre com pelo menos um dia de atraso.

00:08:32.660 --> 00:08:36.780
Com o espelhamento, você ativa uma vez e o Fabric replica os dados para o Unlake continuamente.

00:08:37.500 --> 00:08:40.960
Seus relatórios do Power BI lêem diretamente do Unlake e vêm dados com minutos de atraso,

00:08:41.020 --> 00:08:42.940
não horas ou dias, sem nunca tocar no pipeline.

00:08:43.420 --> 00:08:47.220
Agora, você tem dados no Unlake provenientes de atalhos, espelhamento e uploads diretos.

00:08:47.740 --> 00:08:48.580
Como você realmente utiliza?

00:08:49.000 --> 00:08:50.600
O Unlake e os três armazenamentos de dados.

00:08:51.020 --> 00:08:53.940
O Unlake é a camada de armazenamento, o local onde todos os seus arquivos existem.

00:08:54.360 --> 00:08:56.740
Mas aqui está o ponto, você não trabalha com o Unlake diretamente.

00:08:56.740 --> 00:09:00.600
Em vez disso, você interage com ele através do que chamamos de armazenamento de dados

00:09:00.600 --> 00:09:03.860
e interfaces que oferecem formas diferentes de trabalhar com os mesmos dados subjacentes.

00:09:04.760 --> 00:09:08.140
Existem três armazenamentos de dados principais no Fabric, Lakehouse, Warehouse e Eventhouse.

00:09:08.560 --> 00:09:11.920
Todos eles armazenam seus dados no mesmo Unlake, mas cada um serve a um propósito diferente.

00:09:12.580 --> 00:09:17.080
Vamos começar com o Lakehouse, o armazenamento flexível que aceita arquivos como CSV, JSON e imagens,

00:09:17.320 --> 00:09:18.080
além de tabelas Delta.

00:09:18.660 --> 00:09:22.980
Você utiliza para engenharia de dados, aprendizado de máquina ou para receber dados brutos de sistema de origem.

00:09:22.980 --> 00:09:25.760
É uma bancada de trabalho onde você limpa, transforma e prepara os dados.

00:09:26.260 --> 00:09:29.460
Se você está construindo uma arquitetura de medalhão com camadas bronze, prata e ouro,

00:09:29.540 --> 00:09:30.700
o Lakehouse é onde isso acontece.

00:09:31.220 --> 00:09:36.060
Você pode acessá-lo por meio de notebooks Spark ou pelo endpoint de análise SQL para consulta somente leitura.

00:09:36.800 --> 00:09:39.080
O próximo é o Warehouse, o armazenamento estruturado e estruturado.

00:09:39.400 --> 00:09:42.180
Ele oferece suporte total de leitura e escrita de SQL,

00:09:42.460 --> 00:09:47.760
permitindo criar tabelas, views, procedimentos armazenados, funções e executar comandos de inserção, atualização e exclusão.

00:09:48.440 --> 00:09:52.080
Ele parece um banco de dados SQL Server tradicional porque foi projetado por quem pensa em SQL.

00:09:52.080 --> 00:09:57.920
Use o Warehouse ao criar relatórios de BI, realizar agregações complexas ou migrar de um data warehouse existente.

00:09:58.380 --> 00:10:00.400
Pense nele como a camada ouro para relatórios corporativos.

00:10:00.960 --> 00:10:03.600
Depois, a Webvent House é o armazenamento de dados em tempo real,

00:10:03.700 --> 00:10:06.060
construído no motor custo a mesma tecnologia por trás do Azure DataX.

00:10:06.400 --> 00:10:09.480
Ele lida com dados e streaming, logs, termite de IoT, fluxos de cliques,

00:10:09.580 --> 00:10:11.780
qualquer coisa que chegue rapidamente precisa ser consultada imediatamente.

00:10:12.300 --> 00:10:14.180
Ou seja, consulta com KQL, mais de consulta o custo.

00:10:14.860 --> 00:10:16.580
Quando você habilita a disponibilidade no OneLake,

00:10:16.580 --> 00:10:20.380
esses dados de evento tornam-se acessíveis ao Lakehouse e ao Warehouse com tabelas Delta.

00:10:20.380 --> 00:10:22.120
Então, aqui está o que você precisa entender.

00:10:22.620 --> 00:10:24.280
Os três armazenam seus dados no mesmo Lake.

00:10:24.820 --> 00:10:27.480
Uma tabela criada em um Lakehouse pode ser lida por uma consulta de Warehouse.

00:10:27.800 --> 00:10:30.320
Uma tabela em um Warehouse pode ser acessada a partir de um notebook Spark.

00:10:30.660 --> 00:10:33.940
Dados ingeridos no Event House podem ser expostos como tabelas Delta para o Power BI.

00:10:34.380 --> 00:10:37.300
Eles não são bancos de dados separados, são visões diferentes do mesmo DataLake.

00:10:37.600 --> 00:10:38.740
Muitas pessoas se enganam quanto a ela.

00:10:38.940 --> 00:10:42.080
Elas pensam que Lakehouse, Warehouse e Event House são produtos concorrentes, mas não são.

00:10:42.560 --> 00:10:45.240
Você, na verdade, usa os três porque cada um resolve um problema diferente.

00:10:45.240 --> 00:10:48.820
Lakehouse para engenharia de dados, Warehouse para BI e Event House para tempo real

00:10:48.820 --> 00:10:50.500
e todos compartilham o mesmo armazenamento.

00:10:51.040 --> 00:10:53.820
O OneLake lida com armazenamento e os DataStores lidam com acesso.

00:10:54.680 --> 00:10:55.460
Mas quem pode ver o quê?

00:10:56.420 --> 00:10:57.760
Segurança e governança no OneLake.

00:10:58.340 --> 00:11:01.080
Como todos os seus dados residem em um só lugar, a segurança se torna mais simples.

00:11:01.800 --> 00:11:04.680
Você gerencia o acesso em um ponto em vez de em dez sistemas diferentes.

00:11:05.460 --> 00:11:09.200
Chega de definir permissões no CRM, depois novamente no Warehouse e novamente no Power BI.

00:11:09.620 --> 00:11:11.940
O OneLake oferece a você um modelo de segurança único para tudo.

00:11:11.940 --> 00:11:14.360
No nível superior, você tem funções de Workspace.

00:11:14.940 --> 00:11:16.700
Administrador, Membro, Colaborador e Visualizador.

00:11:17.300 --> 00:11:19.180
Elas controlam quem pode trabalhar em um determinado Workspace.

00:11:19.640 --> 00:11:22.400
Se alguém é um visualizador, pode ver itens, mas não pode modificá-los.

00:11:22.820 --> 00:11:24.300
Se for um administrador, controla tudo.

00:11:24.900 --> 00:11:25.520
Simples o suficiente.

00:11:25.840 --> 00:11:26.480
Mas você pode ir além.

00:11:27.180 --> 00:11:32.580
As funções de segurança do OneLake permitem controlar o acesso no nível de pasta, de tabela, de coluna e até de linha.

00:11:32.960 --> 00:11:37.020
Por exemplo, segurança em nível de coluna significa que você pode ocultar informações salariais de todos, exceto do RH.

00:11:37.680 --> 00:11:41.160
Segurança em nível de linha significa que um gerente de vendas vê apenas os dados da sua própria região.

00:11:41.160 --> 00:11:44.660
E funciona da mesma forma em todos os data storage, porque todos residem no mesmo OneLake.

00:11:45.060 --> 00:11:48.820
Há também o catálogo do OneLake, uma visão central onde você pode ver todos os dados de todos os Workspace.

00:11:49.240 --> 00:11:53.680
Você pode encontrar conjuntos de dados certificados, verificar quem é o proprietário de que e gerenciar a governança de um só lugar.

00:11:54.260 --> 00:11:58.820
Ele se integra ao Microsoft Purview para classificação, rótulos de sensibilidade e prevenção contra a perda de dados.

00:11:58.820 --> 00:12:04.100
Portanto, se você precisar marcar certos dados como confidenciais ou altamente restritos, pode fazer isso no nível do Lake.

00:12:04.180 --> 00:12:05.580
Isso se aplica em todos os lugares.

00:12:06.280 --> 00:12:09.100
E existe o diagnóstico do OneLake, que captura quem acessou o que e quando.

00:12:09.880 --> 00:12:14.100
É útil para auditorias e verificações de conformidade para responder a pergunta quem mexeu nesses dados na semana passada.

00:12:14.540 --> 00:12:18.820
Ele registra cada operação de leitura e escrita e armazena esses logs como arquivos JSON dentro de um LakeHouse.

00:12:19.380 --> 00:12:21.720
Você pode analisá-los com Spark SQL ou Power BI.

00:12:21.720 --> 00:12:23.480
O panorama geral é este.

00:12:23.740 --> 00:12:28.120
Um único modelo de segurança para todos os seus dados, em vez de gerenciar regras separadas para cada ferramenta.

00:12:28.600 --> 00:12:30.820
Isso é uma simplificação enorme para qualquer organização.

00:12:31.920 --> 00:12:32.620
Conclusões práticas.

00:12:33.080 --> 00:12:33.840
O que isso significa para você?

00:12:34.200 --> 00:12:37.200
Então, o que tudo isso realmente significa se você está começando sua jornada no Fabric hoje?

00:12:37.600 --> 00:12:38.100
Vamos detalhar.

00:12:38.520 --> 00:12:43.080
Se você está construindo uma nova plataforma de dados, o OneLake elimina a necessidade de projetar movimentos complexos de dados.

00:12:43.340 --> 00:12:48.460
Você não precisa planejar como os dados fluem de um Lake para um Warehouse e para um modelo semântico.

00:12:48.460 --> 00:12:49.760
Basta colocá-los no OneLake.

00:12:49.840 --> 00:12:50.900
Todas as ferramentas farão leitura.

00:12:50.900 --> 00:12:53.340
Essa é a arquitetura completa.

00:12:53.700 --> 00:12:59.560
Se você está migrando de um sistema antigo, atalhos e espelhamento permitem manter os dados onde estão enquanto você transfere cargas de trabalho gradualmente.

00:12:59.840 --> 00:13:01.020
Não é necessário uma migração radical.

00:13:01.520 --> 00:13:07.940
Aponte um atalho para seu DataLake existente, espelhe seu banco de dados SQL Server e comece a usar o Fabric enquanto seus sistemas antigos continuam funcionando.

00:13:08.160 --> 00:13:09.400
E avance no seu próprio índice.

00:13:09.480 --> 00:13:10.520
Está a mudança de mentalidade.

00:13:10.920 --> 00:13:12.240
Pare de pensar em armazenamento por projeto.

00:13:12.680 --> 00:13:14.760
Pare de criar um novo DataLake para cada nova iniciativa.

00:13:15.200 --> 00:13:18.340
Comece a pensar em um único Lake compartilhado que todos os projetos acessam.

00:13:18.340 --> 00:13:21.520
Dados da sua equipe de vendas, da sua equipe financeira, da sua equipe de engenharia.

00:13:21.900 --> 00:13:22.840
Tudo vive no mesmo lugar.

00:13:23.280 --> 00:13:24.500
Eles apenas vêm partes diferentes disso.

00:13:24.880 --> 00:13:27.400
Para usuários do Power BI, os relatórios leem diretamente do OneLake.

00:13:27.660 --> 00:13:29.900
Sem importações separadas, sem modelos semânticos duplicados.

00:13:30.240 --> 00:13:33.200
Dados estão atualizados porque são os mesmos dados com os quais os engenheiros de dados trabalham.

00:13:33.200 --> 00:13:37.060
Para os engenheiros de dados, isso significa menos pipelines para construir, manter e depurar.

00:13:37.520 --> 00:13:38.080
Armazen do Cabeça.

00:13:38.480 --> 00:13:39.900
Todos os outros apenas fazem referência a ele.

00:13:40.180 --> 00:13:40.920
O ponto principal é este.

00:13:41.020 --> 00:13:42.760
O OneLake não é apenas mais um DataLake.

00:13:43.080 --> 00:13:45.360
É a base que torna o Fabric diferente de tudo que veio antes.

00:13:45.980 --> 00:13:48.560
É a razão pela qual você pode parar de copiar dados e começar a confiar neles.

00:13:49.260 --> 00:13:49.900
Então, aí está.

00:13:50.280 --> 00:13:53.980
O OneLake é o DataLake único da sua organização construído sobre o princípio de cópia única.

00:13:54.620 --> 00:13:58.140
Uma cópia física de dados acessível a qualquer ferramenta, qualquer equipe, qualquer carga de trabalho.

00:13:58.720 --> 00:14:01.640
Chega de duplicação, chega de confusão sobre qual versão é a correta.

00:14:01.640 --> 00:14:02.920
Sua tarefa é simples.

00:14:03.520 --> 00:14:06.400
Comece com o atalho de uma fonte externa ou espelho, um banco de dados.

00:14:07.060 --> 00:14:10.460
Veja como fica simples quando você não precisa construir pipelines apenas para mover dados.

00:14:11.140 --> 00:14:13.020
A maioria das organizações não fará essa mudança rapidamente.

00:14:13.520 --> 00:14:14.220
Seja aquela que fará.

00:14:14.520 --> 00:14:18.220
Se este episódio o ajudou a entender o OneLake, inscreva-se no Microsoft Knowledge Nuggets

00:14:18.220 --> 00:14:20.680
para mais conteúdo sobre o Fabric em linguagem simples.

00:14:21.240 --> 00:14:23.800
E compartilhe isso com alguém que ainda gerencia 5 DataLakes separados.

00:14:24.080 --> 00:14:24.860
Eles agradecerão mais tarde.
