Bem-vindos a mais um episódio. O tópico de hoje é um que você provavelmente já ouviu em reuniões ou artigos de tecnologia, o Microsoft Fabric. Mas se você é como a maioria das pessoas, não tem certeza absoluta que ele realmente é. Seria apenas mais um produto da Microsoft, uma nova marca de algo antigo ou algo completamente diferente? Deixe-me dar a resposta curta. O Microsoft Fabric não é apenas mais um produto. É uma plataforma de dados completa, um lugar onde você pode realizar todo o seu trabalho com dados, armazenamento, transformação, análise e relatórios, tudo em um só lugar. Tudo. Ao final deste episódio, você entenderá o que é o Fabric, porque a Microsoft o criou e como as peças principais se encaixam. Pegue seu café e vamos começar. O jeito antigo, porque os dados eram fragmentados. Para entender porque o Fabric existe, você precisa entender o problema que ele resolve. Há 20 anos, se você gerenciasse uma empresa, compraria um servidor para armazenar dados, uma ferramenta separada para gerar relatórios e ainda outro produto para análise em tempo real. Antes que percebesse, você teria 5 sistemas diferentes, cada um com seu login, seu modo de trabalho e sua própria equipe de gestão. Por muito tempo, os dados viveram em silo. Dados de vendas ficavam em um sistema, dados de clientes em outro e dados financeiros em outro lugar totalmente diferente. Se você quisesse fazer uma pergunta que cruzasse sistemas, como quais clientes compram os produtos mais lucrativos, precisaria mover os dados. Exportar o sistema, transformar, carregar em outro, então repetir tudo quando os dados mudassem. Gastava-se mais tempo movendo dados entre sistemas do que realmente analisando-os. A integração de dados tornou-se um trabalho de tempo integral para equipes. A pior parte era que, a cada vez que se movia os dados, criava outra cópia, outra versão da verdade, e logo ninguém sabia qual cópia era a correta. A Microsoft observou essa fragmentação e fez uma pergunta simples. E se todos esses serviços trabalhassem juntos? E se em vez de costurar produtos separados, você tivesse uma plataforma que fizesse tudo? Essa pergunta foi o que levou ao Microsoft Fabric. O que é, de fato, o Microsoft Fabric? Então, o que é o Fabric? E que está a definição mais simples? O Microsoft Fabric é uma plataforma unificada de dados e análise. O único lugar para todo o seu trabalho com dados. Pense nele como um edifício comercial moderno. Cada ferramenta, como o Power BI ou Azure Synapse, é uma sala dentro desse edifício. Elas têm seus próprios propósitos imobiliários e ferramentas, mas todas fazem parte da mesma estrutura. Você não precisa sair do prédio para ir de uma sala para outra. Elas são hectares. É isso que o Fabric faz. Ele reúne engenharia de dados, integração de dados, data warehousing, análise em tempo real, e inteligência de negócios em uma única plataforma. Tudo é executado em uma única plataforma SaaS, o que significa que não há infraestrutura separada para gerenciar, nem servidores para provisionar ou redes para configurar. A Microsoft cuida de tudo isso para você. Desde o seu lançamento em 2023, o Fabric se tornou o produto de dados de crescimento mais rápido na história da Microsoft. Hoje, mais de 25 mil clientes o utilizam, incluindo 80% das empresas da Fortune 500. É uma grande adoção em um período muito curto. A principal diferença é esta. No passado, você comprava produtos separados e tentava fazer com que eles se comunicassem. Com o Fabric, você não precisa mais costurar diferentes serviços. É uma experiência única, um login único, uma forma única de trabalhar. Isso muda tudo. One Lake, a fundação. Agora, vamos falar sobre a base que faz tudo isso funcionar. No coração do Fabric está algo chamado One Lake. A maneira mais fácil de pensar no One Lake é como um OneDrive para seus dados. Você sabe como o OneDrive oferece um local para armazenar todos os seus arquivos pessoais? Cada aplicativo no seu computador pode acessar esses arquivos. O One Lake faz a mesma coisa, mas para os dados da sua organização, veja o que o torna poderoso. Cada carga de trabalho do Fabric, seja um lake house, um warehousing, um job de análise em tempo real, armazena automaticamente seus dados no One Lake. Você não precisa copiar nada manualmente ou configurar conexões. Simplesmente acontece. E existe apenas um One Lake por tenant. Uma única fonte da verdade para toda a sua organização. Agora, você pode estar pensando, e se eu quiser mudar de plataforma mais tarde? Estarei preso lá. A resposta é não. O One Lake armazena dados em formatos abertos como o Delta Parquet, um formato padrão da indústria usado pelo Databricks e Apache Spark. Você nunca fica preso ao Microsoft. Se você quiser mover seus dados para outro lugar, você pode. Os dados são seus. Mas é aqui que o One Lake fica realmente interessante. Atalhos. Um atalho é um ponteiro virtual para dados que residem em outro lugar. Você pode criar um atalho para dados armazenados no AWS 3, Google Cloud ou até mesmo em armazenamento local, e eles aparecem no One Lake como se estivessem armazenados lá. Nenhum movimento de dados é necessário, nenhuma duplicação. Você apenas aponta para eles e eles aparecem. O One Lake é construído sobre o Agile Data Lake Storage, o armazenamento em nuvem de nível empresarial da Microsoft. Mas você não gerencia essa infraestrutura, pois tudo é tratado como um serviço SaaS. Você não provisiona servidores nem configura redes, você apenas usa. Isso significa para você. Significa que você pode ter dados de várias fontes, armazenamento em nuvem, bancos de dados locais e plataformas de terceiros. Tudo em um só lugar, sem duplicação. Verdadeiro puto. Qualquer dado gravado no One Lake pode ser usado por qualquer carga de trabalho do Fabric imediatamente. Você grava uma vez e todas as ferramentas do Fabric podem visualizar. Essa é a mágica do One Lake. Lake Houses, o Hub de Engenharia de Dados. Então você tem seus dados no One Lake. Agora você precisa trabalhar com eles. É aí que o Lake House entra. E que está a definição, mas sim. Um Lake House é um armazenamento de dados que combina a flexibilidade de um Data Lake com a estrutura de um banco de dados. Em um Data Lake tradicional, você pode armazenar qualquer coisa, arquivos CSV brutos, documentos JSON, imagens, vídeos, mas é bagunçado, sem estrutura ou esquema, então você não consegue consultar facilmente. Em um banco de dados tradicional, tudo é estruturado e consultável, mas você só pode armazenar certos tipos de dados. Um Lake House oferece os dois. Você pode manter arquivos brutos, como CSV, JSON, ou até imagens em um Lake House. E você também pode armazenar tabelas estruturadas que pode consultar com SQL. Ambos vivem no erro. Essas tabelas usam o formato Delta Parque, o mesmo formato aberto e rápido usado pelo Databricks e outras grandes plataformas, projetado para lidar com grandes volumes de dados. Lake Houses suportam múltiplas de ferramentas. Você pode usar Spark para processamento de dados em larga escala. Você pode usar Python para aprendizado em máquina. Você pode usar SQL para consulta é simples. Qualquer ferramenta que você preferir, o Lake House pode lidar. Pense no Lake House como seu espaço de trabalho para criar pipeline de dados. Você traz dados brutos, transforma, limpa e prepara para análise. Você pode executar modelos de aprendizado de máquina nele. Você pode criar conjuntos de dados de treinamento, tudo é um som. Para engenheiros de dados que preferem um ambiente amigável a código, os Lake Houses suportam notebook. São documentos interativos onde você escreve código, vê resultados e documenta seu trabalho como caderno de laboratório para dados. Você pode escrever código Spark em uma célula, ver a saída na próxima e explicar o que fez na célula seguinte. O Lake House é o ponto de entrada para a maioria dos engenheiros de dados que trabalham no Fabric. É onde o trabalho pesado acontece. E, como armazena tudo num Lake, qualquer dado que você coloque em um Lake House fica imediatamente disponível para todas as outras cargas de trabalho do Fabric nos warehouses. Mecanismo de análise SQL, mecanismo de análise SQL. Agora, se o Lake House é o hub de engenharia de dados, pense no Warehouse como um mecanismo de análise SQL criado por um tipo diferente de usuário. Um Warehouse no Fabric é um banco de dados de análise SQL totalmente gerenciado. Se você é um administrador de banco de dados do desenvolvedor SQL, quer que se sentirá em casa. Você pode escrever consultas T-SQL, criar views, store de procedimentos e políticas de segurança. Ele tem a aparência e a sensação de um Data Warehouse tradicional, mas eis o que o torna diferente. Diferente de um Data Warehouse tradicional, o Warehouse do Fabric armazena dados diretamente em um Lake. Não há camada de armazenamento separada, nem infraestrutura extra para gerenciar. Os dados residem em um Lake, e o Warehouse é apenas a interface que você usa para consultá-los. Isso é importante porque o Warehouse e o Lake House compartilham os mesmos dados, então você não duplica nada. Se o engenheiro de dados carrega dados em um Lake House, um desenvolvedor SQL pode consultá-los no Warehouse imediatamente, sem cópia e sem movimentações. São os mesmos dados acessados por ferramentas diferentes. O Warehouse foi criado para análises em grande escala. Por baixo dos panos, ele usa processamento paralelo massivo para lidar com um conjunto de dados gigante. E a Microsoft tem investido pesado em desempenho. Somente nos últimos seis meses, o desempenho melhorou em 36%. Isso é uma grande melhoria em pouco tempo. Se você está migrando de outra plataforma, o Fabric possui um assistente de migração que ajuda a sair do Snowflake ou Synapse. Ele analisa a sua configuração atual e orienta você durante o processo. O objetivo é tornar a migração o mais inúmero possível. Então, qual é a diferença entre um Lake House e um Warehouse? Tudo se resume em interface. Warehouses são focados em SQL. Eles são feitos para pessoas que pensam em termos de tabelas, consultas e story procedure. Lake Houses são focados no desenvolvedor. Eles são feitos para pessoas que querem usar Spark, Python e notebooks. Mas, no fundo, ambos armazenam dados em um Lake. São duas formas de trabalhar com os mesmos dados. Ingestão de dados, data factory, espelhamento e atalhos. Então, você tem um Lake para armazenamento, Lake Houses para transformação e Warehouses para consulta, mas, como os dados entram, é aí que o data factory entra em cena. O data factory é o serviço de integração de dados do Fabric e oferece mais de 200 conectores para extrair dados de bancos, nuvem, apps, SaaS e mais. É a ferramenta de integração de dados mais usada no mundo e por um bom motivo. Dentro do data factory, você obtém o data flows Gen2, que oferece uma forma no code de transformar dados usando o Power Query. Se você já usou o Power Query no Excel ou no Power BI e já conhece o caminho, você clica em uma interface visual para limpar, remodelar e combinar dados. Sem necessidade de codificação e é de nível empresarial escalável para lidar com um conjunto de dados macios. Mais de 22 bilhões de orquestrações são executadas no data factory todos os meses, o que significa que bilhões de movimentações de dados ocorrem automaticamente, tornando uma infraestrutura de peso. Mas existe uma maneira ainda mais simples de levar dados para o One Lake, o espelhamento. O espelhamento copia dados de bancos externos, como Azure SQL, Oracle ou Google BigQuery, para o One Lake quase em tempo real, e aqui está a melhor parte. É gratuito e incluído no serviço sem custo adicional. E o Fé apenas aponta para o seu banco de dados de origem e o fábrica do resto. Depois há os atalhos que mencionamos anteriormente, mas eles merecem mais atenção. Atalhos são ponteiros virtuais para dados armazenados em outro lugar, sem exigir movimentação de dados. Você cria um atalho para um bucket do AWS S3, e ele aparece no One Lake como se estivesse armazenado lá, enquanto os dados permanecem onde estão. Você está apenas para ele. E agora os atalhos podem fazer mais do que apenas apontar. As transformações de atalho permitem aplicar processamento via IA em tempo real. Você pode executar análise de sentimento em textos, traduzir conteúdo ou detectar informações de identificação pessoal, tudo sem mover dados ou criar um pipeline. A transformação acontece à medida que você assusta. O objetivo de todas essas ferramentas é simples. Levar todos os seus dados para o One Lake sem criar pipelines complexos. Seja usando o Data Factory para ETL tradicional, espelhamento para replicação quase em tempo real ou atalhos para acesso virtual, o resultado é o mesmo. Seus dados acabam no One Lake, prontos para qualquer carga de trabalho do fábrica. Inteligência em tempo real, banco de dados e IA. Até agora, falamos sobre mover e armazenar dados, mas e quanto aos dados que nunca param de se mover? Dados de streaming de sensores IoT, fluxo de cliques em sites, telemetria de dispositivos. É aí que entra a inteligência em tempo real. O fábrica gerencia dados de streaming por meio de algo chamado Event House que armazena e consulta dados de séries temporais de alto volume usando KQL, Acoustic Query Language. É o mesmo motor que alimenta o Azure Data Explorer feito para velocidade, para que você possa ingerir milhões de eventos por segundo e consultá-los em milissegundos. Isso é importante e aqui está o porquê. 46% dos clientes do fábrica já usam inteligência em tempo real. Isso é quase metade. Os casos de uso estão por toda hora. Uma empresa de logística rastreando caminhões de entrega, um varejista monitorando o fluxo de pessoas na loja, um fabricante observando dados de sensores e equipamentos fábricos, tudo acontecendo em tempo real. Mas o fábrica não trata apenas Janan. Ele também inclui bancos de dados operacionais, como o Banco SQL para dados relacionais e o Cosmos DB para carga de trabalho no SQL. São os mesmos bancos de dados que você usaria para executar suas aplicações. E como eles são integrados ao fábrica, eles armazenam automaticamente seus dados no One Lake. Sem pipelines extra, sem cópia manual. Seus dados transacionais e dados analíticos vivem no mesmo lugar. Ora, vamos falar sobre IA, porque é aqui que o fábrica se torna realmente interessante. A integração com IA é profunda em toda a plataforma. Você obtém modelos pré-criados para análise de texto, tradução e análise de sentimento. Você pode usá-los diretamente em seus fluxos de dados sem escrever em código. Basta apontar para seus dados, selecionar o modelo e é executado. E ainda tem o Copilot, que está integrado em todo o fábrica. Ele ajuda você a escrever consultas, criar relatórios e criar pipelines. Você apenas descreve o que deseja em linguagem simples. E o Copilot gera o código. É como ter um engenheiro de dados júnior sentado ao seu lado pronto para ajudar a qualquer momento. A visão aqui é simples. A IA trabalha em seus dados sem movê-los para lugar nenhum. Seus dados permanecem no One Lake e os modelos de IA vêm até os dados. Sem cópia, sem exportações, sem riscos de segurança, os dados nunca deixam o seu ambiente governado. Agora, chegamos à parte que a maioria das pessoas realmente vê, a porta de entrada para Insights, o Power BI. Ele é usado por 550 mil organizações e 34 milhões de usuários todos os meses, tornando a ferramenta de inteligência de negócios mais usada no mundo. No fábrica, ele se torna algo ainda mais poderoso. Aqui está o segredo. No fábrica, o Power BI se conecta diretamente ao One Lake usando algo chamado modo Direct Lake. Isso é diferente do modo de importação tradicional onde você copia dados para armazenamento interno do Power BI. Em vez disso, o Direct Lake consulta os dados onde eles estão no One Lake, sem necessidade de atualização, sem duplicação, sem duplicação, e os dados são sempre atualizados extremamente rápido. Sob cada relatório do Power BI, existe um modelo semântico cérebro do seu relatório, onde você define lógica de negócios, medidas e relacionamentos. E agora você pode criar esses modelos inteiramente em um navegador da web. A modelagem na web está disponível para todos, então você pode criar um modelo semântico, construir relacionamentos, escrever medidas DAX tudo a partir do navegador, até mesmo no Mac. Nenhum aplicativo é necessário. Mas todo esse poder de dados não significa nada sem governança. E o Fabric tem governança integrada desde o início. O Microsoft Purview fornece rótulos de sensibilidade que seguem seus dados em todos os lugares. Se um relatório, quando tiver informações confidenciais, esse rótulo permanece com ele mesmo quando exportado. Políticas de prevenção contra a perda de dados detectam automaticamente dados confidenciais e bloqueiam o compartilhamento não autorizado. E os controles de acesso garantem que apenas as pessoas certas vejam os dados certos. Os domínios ajudam você a organizar os dados por área de negócio com regras de governança separadas para que seus dados financeiros possam ter controles mais rigorosos do que seus dados de marketing. Cada domínio pode ser gerenciado por sua própria equipe criando uma governança que escala com sua organização. Agora vamos falar de resultados reais. Isso não é apenas teoria. A Aceman Chemical usou o Fabric para reduzir o tempo de preparação de vendas em 83%. Levava 4 horas agora, dava cerca de 40 minutos. A Eton Solutions cortou o esforço manual em 75% com processos que exigiam de 10 a 15 etapas agora levando duas. E a Sonata Software economizou 30 mil horas de reconciliação manual por ano redirecionando esse esforço humano para trabalhos de maior valor. O modelo de custo é direto. Você paga pela capacidade, o poder computacional que executa suas cargas de trabalho. Microsoft tem suavização e proteção contra picos integrados para gerenciar. A suavização espalha o custo das operações em segundo plano por 24 horas para evitar picos repentinos. E a proteção limita tarefas de fundo em períodos movimentados para manter o desempenho estável. E... Você paga pelo que usa e não tem surpresas. Vamos resumir tudo isso. O Fabric não é apenas mais um produto da Microsoft. É um repensar completo de como as plataformas de dados devem funcionar. Uma plataforma, um lake, uma cópia de dados e infinitas possibilidades. E com IEcoPilot integrados é acessível a todos. Não apenas profissionais de dados, mas analistas de negócios, equipes de venda, gerentes de operações, qualquer um que precise de operações, qualquer um que precise de respostas dos dados. Aqui está sua tarefa de casa. Acesse fabric.microsoft.com Inicie uma avaliação gratuita e crie seu primeiro workspace. PNM. Você verá como as peças se encaixam de uma forma que nenhuma leitura pode substituir. Se este episódio ajudou você a entender melhor o Fabric, inscreva-se em sua plataforma de podcast favorita e compartilhe com alguém que está começando sua jornada de dados. Eles vão te agradecer. Na próxima, vamos explicar os atalhos do One Lake de forma simples. Como funcionam, porque são importantes e como usá-los sem mover dados de lugar. Este você não vai querer perder. Até lá, continue aprendendo.