또 다른 에피소드에 오신 것을 환영합니다.오늘의 주제는 회의나 기술 관련 기사에서 아마 들어보셨을 마이크로소프트 패브릭입니다.하지만 대부분의 사람들과 마찬가지로 이것이 정확히 무엇인지 잘 모르실 겁니다.그저 또 하나의 마이크로소프트 제품일까요?기존 제품의 리브랜딩일까요?아니면 완전히 다른 것일까요?짧게 답변해드리겠습니다.마이크로소프트 패브릭은 단순한 제품이 아닙니다.데이터 저장, 변환, 분석, 보고 등 모든 데이터 작업을 한 곳에서 수행할 수 있는 완벽한 데이터 플랫폼입니다.이번 에피소드가 끝날 때 쯤이면 여러분은 패브릭이 무엇인지,마이크로소프트가 왜 이를 만들었는지, 그리고 주요 구성 요소들이 어떻게 결합되는지 이해하게 될 것입니다.커피 한 잔 들고 바로 시작해보죠.과거의 방식, 데이터가 단절되었던 이유, 패브릭이 왜 존재하는지 이해하려면 그것이 해결하는 문제를 먼저 알아야 합니다. 20년 전만 해도 회사를 운영하려면 데이터 저장용 서버, 보고서 작성용 도구, 실시간 분석용 제품을 각각 따로 구매해야 했습니다.어느새 로그인 방식도, 작업 방식도, 관리팀도 제각각인 5개의 서로 다른 시스템을 갖게 되죠.오랫동안 데이터는 사일로, 사일로 애가 쳐 있었습니다.판매 데이터는 한 시스템에, 고객 데이터는 다른 시스템에, 재무 데이터는 또 다른 곳에 따로 있었죠.가장 수익성 높은 제품을 구매하는 고객이 누구인지처럼 여러 시스템을 아우르는 질문을 던지려면 데이터를 여기저기로 옮겨야 했습니다.한 시스템에서 내보내고, 변환하고, 다른 시스템으로 불러오고, 데이터가 바뀌면 이 과정을 다시 반복해야 했죠.실제 분석보다 데이터를 시스템 간에 옮기는데 더 많은 시간을 쏟아야 했습니다.데이터 통합은 전체 팀이 매달려야 하는 풀타임 업무가 되었습니다.가장 최악은 데이터를 옮길 때마다 데이터 복사본이 생겨나면서, 진실의 버전 이 여러 개가 되어 곧 무엇이 정답인지 아무도 알 수 없게 된 점입니다. 마이크로소프트는 이러한 파편화를 목격하고 간단한 질문을 던졌습니다.이 모든 서비스가 함께 작동한다면 어떨까?서로 다른 제품들을 이어붙이는 대신 모든 기능을 갖춘 하나의 플랫폼이 있다면 어떨까?그 질문이 바로 마이크로소프트 패브릭을 탄생시켰습니다.마이크로소프트 패브릭이란 무엇인가?그렇다면 패브릭은 무엇일까요?가장 간단한 정의는 이렇습니다.마이크로소프트 패브릭은 통합 데이터 및 분석 플랫폼입니다.모든 데이터 작업을 위한 하나의 공간이죠.현대적인 사무용 건물을 생각해보세요.파워비아이, 나이저, 시냅스 같은 각 도구는 그 건물 안에 방과 같습니다.저마다의 목적과 가구, 도구를 갖추고 있지만 모두 같은 구조의 일부인 것이죠.한 방에서 다른 방으로 이동하기 위해 밖으로 나갈 필요가 없습니다.모두 연결되어 있으니까요.패브릭은 바로 그런 일을 합니다.데이터 엔지니어링, 데이터 통합, 데이터 웨어 하우징, 실시간 분석 및 비즈니스 인텔리저스를 하나의 플랫폼으로 통합합니다.모든 것이 단일 세스 플랫폼에서 실행되므로 별도로 관리할 인프라나 프로비저닝할 서버, 구성할 네트워킹이 필요하지 않습니다.마이크로소프트 가히 모든 것을 대신 처리해드립니다. 2023년 출시 이후 패브릭은 마이크로소프트 역사상 가장 빠르게 성장하는 데이터 제품이 되었습니다.현재 포춘 500대 기업의 80%를 포함하여 2만 5천 개 이상의 고객이 사용하고 있습니다.매우 짧은 시간 안에 놀라운 채택률을 기록한 것입니다.핵심적인 차이점은 이렇습니다.과거에는 별도의 제품을 구매하여 서로 연결해야 했습니다.패브릭을 사용하면 더 이상 서로 다른 서비스를 일일이 엮을 필요가 없습니다.하나의 경험, 하나의 로그인, 하나의 작업 방식으로 모든 것이 달라집니다.기반이 되는 원 레이크.이제 이 모든 것을 가능하게 하는 기반에 대해 이야기해보겠습니다.패브릭 위 중심에는 원 레이크라고 불리는 것이 있습니다. 원 레이크를 가장 쉽게 이해하는 방법은 데이터용 온드라이브라고 생각하는 것입니다.온드라이브를 사용하면 모든 개인 파일을 한 곳에 저장하고컴퓨터의 모든 앱이 해당 파일에 액세스할 수 있다는 점을 아실 겁니다.원 레이크는 조직의 데이터를 위해 똑같은 일을 수행합니다.이것이 강력한 이유는 다음과 같습니다.레이크 하우스든, 웨어 하우스든, 실시간 분석 작업이든 모든 패브릭 워크로드는데이터를 원 레이크에 자동으로 저장합니다.수동으로 복사하거나 연결을 구성할 필요가 없습니다.그냥 자동으로 처리됩니다.또한 테넌트당 하나의 원 레이크만 존재하며이는 조직 전체의 단일 진실 공급원 역할을 합니다.이제 나중에 플랫폼을 바꾸고 싶으면 어떡하지?라는 생각이 드실 수도 있습니다.종속되는 것은 아닐까요? 밥은 아니요입니다.원 레이크는 데이터브릭스와 아파치 스파크에서 사용하는업계 표준 형식인 델타 파켓과 같은 개방형 형식으로 데이터를 저장합니다.마이크로소프트에 종속되지 않습니다.데이터를 다른 곳으로 옮기고 싶다면 언제든 옮길 수 있습니다.데이터는 고객님의 것이니까요.하지만 원 레이크가 정말 흥미로운 지점은 바로 바로가기, 쇼컷, 기능입니다.바로가기는 다른 곳에 있는 데이터를 가리키는 가상 포인터입니다. AWS S3, 구글 클라우드 또는 온 프레미스 스토리지에 저장된 데이터에 대한 바로가기를 만들면마치 원 레이크에 저장된 것처럼 표시됩니다.데이터 이동이나 중복이 전혀 필요 없습니다.그저 가리키기만 하면 나타납니다.원 레이크는 마이크로소프트 위 엔터프라이즈급 클라우드 스토리지인네이저 데이터 레이크 스토리지를 기반으로 구축되었지만세스 서비스로 처리되므로 인프라를 직접 관리할 필요가 없습니다.서버를 프로비저닝하거나 네트워크를 구성할 필요 없이 그저 사용하기만 하면 됩니다.이것이 여러분에게 어떤 의미일까요?다양한 소스, 클라우드 스토리지, 온 프레미스 데이터베이스,타사 플랫폼의 데이터를 중복 없이 한 곳에서 볼 수 있다는 뜻입니다. 그렇다면 진정한 강점은 무엇일까요?원 레이크에 기록된 모든 데이터는 모든 패브릭 워크로드에서 즉시 사용할 수 있습니다.한 번만 기록하면 패브릭 위 모든 도구에서 해당 데이터를 확인할 수 있습니다.그것이 바로 원 레이크 위 마법입니다.데이터 엔지니어링의 중심, 레이크하우스, 레이크하우스, 이제 데이터를 원 레이크에 담았습니다.그 다음은 데이터를 활용할 자례입니다.그때 바로 레이크하우스가 필요합니다.가장 간단하게 정의해보겠습니다.레이크하우스는 데이터 레이크의 유연성과 데이터베이스의 구조적 이점을 결합한 데이터 저장소입니다.전통적인 데이터 레이크에는 원시 csv 파일, json 문서, 이미지, 동영상 파일 등 무엇이든 저장할 수 있지만구조나 스키마가 없어 정리가 안 되므로 쉽게 커리하기 어렵습니다.전통적인 데이터베이스는 모든 것이 구조화되어 있어 커리가 가능하지만특정 유형의 데이터만 저장할 수 있습니다.레이크하우스는 이 두 가지를 모두 제공합니다.레이크하우스에는 csv, json 같은 원시 파일이나 이미지까지 저장할 수 있습니다.또한 sql 로컬이 할 수 있는 구조화된 테이블도 저장할 수 있습니다.이 둘은 같은 장소에 존재합니다.이 테이블들은 대규모 데이터를 처리하도록 설계된 데이터브릭스 및 기타 주요 플랫폼에서 사용하는 것과동일한 개방형 고속 형식인 델타 파켓 형식을 사용합니다.레이크하우스는 여러 도구를 지원합니다.대규모 데이터 처리를 위해 스파크를 사용할 수 있습니다.머신 러닝을 위해 파이썬을 사용할 수 있습니다.간단한 커리를 위해 sql을 사용할 수 있습니다.어떤 도구를 선호하든 레이크하우스는 모두 처리할 수 있습니다.레이크하우스를 데이터 파이프라인 구축을 위한 작업 공간으로 생각하십시오.원시 데이터를 가져와 변환하고 정제하며 분석을 준비합니다.데이터를 활용해 머신 러닝 모델을 실행할 수도 있습니다. 학습용 데이터 세트를 모두 한 곳에서 만들 수 있습니다.코드 친화적 인 환경을 선호하는 데이터 엔지니어를 위해 레이크하우스는 노트북을 지원합니다.이는 데이터를 위한 실험 노트처럼 코드를 작성하고 결과를 확인하며 작업을 문서화할 수 있는 대화형 문서입니다.한 셀의 스파크 코드를 작성하고 다음 셀에서 출력을 확인한 다음 그 뒤 셀에서 수행한 작업을 설명할 수 있습니다.레이크하우스는 패브릭에서 작업하는 대부분의 데이터 엔지니어에게 진입점 역할을 합니다.가장 중요한 작업이 여기서 이루어지며 모든 것을 하나의 레이크에 저장하기 때문에 레이크하우스에 넣은 데이터는 sql 분석 엔진인 웨어하우스의 다른 모든 패브릭 워크로드에서 즉시 사용할 수 있습니다.이제 레이크하우스가 데이터 엔지니어링의 중심이라면 웨어하우스는 다른 유형의 사용자를 위해 구축된 sql 분석 엔진이라고 생각하면 됩니다.패브릭 위 웨어하우스는 완전히 관리되는 sql 분석 데이터베이스입니다.데이터베이스 관리자나 sql 개발자라면 이곳이 매우 친숙하게 느껴질 것입니다. tsql 쿼리를 작성하고 뷰와 저장 프로시저 보안 정책을 생성할 수 있습니다.기존의 데이터 웨어하우스와 비슷해 보이지만 차별점은 분명합니다.기존 데이터 웨어하우스와 달리 패브릭 위 웨어하우스는 데이터를 원 레이크, 온 레이크에 직접 저장합니다.별도의 스토리지 계층도 관리해야 할 추가 인프라도 없습니다.데이터는 원 레이크에 존재하며 웨어하우스는 이를 커리하기 위한 인터페이스일 뿐입니다.이는 웨어하우스와 레이크하우스가 동일한 데이터를 공유하여 데이터 중복이 발생하지 않음을 의미합니다.데이터 엔지니어가 레이크하우스에 데이터를 로드하면 sql 개발자는 즉시 웨어하우스에서 이를 커리할 수 있습니다.복사나 이동은 필요 없습니다.서로 다른 도구를 통해 동일한 데이터에 접근하는 방식입니다. 웨어하우스는 대규모 분석을 위해 설계되었습니다.내부적으로는 대규모 병렬 처리, mpp를 사용하여 거대한 데이터 세트를 처리합니다.또한 마이크로소프트는 성능 향상에 막대한 투자를 해왔습니다.지난 6개월 동안에만 성능이 36% 향상되었습니다.짧은 기간 동안 놀라운 개선이 이루어진 것입니다.다른 플랫폼에서 마이그레이션 하는 경우 스노우플레이크 나시냅스에서 이동을 돕는 마이그레이션 도우미가 제공됩니다.이 도구는 기존 설정을 분석하고 전체 과정을 안내합니다.마이그레이션을 최대한 원활하게 만드는 것이 목표입니다.그렇다면 레이크하우스와 웨어하우스의 차이점은 무엇일까요?핵심은 인터페이스에 있습니다.웨어하우스는 sql 우선 환경입니다.테이블, 커리, 저장 프로시저 관점에서 생각하는 사람들을 위해 구축되었습니다.레이크하우스는 개발자 우선 환경입니다.스파크, 파이썬, 노트북 사용을 선호하는 사람들을 위해 설계되었습니다.하지만 기반에서는 두 방식 모두 원 레이크의 데이터를 저장합니다.동일한 데이터를 다루는 두 가지 방식일 뿐입니다.데이터 수집에는 데이터 팩토리, 미러링, 바로가기가 활용됩니다.스토리지에는 원 레이크, 변환에는 레이크하우스, 커리에는 웨어하우스를 사용하는데 데이터는 실제로 어떻게 들어올까요?그 역할을 데이터 팩토리가 수행합니다.데이터 팩토리는 패브릭의 내장 데이터 통합 서비스로 200개 이상의 커넥터를 통해 데이터베이스, 클라우드 스토리지, 세스앱 등에서 데이터를 가져옵니다.세계에서 가장 많이 사용되는 데이터 통합 도구인데는 그만한 이유가 있습니다.데이터 팩토리 내의 데이터 플로우즈 인투를 사용하면 파워커리, 파워커리를 통해 코딩 없이 데이터를 변환할 수 있습니다.엑셀이나 파워BI에서 파워커리를 사용해보셨다면 이미 익숙하실 겁니다.시각적 인터페이스를 클릭하는 것만으로 데이터를 정리하고, 변형하고, 결합할 수 있습니다. 코딩은 필요 없으며, 대규모 데이터 세트도 처리할 수 있는 엔터프라이즈급 확장성을 갖추고 있습니다.매달 데이터 팩토리에서 220억 건이 넘는 오케스트레이션이 실행되며,이는 수십억 건의 데이터 이동이 자동으로 이루어지고 있음을 의미하는 중요한 인프라입니다.하지만 데이터를 온레이크로 가져오는 훨씬 더 간단한 방법인 미러링이 있습니다.미러링은 에이저, SQL, 오라클, 구글 비그커리와 같은 외부 데이터베이스의 데이터를 실시간에 가깝게 온레이크로 복사하는데,가장 좋은 점은 다음과 같습니다.무료이며, 추가 비용 없이 서비스에 포함되어 있습니다.소스 데이터베이스를 지정하기만 하면 나머지는 패브릭이 알아서 처리합니다.다음으로 앞서 언급했던 바로가기, 쇼컷츠, 가 있는데, 이는 더 주목할 가치가 있습니다.바로가기는 다른 곳에 저장된 데이터를 가리키는 가상포인터로 데이터 이동이 필요하지 않습니다. AWS S3 버킷에 대한 바로가기를 만들면 데이터는 그대로 유지되면서도 마치 온레이크에 저장된 것처럼 표시됩니다.단지 그것을 가리키고 있을 뿐입니다.이제 바로가기는 단순히 가리키는 것 이상의 기능을 수행할 수 있습니다.바로가기 변환, 쇼컷 트랜스폼즈를 사용하면 AI 기반 변환을 즉석에서 적용할 수 있습니다.데이터를 이동하거나 파이프라인을 구축할 필요 없이 텍스트 데이터에 대한 감정 분석, 콘텐츠 번역, 개인식별 정보 탐지 등을 수행할 수 있습니다.변환은 데이터에 액세스하는 즉시 이루어집니다.이 모든 도구의 목표는 간단합니다.복잡한 파이프라인을 구축하지 않고도 모든 데이터를 온레이크로 가져오는 것입니다.기존 ETL을 위해 데이터 팩토리를 사용하든, 실시간 복제를 위해 미러링을 사용하든, 가상 액세스를 위해 바로가기를 사용하든 결과는 같습니다.데이터는 결국 온레이크에 저장되어 모든 패브릭 워크로드에 사용할 준비가 완료됩니다. 실시간 인텔리전스, 데이터베이스, 그리고 AI까지 말이죠.지금까지는 데이터를 이동하고 저장하는 것에 대해 이야기했지만 멈추지 않고 흐르는 데이터는 어떨까요? IoT 센서에서 발생하는 스트리밍 데이터, 웹사이트 클릭 스트림, 기기 원격 측정 데이터 등입니다.바로 이때 실시간 인텔리전스가 필요합니다.패브릭은 이벤트 하우스, 이벤트 하우스라는 기능을 통해 스트리밍 데이터를 처리하며,코스트 커리 언어인 KQL을 사용하여 대량의 시계열 데이터를 저장하고 커리합니다.에이저 데이터 익스플로어를 구동하는 것과 동일한 엔진으로 속도를 위해 구축되었으므로,초당 수백만 개의 이벤트를 수집하고 밀리초 단위로 커리할 수 있습니다.이것은 중요하며, 이유는 다음과 같습니다.패브릭 고객의 46%가 이미 실시간 인텔리전스를 사용하고 있습니다.거의 절반에 달하는 수치입니다.사용 사례는 어디에나 있습니다.배송 트럭을 추적하는 물류회사, 내장 방문객 수를 모니터링하는 소매업체,공장 장비의 센서 데이터를 관찰하는 제조업체 등 모든 것이 실시간으로 이루어집니다.하지만 패브릭은 분석만을 위한 것이 아닙니다.관계형 데이터를 위한 SQL 데이터베이스와 노SQL 워크로드를 위한 코스모스 DB와 같은 운영 데이터베이스도 포함되어 있습니다.이들은 애플리케이션 실행에 사용하는 것과 동일한 데이터베이스입니다.또한 패브릭에 내장되어 있기 때문에 데이터를 온레이크에 자동으로 저장합니다.추가 파이프라인이나 수동 복사 작업이 필요 없습니다.트랜잭션 데이터와 분석 데이터를 같은 공간에 보관합니다.이제 AI에 대해 이야기해보겠습니다.바로 이 지점에서 패브릭이 매우 흥미로워지니까요. AI 통합은 플랫폼 전반에 깊숙이 자리잡고 있으며 텍스트 분석, 번역, 감정 분석을 위한 사전 구축 모델을 제공합니다.코드를 작성할 필요 없이 데이터 흐름에 바로 사용할 수 있습니다. 데이터를 지정하고 모델을 선택하기만 하면 바로 실행됩니다.또한 패브릭 전체에 내장된 코파일럿이 있습니다.커리를 작성하고 보고서를 구축하며 파이프라인을 생성하도록 도와줍니다.원하는 내용을 평문 영어로 설명하기만 하면 코파일럿 이 코드를 생성합니다.마치 주니어 데이터 엔지니어가 옆에 앉아 언제든 도움을 줄 준비가 된 것과 같습니다.여기에 담긴 비전은 단순합니다. AI는 데이터를 이동하지 않고도 데이터 위에서 작업합니다.데이터는 온레이크에 그대로 머물고 AI 모델이 데이터가 있는 곳으로 찾아갑니다.복사나 내보내기가 필요 없어 보안 위험도 없습니다.데이터는 관리되는 환경을 절대 벗어나지 않습니다.파워 BI, 거버넌스, 그리고 비즈니스 가치입니다.이제 많은 사람이 실제로 접하는 인사이트의 관문인 파워 BI를 살펴보겠습니다.매달 55만 개의 조직과 3,400만 명의 사용자가 사용하는 세계에서 가장 널리 쓰이는 비즈니스 인텔리전스 도구입니다.그리고 패브릭 안에서 파워 BI는 더욱 강력한 도구가 됩니다.핵심은 다음과 같습니다.패브릭에서 파워 BI는 다이렉트 레이크 모드라는 기술을 사용하여 온레이크에 직접 연결됩니다.이는 데이터를 파워 BI 내부 저장소로 복사하던 기존에 가져오기 모드와는 다릅니다.대신 다이렉트 레이크는 온레이크에 있는 데이터를 직접 커리함으로 새로 고침이나 중복이 필요 없고 데이터는 항상 최신 상태로 매우 빠르게 유지됩니다.모든 파워 BI 보고서 이면에는 보고서의 두뇌 역할을 하며 비즈니스 로직, 측정값, 관계를 정의하는 의미모델이 있습니다.이제 이러한 모델을 웹 브라우저에서 완전히 구축할 수 있습니다.웹 모델링이 정식 출시되어 이제 맥에서도 브라우저만으로 의미모델을 생성하고 관계를 구축하며 DAX 측정값을 작성할 수 있습니다.데스크톱 웹이 필요 없습니다.하지만 거버넌스 없는 데이터 파워는 무의미하며 패브릭은 처음부터 거버넌스가 내장되어 있습니다. 마이크로소프트 퍼뷰는 데이터가 어디에 있든 따라다니는 민감도 레이블을 제공합니다.보고서에 민감한 정보가 포함된 경우 내보내기를 해도 해당 레이블은 유지됩니다.데이터 손실방지 정책은 민감한 데이터를 자동으로 감지하고 무단 공유를 차단합니다.또한 액세스 제어를 통해 적절한 사람만 적절한 데이터를 볼 수 있도록 보장합니다.도메인을 사용하면 비즈니스 영역별로 데이터를 구성하고 별도의 거버넌스 규칙을 적용할 수 있어 재무데이터의 마케팅 데이터보다 더 엄격한 제어를 적용할 수 있습니다.각 도메인을 개별팀이 관리할 수 있어 조직의 규모에 맞춰 거버넌스를 확장할 수 있습니다.이제 실제 성과에 대해 이야기해보겠습니다.단순한 이론이 아닙니다.이스트맨 케미컬은 패브릭을 사용하여 판매 준비 시간을 83% 단축했습니다. 4시간 걸리던 작업이 이제 약 40분이면 완료됩니다.이튼 솔루션즈는 수동 작업을 75% 줄렸으며 10에서 15단계가 필요했던 프로세스가 이제 2단계로 단축되었습니다.소나타 소프트웨어는 매년 3만 시간의 수동 조정 작업을 절감하여 해당 인력을 더 가치 있는 업무에 재배치했습니다.비용 모델은 매우 간단합니다.워크로드를 실행하는 컴퓨팅 파워인 용량, 캐퍼시티에 대해서만 비용을 지불하면 됩니다.마이크로소프트는 피크타임을 관리하기 위해 스무딩, 스무딩 및 서지 보호, 서지 프로텍션 기능을 내장했습니다.스무딩은 백그라운드 작업 비용을 24시간에 걸쳐 분산하여 갑작스러운 비용 급증을 방지하고,서지 보호는 사용량이 많을 때 백그라운드 작업을 제한하여 대화형 성능을 안정적으로 유지합니다.사용한 만큼만 비용을 지불함으로 예상치 못한 청구서에 놀랄 일이 없습니다.전체 내용을 정리해보겠습니다.패브릭은 단순한 마이크로소프트 제품 그 이상입니다.데이터 플랫폼이 작동하는 방식에 대한 완전히 새로운 접근 방식입니다.하나의 플랫폼, 하나의 레이크, 하나의 데이터 복사본으로 무한한 가능성을 제공합니다. AI와 코파일럿이 내장되어 있어 누구나 쉽게 접근할 수 있습니다.데이터 전문가 뿐만 아니라 비즈니스 분석가, 영업팀, 운영관리자 등 데이터에서 해답을 찾아야 하는 모든 사람을 위한 것입니다.이제 여러분의 숙제입니다.패브릭 바뎌ICROSOFT닷컴에 접속하여 무료체험을 시작하고 첫 번째 작업 영역을 만들어보세요.직접 시도해보세요.글로 읽는 것과는 비교할 수 없을 만큼 모든 구성요소가 어떻게 조화를 이루는지 직접 확인하게 될 것입니다.이번 에피소드가 패브릭을 이해하는 데 도움이 되었다면 즐겨 사용하는 팟캐스트 플랫폼에서 구독하고 데이터 여정을 시작하는 분들께 공유해주세요.그들도 분명 고마워할 것입니다.다음 시간에는 온레이크 바로가기에 대해 쉽게 설명해드리겠습니다.바로가기가 작동하는 방식과 중요성, 그리고 데이터를 이동하지 않고 활용하는 방법을 다룰 예정입니다.절대 놓치지 마세요.