Microsoft Fabric의 정체성 위기는 끝났다: 플랫폼이 성숙해지다
By Mirko Peters ·
큰 기술 업데이트인지는 시간 가는 줄 모르다가 어느새 새벽 2시가 되고, 커피는 식어 있고, Fabric 탭이 다섯 개나 열려 있을 때 알 수 있습니다…
Automatically translated with AI from the original post. Read the English original
큰 기술 업데이트라는 것은 시간 가는 줄 모르다가 어느새 새벽 2시가 되고, 커피는 식어 있고, Fabric 탭이 다섯 개나 열려 있을 때 알 수 있습니다. 지난 화요일의 제가 바로 그랬습니다. Microsoft Fabric의 최신 업데이트에 담긴 새 기능을 하나하나 파고들고 있었죠. 일반적인 기능 목록 대신, 이 글에서는 제가 겪은 시행착오, 실제로 얻은 이점, 그리고 Fabric의 최신 도약을 파헤치며 우연히 얻은 통찰을 나누려 합니다. 기대, 회의론, 그리고 카페인으로 인한 떨림이 함께할 예정이니 준비하십시오.
Fabric의 정체성 위기? 플랫폼이 드디어 성숙해지다
Microsoft Fabric 초기 시절이 기억납니다. 자기 자리를 찾으려고 애쓰는 사춘기 청소년 같았습니다. 유망하지만 서로 연결되지 않은 도구들의 모음이었고, 일관된 정체성이 없었습니다.
흩어진 부품에서 하나의 통합된 전체로
이번 최신 업데이트는 다르게 느껴집니다. 정말로 다릅니다. 여러 해 동안 Fabric이 조금씩 발전하는 모습을 지켜봐 왔는데, 이제야 Microsoft가 늘 약속했던 모습으로 플랫폼이 성숙해지는 것이 보입니다.
"지금 우리가 보고 있는 것은 단순한 점진적 개발이 아닙니다. 엔터프라이즈 데이터 전략의 핵심 축으로 자리매김하려는 플랫폼의 성숙을 목격하고 있는 것입니다."
과장이 아닙니다. 따로 놀던 도구 모음에서 통합 생태계로 나아가는 흐름은 인상적입니다. 이제 기능들은 나란히 존재하는 데 그치지 않고, 여러 분야에 걸친 워크플로를 의도적으로 지원합니다.
역사적 맥락
우리가 여기까지 오게 된 과정은 어땠을까요? 돌이켜 보면 씨앗은 몇 년 전 Microsoft가 Power BI와 Synapse 개념을 잇기 시작했을 때 뿌려졌습니다. 조심스러운 통합으로 시작된 것이 이제 "플랫폼 일관성"이라고 부르는 방향으로 가속화되었습니다. 솔직히 말하면 늦은 감이 있지만, 반가운 변화입니다.
스프레드시트 대치 사태
이 이야기는 저에게 특히 와닿습니다. 작년에 제 Spark 엔지니어링 팀과 BI 분석가들이 이제는 "대규모 스프레드시트 대치 사태"라고 부르는 상황을 겪었습니다. 시스템 간 데이터 불일치를 맞추느라 무려 3일을 보냈습니다.
이유는 다음과 같았습니다.
- 한 곳에 있는 데이터 웨어하우스
- 다른 어딘가에 떠 있던 데이터 레이크
- 여기저기 흩어진 권한 규칙
- 통합된 단일 진실 공급원이 없었습니다
오늘날의 Fabric이라면 그 3일간의 악몽은 30분짜리 모임으로 끝났을 겁니다. 어쩌면 그보다 더 짧았을지도 모릅니다.
엔터프라이즈 이론에서 운영 현실로
제가 가장 인상 깊게 본 것은 기능의 개수(상당히 많긴 하지만)만이 아닙니다. 그 기능들 뒤에 있는 의도성입니다. Microsoft는 엔터프라이즈 사용자의 목소리를 분명히 듣고 있으며, 거버넌스, 개발자 속도, 배포 안전성, 팀 간 협업의 문제를 동시에 해결하고 있습니다.
엔터프라이즈 준비 상태는 더 이상 먼 훗날의 약속이 아니라 운영 현실입니다.
엔터프라이즈 데이터 시스템의 파편화와 씨름하며 10년 넘게 보낸 제게, 이런 융합은 반갑습니다. DevOps, 데이터 엔지니어링, 분석, ML 같은 분야들은 역사적으로 별도의 도구, 파이프라인, 심지어 문화를 유지해 왔습니다.
이제 Fabric은 이 영역들이 단순히 공존하는 데 그치지 않고 네이티브하게 협업하는 공유 캔버스를 마침내 구축하고 있습니다.
정체성 위기는 끝난 것으로 보입니다. Microsoft Fabric은 성숙해졌습니다.
Variable Libraries: 구성 혼란의 종말 (그리고 그 밖의 작은 기적들)
세상에. 여러 파일에 흩어진 구성 매개변수를 몇 시간씩 찾아 헤맨 적이 있다면, 이 내용은 자리에 앉아서 보셔야 할 겁니다.
Microsoft가 드디어 미리 보기로 Variable Libraries를 선보였습니다. 과거 프로젝트에서 이것이 있었다면 얼마나 많은 시간을 아꼈을지 아직도 실감이 나지 않습니다.
한 번 정의하고, 어디서나 사용
개념은 아주 단순합니다. 워크스페이스 수준에서 중앙 라이브러리에 변수를 정의한 뒤, 파이프라인, 노트북, 레이크하우스 바로 가기에서 재사용하는 것입니다. 중복된 구성은 이제 그만입니다!
"variable library를 사용하면 워크스페이스 수준에서 변수를 정의하고 파이프라인, 노트북, 레이크하우스 바로 가기에서 재사용할 수 있습니다."
작년에 참여했던 리테일 분석 프로젝트가 떠올랐습니다. 솔루션 하나를 배포하려고 3개 지역에 걸쳐 파라미터 파일 12개를 일일이 수동으로 편집해야 했습니다. 변경할 때마다 그 값이 저장된 모든 위치를 기억해야 했죠. 정말 악몽이었습니다.
그때 이 업데이트가 있었다면, 아마 기쁨의 눈물을 흘렸을 겁니다.
실제로 혁신적인 이유
- 스크립트 줄 곳곳에 숨겨진 매개 변수를 더 이상 찾아다닐 필요가 없습니다
- 개발에서 운영으로 전환할 때 매끄럽게 작동하는 환경별 재정의 기능
- 제대로 된 변경 추적과 버전 관리를 위한 Git 통합
- 규정 준수에 적합한 구성 값의 중앙 집중화
저는 구성 확산(configuration sprawl)을 데이터 프로젝트의 "조용한 킬러"라고 부릅니다. 모든 것이 잘 작동하다가도, 프로젝트 규모가 한 명의 개발자를 넘어서는 순간 혼란이 시작됩니다. 결국 코드베이스 여기저기에 하드코딩된 값이 숨어 있게 됩니다.
Variable Libraries를 통해 Fabric은 오래된 문제인 구성 확산에 정면으로 대응했습니다. 이제 수동 개입 없이도 여러 환경에 맞게 조정될 수 있는, 중앙에서 관리되고 검증된 변수를 사용할 수 있습니다.
완벽할까요? 아직은 아닙니다. 여전히 미리 보기 단계이니까요. 하지만 업무 방식을 근본적으로 바꾸는 기반 기능 중 하나입니다.
복잡한 배포를 관리하거나 팀 환경에서 일하는 분들에게 이것은 있으면 좋은 정도의 기능이 아닙니다. 주말 내내 환경 변수를 찾아다니는 시간과 실제로 주말을 쉬는 시간의 차이입니다.
이제 실례하겠습니다. 이 작은 기적을 활용하도록 모든 배포 스크립트를 업데이트하러 가야 합니다.
Copilot은 지켜보기만 하지 않습니다. 코드를 직접 씁니다(대체로 정확하게)
AI 어시스턴트가 그저 맞춤법 검사기에 불과했던 때가 기억나시나요? 그런 시대는 지났습니다. Microsoft는 조용히 Copilot을 편리한 보조 도구에서, 마치... 동료처럼 느껴지는 존재로 바꿔 놓았습니다.
이제 어디에나 있습니다
이번 업데이트에서 가장 먼저 눈에 띈 점은 Copilot이 더 이상 추가 기능이 아니라는 것입니다. Fabric의 기반에 통합되어 있습니다. 정말로, 이제 어디에나 있습니다.
- Power BI 대시보드
- 데이터 노트북
- Data Factory 파이프라인
- 그 밖에도 코드를 작성하는 거의 모든 곳
단순한 신기능에 그치지 않습니다. 상황을 인식하는 지원 기능은 실제로 잘 아는 사람이 옆에서 화면을 함께 봐주는 것과 같습니다.
카페인으로 버틴 PySpark 도전기
솔직히 저는 AI 과대광고에 회의적입니다. 그래서 오후 11시, 에스프레소를 세 잔째 마신 뒤에 Copilot을 실제 업무 환경과 비슷한 테스트에 던져 보기로 했습니다.
PySpark 집계 쿼리를 작성해 달라고 요청했습니다. 간단한 것이 아니라 중첩 필터링이 포함된 조인 5개짜리였습니다. 보통이라면 문서를 수십 개 탭으로 열어 놓고 씨름해야 하는 종류의 작업입니다.
"완전한 공동 작성자입니다. 조인 5개와 중첩 필터링이 포함된 PySpark 집계 쿼리를 작성하게 했는데, 첫 시도에서 90퍼센트를 맞혔습니다."
구십. 퍼센트. 첫 시도.
물론 나머지 10퍼센트는 제가 직접 고쳐야 했습니다. 그래도 이 정도면 인상적이지 않습니까.
도우미 봇에서 공동 작성자로
노트북 기능 개선이 특히 마음에 듭니다. 이제 Copilot은 다음과 같습니다.
- 상호 작용 간의 컨텍스트를 유지합니다
- 더 깔끔한 채팅 출력을 제공합니다
- 똑똑한 코드 요약을 제공합니다
- 오류를 해결해 줍니다(때로는 제가 하는 것보다 더 잘합니다)
그리고 빠른 작업은 어떤가요? 저는 "이 코드 설명" 버튼에 살짝 중독되었습니다. 한 번 클릭하면 다른 사람이 작성한 난해한 코드 블록이 갑자기 이해가 됩니다.
자동 조종이 아니라 공동 조종
여기서 다른 점은 이렇습니다. 이것은 "AI가 내 일을 대신하는" 느낌이 아닙니다. 질문에 지치거나 짜증 내지 않는 사람과 함께 페어 프로그래밍을 하는 느낌입니다.
여러 코드베이스와 언어를 오가는 날에는 특히 생산성 향상이 실감 납니다. 코드와 관련된 모든 것을 번역해 주는 만능 번역기를 가진 것 같습니다.
완벽할까요? 아닙니다. 그래도 Fabric Data Agent와 Azure AI의 통합 덕분에 이전 버전보다 기업 데이터를 훨씬 더 잘 다룹니다. 실제 업무에서는 바로 그것이 중요합니다.
드디어 AI 지원이 "실제로 쓸모 있는" 단계에 도달한 것 같습니다. 그리고 제 커피값은 Microsoft에 감사해야 합니다.
보안 및 배포: 서비스 주체 지원과 마침내 제대로 된 DevOps
어제 일처럼 기억납니다. 금요일 오후 5시, 퇴근 준비를 하고 있는데 휴대폰이 울렸습니다. 누군가의 자격 증명이 만료되어 운영 배포가 또 실패한 것입니다. 자동화되어 있어야 할 작업을 이후 세 시간 동안 수동으로 고쳤습니다. 겪어 보신 분이라면 그 특별한 종류의 짜증을 아실 겁니다.
이제 그런 날은 공식적으로 끝났습니다.
서비스 주체: 우리가 필요로 했던 DevOps 영웅
Microsoft Fabric이 이제 모든 DevOps 작업에 서비스 주체를 지원합니다. 저는 이 소식이 정말 반갑습니다. 이유는 보안이 적용된 자동 배포로 진정한 CI/CD를 구현할 수 있기 때문입니다.
이제 팀은 사용자 자격 증명에 의존하지 않고도 자동화에서 보안 ID를 사용할 수 있습니다. 드디어요.
최악의 순간에 만료되는 개별 사용자 계정에 더 이상 의존하지 않아도 됩니다. 구성 파일 곳곳에 떠도는 공유 자격 증명도 사라집니다. 주말을 즐기느라 오프라인 상태여도 문제없이 작동하는 깔끔하고 안전한 자동화가 가능해집니다.
이제 무엇을 자동화할 수 있을까요?
- 작업 영역 구성
- 배포 파이프라인
- 데이터 수집 프로세스
- 액세스 제어 관리
이를 통해 Azure DevOps나 GitHub Actions 같은 도구로 진정한 엔드 투 엔드 자동화가 가능해집니다. 그리고 가장 좋은 점은, 필요한 특정 권한만 부여하면서도 보안 경계를 엄격하게 유지할 수 있다는 것입니다.
더 많은 통제, 더 적은 위험. 모두에게 이득입니다.
기존 작업 영역으로 브랜치 확장
또 하나의 게임 체인저는 "branch-out-to-existing-workspace" 기능입니다. 사소해 보일 수 있지만, 정말로 그렇지 않다고 장담합니다.
이제 기존 작업 영역을 그대로 유지하면서 새 Git 브랜치에 간단히 연결할 수 있습니다. 골치 아픈 과정 없이 소스 제어를 적용할 수 있습니다. 버전 관리를 구현하기 위해 작업 영역을 처음부터 다시 만들거나 여러 환경을 오가며 씨름할 필요가 없어졌습니다.
이런 삶의 질 개선 기능이 없던 때는 어떻게 일했을까 싶을 정도입니다.
제가 실제로 바뀐 배포 방식
바로 지난주에 서비스 주체를 사용해 완전 자동화된 배포 파이프라인을 구성했습니다. 한 동료가 "그런데 자격 증명을 입력할 사람이 자리에 없으면 어떻게 하죠?"라고 물었을 때, 저는 그냥 미소만 지었습니다.
바로 그게 핵심입니다. 이제는 제가 자리에 있을 필요가 없습니다.
이번 업데이트로 Fabric은 단순한 데이터 플랫폼을 넘어, 데이터 엔지니어, 분석가, IT 보안 담당자가 서로의 업무를 침범하지 않으면서도 자신 있게 기여할 수 있는 환경으로 발전했습니다.
드디어 진정한 DevOps입니다. 그리고 제 주말도 다시 제 것이 되었습니다.
AI 상시 적용, 실시간 처리, 그리고 뜻밖의 의사 결정 지원의 미래
커피 세 잔을 마시는 동안 Microsoft Fabric의 최신 업데이트를 살펴봤는데, 솔직히 말씀드리면 이것은 평범한 점진적 개선이 아닙니다. 분위기 자체가 바뀌는 수준입니다.
EventStream의 확장된 세계
가장 큰 게임 체인저는 EventStream이 Kafka, Solis, Kinesis에 연결된다는 점입니다. 1년 전에는 상상도 하지 못했던 교차 플랫폼 데이터 파이프라인의 문을 활짝 열어준다고 말해도 과장이 아닙니다.
생각해 보세요. AWS Kinesis 스트림이 번거로운 미들웨어 없이 Microsoft 분석 스택으로 바로 데이터를 전달합니다. 이것은 단순히 편리한 수준이 아니라, 하이브리드 클라우드를 운영하는 조직에게는 혁신적인 변화입니다.
한 제품 관리자는 이렇게 말했습니다.
"정형 웨어하우스 데이터, 실시간 이벤트, AI 기능을 보안이 적용된 인트라 기반 파이프라인에서 하나로 묶는 것은 고객들이 수년간 요청해 온 기능입니다."
그 말은 빈말이 아니었습니다. EventStream은 이제 Microsoft Intra ID 인증과 REST API를 지원하여 보안성과 프로그래밍 가능성을 모두 높였습니다.
실시간 인텔리전스의 핵심 기반
OneLake 보안 개선과 새로운 거버넌스 도구가 결합되어, 엔터프라이즈급 신경계 같은 구조를 만들어 냅니다. 그리고 내장된 AI는 단순히 덧붙인 기능이 아니라 전체 경험에 자연스럽게 녹아 있습니다.
이것이 실시간, 보안, 지능형 데이터 운영을 위해 조직에 필요한 기반입니다. 더 말할 필요가 없습니다.
제가 실패한 속도 테스트
잠깐 옆길로 새자면, 여러 소스에서 연속으로 테스트 이벤트를 쏟아부어 EventStream을 "깨뜨려" 보려고 했습니다. 결과를 미리 말씀드리면 실패했습니다. 제가 터미널 창을 허둥지둥 오가며 이벤트를 더 밀어 넣으려는 동안에도 시스템은 아무렇지 않게 잘 버텼습니다.
겸손해지는 경험이었습니다. 그리고 인상적이었습니다.
통합을 통한 더 스마트한 인사이트
Fabric Data Agent와 강화된 Azure 통합이 전체 그림을 완성합니다. 상황을 인식하는 분석, 모든 수준에 내재된 규정 준수, 단순한 자동화를 넘어 실제로 지능적이라고 느껴지는 인사이트를 이야기하고 있습니다.
더 풍부해진 실시간 연결, 고급 인증, AI가 강화된 의사 결정 지원, 확장된 거버넌스 기능을 통해 Fabric은 분석의 미래를 따라가는 데 그치지 않고 그 미래를 적극적으로 만들어 가고 있습니다.
의사 결정 지원 시스템을 구축하는 분이라면 메시지는 분명합니다. 이제 실시간은 선택 사항이 아니며, AI는 프리미엄 추가 기능이 아니라 기본 기대치가 되었습니다.
전망: 이번 업데이트가 중요한 이유와 데이터 팀에 던지는 과제
지난 10분 동안 커피 잔을 멍하니 바라보며, 이번 Fabric 업데이트가 기능 목록 너머에서 실제로 의미하는 바가 무엇인지 정리해 보려고 했습니다. 여기에는 더 큰 변화가 일어나고 있습니다.
분명히 말씀드리면, Microsoft는 단순히 패치를 내놓는 것이 아니라, 플랫폼이 스스로의 한계를 넘어서려는 모습을 지켜보고 있습니다(그리고 그것을 해내고 있습니다). 변수 라이브러리, 브랜칭 기능, 서비스 주체 지원은 무작위로 추가된 기능이 아닙니다. 진화의 신호입니다.
"이것은 단순한 제품 업데이트가 아닙니다. 단기적인 고통을 해결하는 데 그치지 않고, 비즈니스와 함께 발전할 수 있는 지속 가능하고 확장성 있으며 안전한 플랫폼을 구축하겠다는 Microsoft의 의지를 보여주는 신호입니다."
작년에 진행했던 리테일 분석 프로젝트가 떠오릅니다. 당시 배포 작업은 세 개 리전에 걸쳐 열두 개의 매개변수 파일을 수동으로 편집하는 일이었습니다. 그런 악몽 같은 상황은 이제 사라졌습니다. 새로운 변수 라이브러리는 그 혼란을 구조화되고 검증된 변수로 바꾸어, 한 번 정의하면 어디서든 재사용할 수 있게 해 줍니다.
데이터 커뮤니티에 던지는 도전 과제
그래서 저는 모든 Fabric 데이터 워리어 여러분께 제안합니다. Copilot, 브랜칭, EventStream으로 무엇을 만들어 보시겠습니까? 이 도구들은 단순한 기술 업그레이드가 아니라, 협업과 창의성을 가능하게 하는 수단이기 때문입니다.
특히 EventStream이 Kafka와 Amazon Kinesis에 연결되는 부분이 궁금합니다. Microsoft Entra ID를 통해 보안이 강화된 상태에서 플랫폼 간 연동이 가능하다는 것은 하이브리드 환경을 운영하는 조직에게 판도를 바꿀 변화입니다.
2025년 3월 Fabric 업데이트는 새로운 가능성을 열어 주지만, 무엇이 가능한지 탐색해 볼 호기심 많고 협업을 즐기는 데이터 전문가가 필요합니다. 누가 먼저 그 문을 열고 들어설지 기대됩니다.
성격에 관한 질문
어젯밤 잠을 설치게 만든 흥미로운 생각이 하나 있습니다. Fabric이 스타트업 창업자라면, 신중한 계획가일까요, 아니면 대담한 발명가일까요? 저는 "신중한 혁신가"에 가깝다고 봅니다. 기반을 탄탄히 다지면서도 한계를 계속 넓혀 가는 모습이니까요.
여러 워크로드에 AI가 내재화되고 실시간 기능이 확장되면서, Fabric은 안정성과 혁신성을 동시에 갖춘 플랫폼으로 자리매김하고 있습니다. 이는 드문 일입니다.
이번 업데이트는 기능만큼이나 사람과 프로세스에 관한 이야기입니다. 플랫폼은 기술적으로 성숙해질 뿐만 아니라, 팀들이 서로 방해하지 않고 협업할 수 있는 공간도 만들어 가고 있습니다.
이번 업데이트의 어떤 측면이 여러분의 데이터 업무 방식을 바꿔 놓을까요? 여러분의 팀은 거버넌스 중심입니까, 아니면 혁신 중심입니까? 댓글로 자유롭게 토론해 주세요!
저는 여기서 또 한 잔의 커피를 따르며, 놀랍도록 野心적인 이 플랫폼이 앞으로 어떤 모습이 될지 상상해 보겠습니다. 이 기능들에 대해 더 자세히 듣고 전체 오디오 해설을 확인하시려면 관련 팟캐스트 에피소드 Microsoft Fabric 2025 Updates Explained를 꼭 확인해 보세요.