WEBVTT

00:00:00.000 --> 00:00:05.580
오늘의 주제는 데이터를 다루는 사람이라면 누구나 들어봤지만 정작 제대로 이해하는 사람은 드문 내용입니다.

00:00:05.780 --> 00:00:07.740
마이크로소프트 패브릭 위 온레이크입니다.

00:00:07.940 --> 00:00:12.540
마이크로소프트 마케팅에서 보셨거나 조직 전체를 위한 통합 데이터 레이크라고 불리는 것을 들어보셨을 겁니다.

00:00:12.800 --> 00:00:17.700
하지만 그게 정확히 무엇을 의미할까요? 그저 또 하나의 저장소일까요? 아니면 근본적으로 다른 것일까요?

00:00:17.900 --> 00:00:23.100
가장 간단한 정의는 이렇습니다. 온레이크는 마이크로소프트 패브릭 위 중심에 위치한 단일 논리 데이터 레이크입니다.

00:00:23.100 --> 00:00:32.300
모든 패브릭 서비스, 레이크 하우스, 웨어하우스, 이벤트 하우스, 파워비아이가 이곳의 데이터를 저장합니다. 그리고 핵심 규칙은 간단합니다. 여러 엔진이 액세스할 수 있는 단 하나의 물리적 데이터 복사본입니다.

00:00:32.500 --> 00:00:37.320
더 이상 데이터를 이 도구에서 저 도구로 복사할 필요가 없습니다. 어떤 버전의 보고서가 정확한지 고민할 필요도 없습니다.

00:00:37.600 --> 00:00:44.880
이번 에피소드가 끝날 때 쯤이면 온레이크가 무엇인지, 데이터 중복을 어떻게 제거하는지, 그리고 왜 파워비아이, 데이터 엔지니어링, AI 분야의 판도를 바꾸는지 이해하게 될 것입니다.

00:00:44.880 --> 00:00:51.540
이제 온레이크가 해결하고자 만든 문제부터 시작하겠습니다. 그 문제는 바로 이건입니다. 모든 부서가 저마다의 레이크를 가지고 있다는 점입니다.

00:00:51.700 --> 00:00:58.600
중견기업에서 일한다고 상상해보세요. 영업팀은 crm 시스템을 사용해 거래를 추적합니다. 재무팀은 청구 및 송장 처리를 위해 erp를 운영합니다.

00:00:58.800 --> 00:01:04.540
마케팅팀은 캠페인 도구에서 데이터를 가져옵니다. 그리고 데이터 엔지니어링팀은 보고를 위해 데이터 웨어하우스를 관리합니다.

00:01:04.720 --> 00:01:09.560
자, 여기서 한 가지 생각해볼 점이 있습니다. 이 시스템 전반에 걸쳐 동일한 고객 데이터가 몇 개나 존재할까요?

00:01:09.560 --> 00:01:16.720
대부분의 기업에서 정답은 4에서 5개입니다. crm 2 저장합니다. erp 가 저장합니다. 마케팅팀은 분석 도구로 데이터를 내보냅니다.

00:01:16.940 --> 00:01:23.760
재무팀 누군가는 erp에서 스프레드 시트를 만듭니다. 그리고 데이터 엔지니어링팀은 파워비아이가 읽을 수 있도록 웨어하우스로 데이터를 복사합니다.

00:01:23.980 --> 00:01:30.340
동일한 고객 아이디, 동일한 매출액, 동일한 송장 날짜가 5군데에 저장되는 것입니다. 이건 사람들이 부주의해서가 아닙니다.

00:01:30.540 --> 00:01:36.800
기존 도구들이 서로 호환되지 않았기 때문입니다. crm 위 영업 데이터와 erp 위 재무 데이터를 결합한 보고서를 작성하려면

00:01:36.800 --> 00:01:44.280
두 데이터를 모두 읽을 수 있는 곳으로 복사해야 했습니다. 그 과정에서 파이프라인을 구축하고 작업을 예약하며 밤사이에 아무 문제 없기를 바라야 했습니다.

00:01:44.580 --> 00:01:49.260
숨겨진 비용이 빠르게 늘어납니다. 똑같은 데이터에 대해 5번 비용을 지불하니 저장소 창구서 금액이 커집니다.

00:01:49.400 --> 00:01:55.160
한쪽 복사본만 업데이트되고 다른 쪽은 그대로라 보고서가 최신 정보를 반영하지 못합니다. 그리고 누군가 아무도 대답하고 싶지 않은 질문을 던집니다.

00:01:55.300 --> 00:01:58.800
어떤 버전이 맞는 건가요? 이러한 혼란은 데이터에 대한 신뢰를 무너뜨리고

00:01:58.800 --> 00:02:05.980
일단 신뢰가 사라지면 사람들은 분석 플랫폼을 아예 사용하지 않게 됩니다. 그래서 마이크로소프트는 이 복잡한 상황을 보고 이런 간단한 질문을 던졌습니다.

00:02:06.140 --> 00:02:11.900
모든 도구가 읽을 수 있는 단 하나의 데이터 사본이 있다면 어떨까요? 중복도 혼란도 없는 단일 진실 공급원이죠.

00:02:12.100 --> 00:02:16.520
도대체 온레이크란 무엇일까요? 온레이크는 그 질문에 대한 마이크로소프트의 대답입니다.

00:02:16.700 --> 00:02:21.020
조직 전체를 위한 단일 논리적 데이터 레이크입니다. 기억해야 할 핵심 문구는 이것입니다.

00:02:21.220 --> 00:02:23.880
팀별이 아닌 테넌트별로 하나의 레이크를 사용하는 것이죠.

00:02:23.880 --> 00:02:32.300
내부적으로 온레이크는 네이저 데이터 레이크 스토리지 인투를 기반으로 구축되었습니다. 동일한 기술과 api를 사용하지만 마이크로소프트는 이를 완전히 관리되는 셀스 서비스로 재구성했습니다.

00:02:32.560 --> 00:02:37.060
스토리지 계정을 만들거나 컨테이너를 관리하거나 액세스 키를 설정할 필요 없이 그냥 사용하기만 하면 됩니다.

00:02:37.280 --> 00:02:43.560
회사 데이터를 위한 온드라이브라고 생각하세요. 온드라이브는 개인 파일, 문서, 사진, 스프레드 시트를 위한 하나의 공간을 제공합니다.

00:02:43.720 --> 00:02:47.140
파일이 물리적으로 어디에 저장되는지 고민할 필요 없이 그냥 열어서 작업하면 됩니다.

00:02:47.140 --> 00:02:53.860
온레이크도 마찬가지로 조직의 데이터를 위해 동일한 역할을 합니다. 모든 팀, 프로젝트, 워크로드에 하나의 공유 스토리지 풀을 제공합니다.

00:02:54.040 --> 00:03:02.340
여기서 중요한 차이점이 있습니다. 온레이크는 물리적이 아닌 논리적입니다. 내부적으로는 여러 지역의 여러 스토리지 계정에 걸쳐있을 수 있지만 사용자에게는 하나의 거대한 풀로 보입니다.

00:03:02.540 --> 00:03:07.740
어떤 서버에 파일이 있는지 신경 쓸 필요 없이 그저 데이터만 보면 됩니다. 모든 패브릭 서비스가 이곳에 데이터를 저장합니다.

00:03:07.980 --> 00:03:12.680
레이크하우스를 만들면 데이터는 온레이크에 저장됩니다. 웨어하우스를 구축하면 테이블은 온레이크에 저장됩니다.

00:03:12.680 --> 00:03:20.720
파워비아이 보고서를 실행할 때 디렉트레이크 모드를 사용하면 온레이크에서 직접 데이터를 읽습니다. 실시간 분석 저장소인 이벤트하우스 조차도 데이터를 온레이크에 노출할 수 있습니다.

00:03:20.960 --> 00:03:31.480
모든 것이 같은 곳을 가리키며 기본 데이터 형식은 델타 파켓입니다. 이것은 오픈 형식이며 마이크로소프트에 종속되지 않습니다. 데이터브릭스도 이를 사용하며 스파크 엔진도 이를 읽을 수 있습니다. 판다스 나팔라즈 같은 도구도 이를 다룰 수 있습니다.

00:03:31.480 --> 00:03:39.900
따라서 데이터가 마이크로소프트만의 세상에 갇혀있지 않습니다. 개방적이고 이식성이 뛰어나지만 진정한 마법은 스토리지가 아니라 데이터 복사 자체를 없애는 방식에 있습니다.

00:03:40.180 --> 00:03:47.620
반일사본 원칙입니다. 이제 온레이크를 이전의 모든 것과 차별화하는 핵심 아이디어를 소개합니다. 반일사본 원칙이라고 하며 매우 간단합니다.

00:03:47.800 --> 00:03:52.700
데이터의 물리적 사본은 하나이며 다양한 엔진에서 접근할 수 있습니다. 이것이 무엇을 의미하는지 예를 들어 설명하겠습니다.

00:03:52.960 --> 00:03:57.300
온레이크에 판매 데이터 테이블이 있다고 가정해보죠. 데이터 엔지니어는 스파크 노트북을 실행해 데이터를 정리합니다.

00:03:57.300 --> 00:04:02.300
비즈니스 분석가는 t-sql 커리를 작성해 데이터를 집계합니다. 그리고 파워비아이 보고서는 데시보드를 위해 해당 데이터를 읽어드립니다.

00:04:02.460 --> 00:04:08.940
이 세 가지 작업이 동시에 수행됩니다. 세 가지 모두 같은 파일을 읽습니다. 데이터를 복사하는 과정이 전혀 없습니다. 과거에는 결코 있을 수 없는 일이었죠.

00:04:09.060 --> 00:04:15.400
데이터 레이크의 데이터를 웨어하우스로 복사해야 했습니다. 그런 다음 웨어하우스에서 위미론적 모델로 다시 복사했죠. 그 후 보고서를 새로 고쳐야 했습니다.

00:04:15.700 --> 00:04:21.240
같은 데이터를 세 번이나 복사한 셈입니다. 각 과정마다 시간과 저장 공간이 소요되죠. 어느 한 단계라도 실패하면 수치가 틀려집니다.

00:04:21.240 --> 00:04:27.640
단일 복사본으로 이 모든 문제를 해결합니다. 데이터는 온레이크에 단 하나만 존재합니다. 스파크, sql, 파워비아이 등의 엔진이 모두 이를 직접 읽습니다.

00:04:27.820 --> 00:04:32.840
데이터 이동이 없습니다. 중복도 없습니다. 동기화 문제도 없습니다. 비용 절감 효과는 확실합니다.

00:04:33.060 --> 00:04:39.540
같은 데이터에 5번 비용을 지불할 필요가 없어 저장 공간이 절약됩니다. 도구 간 데이터 이동을 위한 파이프라인을 구축할 필요가 없어 etl이 줄어듭니다.

00:04:39.720 --> 00:04:44.740
복사본 사이에서 발생할 오류가 없으니 유지관리할 항목도 줄어듭니다. 데이터 최신성 측면에서의 이점도 엄청납니다.

00:04:44.740 --> 00:04:53.660
단일 복사본은 단일 진실 공급원을 의미합니다. 데이터가 업데이트되면 모든 보고서에 즉시 반영됩니다. 이 보고서가 지난주 데이터인가요? 이번주 데이터인가요? 라고 더 이상 묻지 않아도 됩니다.

00:04:53.940 --> 00:04:59.640
어디서나 항상 동일한 데이터니까요. 이제 이게 그냥 에이저 데이터 레이크 스토리지 아닌가요? 라고 생각하실지도 모릅니다. 정확히는 아닙니다.

00:04:59.840 --> 00:05:06.420
adls는 패스 서비스입니다. 스토리지 계정을 직접 생성해야 하죠. 컨테이너도 관리해야 합니다. 액세스 키도 설정해야 하죠. 어떤 리전에 무엇을 보관할지 결정해야 합니다.

00:05:06.420 --> 00:05:13.960
유연하지만 그만큼 작업이 필요합니다. 온레이크는 세스 서비스입니다. 스토리지 계정을 생성할 필요가 없습니다. 컨테이너를 관리할 필요도 없죠. 그저 사용하기만 하면 됩니다.

00:05:14.260 --> 00:05:22.040
기본 인프라는 알아서 처리됩니다. 단일 복사본은 패브릭 내에 있는 데이터에 아주 효과적입니다. 그렇다면 다른 곳에 있는 데이터는 어떻게 할까요? 바로 바로가기 쇼컷스입니다.

00:05:22.240 --> 00:05:29.380
데이터는 원래 있던 곳에 두십시오. 이때 바로가기가 유용하게 사용됩니다. 바로가기는 가상포인터입니다. 데이터 레이크를 위한 심볼릭 링크라고 생각하면 됩니다.

00:05:29.380 --> 00:05:35.440
이를 통해 물리적으로 온레이크 외부에 있는 데이터를 이동하거나 복사하지 않고도 액세스할 수 있습니다. 작동 방식은 다음과 같습니다.

00:05:35.800 --> 00:05:41.240
레이크 하우스나 웨어하우스 내부에 바로가기를 만듭니다. 그 바로가기가 다른 위치의 파일이나 폴더를 가리키는 것이죠.

00:05:41.440 --> 00:05:47.300
에이저 데이터 레이크 스토리지 계정, 아마존 S3 버킷, 구글 클라우드 스토리지, 심지어 다른 패브릭 작업 영역일 수도 있습니다.

00:05:47.500 --> 00:05:51.220
데이터는 그대로 있지만 패브릭 내부에서 보면 마치 바로 여기 온레이크에 있는 것처럼 보입니다.

00:05:51.220 --> 00:05:59.280
실제 시나리오를 하나 예로 들어보겠습니다. 영업팀이 수년간 AWS에서 분석 작업을 수행해왔다고 가정합시다. 그러면 모든 데이터는 S3 버킷에 들어있겠죠.

00:05:59.480 --> 00:06:04.420
재무팀은 패브릭과 파워비아이를 사용하며 영업 데이터를 재무 데이터와 결합해야 하는 상황입니다.

00:06:04.620 --> 00:06:10.860
과거에는 S3에서 모든 것을 내보내 에이저에 업로드하고 동기화를 유지하기 위한 파이프라인을 구축한 뒤 문제가 없기를 바라야 했습니다.

00:06:11.140 --> 00:06:14.680
바로가기를 사용하면 레이크 하우스에서 S3 버킷으로 바로가기를 만들 수 있습니다.

00:06:14.920 --> 00:06:19.160
데이터는 AWS에 그대로 남지만 재무부서에서는 마치 온레이크에 있는 것처럼 파워비아이에서 퍼리할 수 있습니다.

00:06:19.160 --> 00:06:21.920
내보내기나 업로드, 신경 써야 할 파이프라인도 없습니다.

00:06:22.180 --> 00:06:23.940
바로가기는 내부적으로도 작동합니다.

00:06:24.120 --> 00:06:28.980
한 팀이 작업 공간에 큐레이팅 된 데이터 세트를 가지고 있다면 다른 팀에서 그에 대한 바로가기를 만들 수 있습니다.

00:06:29.160 --> 00:06:30.340
복사나 중복이 없습니다.

00:06:30.700 --> 00:06:34.400
데이터는 원래 작업 공간에 유지되고 다른 팀들은 이를 참조하기만 합니다.

00:06:34.620 --> 00:06:36.480
이해해야 할 한 가지 제한사항이 있습니다.

00:06:36.800 --> 00:06:41.020
바로가기는 데이터를 복사하지 않으므로 쿼리 성능은 원본 시스템의 속도에 따라 달라집니다.

00:06:41.200 --> 00:06:46.400
지구 반대편에 있는 S3 버킷에 바로가기를 설정하면 데이터가 로컬에 있을 때고 다 쿼리 속도가 느려질 것입니다.

00:06:46.400 --> 00:06:49.640
자주 액세스하는 데이터라면 대신 미러링을 고려하십시오.

00:06:49.760 --> 00:06:52.020
이제 다음 주제인 미러링에 대해 알아보겠습니다.

00:06:52.280 --> 00:06:54.680
데이터베이스 데이터를 자동으로 가져오는 방법입니다.

00:06:54.900 --> 00:06:59.140
바로가기는 외부 파일 스토리지를 아주 잘 다루지만 기존 데이터베이스는 어떨까요?

00:06:59.340 --> 00:07:03.140
ERP, CRM, 운영 애플리케이션을 실행하는 데이터베이스 말입니다.

00:07:03.360 --> 00:07:04.960
바로 그럴 때 미러링이 필요합니다.

00:07:05.220 --> 00:07:10.140
미러링은 파이프라인 구축 없이 데이터베이스에서 온레이크로 거의 실시간으로 데이터를 가져오는 방법입니다.

00:07:10.140 --> 00:07:20.160
패브릭에서 데이터베이스를 지정하기만 하면 나머지는 패브릭 이하라서 데이터를 온레이크 내부의 델타 파켓 형식으로 자동 증분 복사하고 원본의 변경 사항에 맞춰 복사본을 최신 상태로 유지합니다.

00:07:20.360 --> 00:07:27.720
지원되는 원본에는 에이저 SQL 데이터베이스, 온프레미스 SQL 서버, 코스모스 DB 등이 있으며 마이크로소프트는 시간이 지남에 따라 더 많은 원본을 추가하고 있습니다.

00:07:27.920 --> 00:07:33.160
하지만 가장 일반적인 시나리오는 ERP나 업무용 애플리케이션이 실행되는 비즈니스 핵심 데이터베이스를 사용하는 경우입니다.

00:07:33.160 --> 00:07:41.580
작동 방식은 다음과 같습니다. 데이터베이스에서 미러링을 활성화하면 패브릭 이 변경 피드를 읽고 삽입, 업데이트, 삭제 사항을 확인하여 온레이크에 복제합니다.

00:07:41.780 --> 00:07:47.740
첫 번째 동기화는 전체 데이터 세트를 복사합니다. 그 이후 N은 증분 방식으로 변경된 행만 이동합니다.

00:07:48.000 --> 00:07:52.300
데이터는 델타 파켓 형식으로 저장되며 모든 패브릭 엔진에서 쿼리할 준비가 완료됩니다.

00:07:52.480 --> 00:07:57.660
이제 바로가기와의 주요 차이점을 말씀드리겠습니다. 바로가기는 데이터를 복사하지 않고 단순히 가리키기만 합니다.

00:07:57.660 --> 00:08:05.420
반면 미러링은 실제로 데이터를 복사함으로 데이터가 물리적으로 온레이크에 존재하며 원본 데이터베이스의 속도와 관계없이 빠른 쿼리 성능을 제공합니다.

00:08:05.600 --> 00:08:13.400
복사본을 저장해야 한다는 점은 감수해야 하지만 파이프라인 구축이나 일정 관리, 유지 보수에 대한 걱정 없이 거의 실시간으로 데이터에 액세스할 수 있다는 이점이 있습니다.

00:08:13.600 --> 00:08:15.460
구체적인 사용 사례를 하나 들어보겠습니다.

00:08:15.800 --> 00:08:22.280
귀사는 SQL 서버에서 ERP를 운영 중이며 여기에는 재무 데이터, 송장, 결제, 총계정 원장 등 모든 데이터가 들어 있습니다.

00:08:22.280 --> 00:08:28.120
과거에는 매일 밤 실행되는 ETL 작업을 구축하여 데이터를 추출, 변환하고 데이터 웨어하우스에 적재해야 했습니다.

00:08:28.380 --> 00:08:32.500
작업이 중단되면 누군가 수정해야 했고 데이터는 항상 최소 하루 지난 상태였습니다.

00:08:32.800 --> 00:08:37.160
미러링을 사용하면 한 번만 활성화해도 패브릭 E-ONNAKE로 데이터를 지속적으로 복제합니다.

00:08:37.340 --> 00:08:43.120
파워비아이 보고서는 ONNAKE에서 직접 데이터를 읽어오므로 몇 시간이나 며칠이 아닌 몇 분 전의 데이터를 확인하며 파이프라인을 건드릴 필요도 없습니다.

00:08:43.380 --> 00:08:47.160
이제 바로가기, 미러링, 직접 업로드를 통해 ONNAKE의 데이터가 확보되었습니다.

00:08:47.460 --> 00:08:49.000
그럼 실제로 어떻게 사용할까요?

00:08:49.000 --> 00:08:51.060
ONNAKE와 세 가지 데이터 저장소입니다.

00:08:51.240 --> 00:08:54.180
ONNAKE는 스토리지 계층이자 모든 파일이 저장되는 곳입니다.

00:08:54.340 --> 00:08:57.460
하지만 여기서 중요한 점은 ONNAKE를 직접 다루지는 않는다는 것입니다.

00:08:57.640 --> 00:09:00.760
대신 데이터 저장소라고 부르는 인터페이스를 통해 상호작용하며,

00:09:01.120 --> 00:09:04.000
이는 동일한 기반 데이터로 작업하는 다양한 방법을 제공합니다.

00:09:04.160 --> 00:09:08.400
패브릭에는 NAKE House, Warehouse, Event House라는 세 가지 주요 데이터 저장소가 있습니다.

00:09:08.680 --> 00:09:12.380
이들은 모두 동일한 ONNAKE에 데이터를 저장하지만 각기 다른 목적을 수행합니다.

00:09:12.580 --> 00:09:18.240
먼저 CSV, JSON, 이미지 파일과 델타 테이블을 허용하는 유연한 데이터 저장소인 NAKE House부터 시작하겠습니다.

00:09:18.240 --> 00:09:23.100
데이터 엔지니어링, 머신러닝을 수행하거나 원본 시스템에서 원시 데이터를 가져올 때 사용합니다.

00:09:23.240 --> 00:09:26.040
데이터를 정리, 변환, 준비하는 작업대와 같습니다.

00:09:26.340 --> 00:09:31.140
브론즈, 실버, 골드 계층의 메달리온 아키텍처를 구축한다면 바로 Rake House에서 이루어집니다.

00:09:31.320 --> 00:09:36.520
스파크 노트북을 통해 액세스하거나, 읽기 전용 커리를 위해 SQL 분석 엔드포인트를 통해 액세스할 수 있습니다.

00:09:36.760 --> 00:09:39.400
다음은 구조화된 데이터 저장소인 Warehouse입니다.

00:09:39.400 --> 00:09:47.860
완벽한 T-SQL 읽기 및 쓰기 지원을 제공함으로 테이블, 뷰, 저장 프로시저, 함수를 만들고 인사트, 업데이트, 딜리트 문을 실행할 수 있습니다.

00:09:48.060 --> 00:09:52.620
SQL 방식으로 사고하는 사람들을 위해 설계되었기 때문에 기존의 SQL 서버 데이터베이스와 유사하게 느껴집니다.

00:09:52.760 --> 00:09:58.280
BI 보고서를 작성하거나, 복잡한 집계를 실행하거나, 기존 데이터 웨어하우스에서 마이그레이션 할 때 웨어하우스를 사용하십시오.

00:09:58.400 --> 00:10:00.720
기업 보고를 위한 골드 계층이라고 생각하면 됩니다.

00:10:00.720 --> 00:10:06.160
마지막으로 에이저 데이터 익스플로어의 기반 기술인 쿠스트 엔진으로 구축된 실시간 데이터 저장소인 에번트하우스가 있습니다.

00:10:06.440 --> 00:10:12.020
스트리밍 데이터, 로그, IoT 원격 분석, 클릭 스트림 등 빠르게 도착하여 즉시 커리해야 하는 모든 데이터를 처리합니다.

00:10:12.180 --> 00:10:14.720
쿠스트 커리 언어인 KQL을 사용하여 커리합니다.

00:10:14.920 --> 00:10:20.360
온레이크 가용성을 활성화하면 해당 이벤트 데이터는 레이크하우스와 웨어하우스에서 델타 테이블로 액세스할 수 있게 됩니다.

00:10:20.580 --> 00:10:22.300
자, 여기서 이해해야 할 점이 있습니다.

00:10:22.580 --> 00:10:24.820
이 세 가지 모두 동일한 온레이크의 데이터를 저장합니다.

00:10:25.140 --> 00:10:27.760
레이크하우스에서 생성된 테이블은 웨어하우스 커리로 읽을 수 있습니다.

00:10:27.960 --> 00:10:30.540
웨어하우스의 테이블은 스파크 노트북에서 액세스할 수 있습니다.

00:10:30.780 --> 00:10:33.980
이벤트하우스로 수집된 데이터는 파워비아이를 위한 델타 테이블로 노출될 수 있습니다.

00:10:34.240 --> 00:10:37.240
이것들은 별도의 데이터베이스가 아니라 동일한 데이터 레이크에 대한 서로 다른 뷰입니다.

00:10:37.440 --> 00:10:39.020
많은 분들이 점을 잘못 이해하고 있습니다.

00:10:39.280 --> 00:10:42.620
레이크하우스, 웨어하우스, 이벤트하우스가 경쟁 제품이라고 생각하지만 그렇지 않습니다.

00:10:42.620 --> 00:10:45.760
각각 다른 문제를 해결하기 때문에 실제로는 세 가지 모두를 사용하게 됩니다.

00:10:45.940 --> 00:10:50.840
데이터 엔지니어링용 레이크하우스, 비아이용 웨어하우스, 실시간 처리를 위한 이벤트하우스가 모두 동일한 스토리지를 공유합니다.

00:10:51.000 --> 00:10:54.180
온레이크가 스토리지를 처리하고 데이터 저장소가 액세스를 처리합니다.

00:10:54.400 --> 00:10:56.200
그렇다면 누가 무엇을 볼 수 있을까요?

00:10:56.400 --> 00:10:58.200
온레이크 위 보안 및 거버넌스입니다.

00:10:58.520 --> 00:11:01.500
모든 데이터가 한 곳에 저장되므로 보안이 더 간단해집니다.

00:11:01.700 --> 00:11:04.960
쉽게 서로 다른 시스템을 통할 필요 없이 한 곳에서 액세스를 관리합니다.

00:11:04.960 --> 00:11:09.500
CRM에서 권한을 설정하고, 웨어하우스에서 또 설정하고, 파워비아이에서 다시 설정할 필요가 없습니다.

00:11:09.740 --> 00:11:12.380
온레이크는 모든 것에 대해 단일 보안 모델을 제공합니다.

00:11:12.580 --> 00:11:16.680
최상위 수준에는 관리자, 멤버, 기여자, 뷰어라는 작업 영역 역할이 있습니다.

00:11:16.960 --> 00:11:19.520
이들은 특정 작업 영역에서 누가 작업할 수 있는지 제어합니다.

00:11:19.740 --> 00:11:22.340
뷰어인 사람은 항목을 볼 수는 있지만 수정할 수는 없습니다.

00:11:22.660 --> 00:11:24.520
관리자인 사람은 모든 것을 제어합니다.

00:11:24.740 --> 00:11:25.560
매우 간단하죠.

00:11:25.800 --> 00:11:27.500
하지만 더 세부적으로 설정할 수도 있습니다.

00:11:27.500 --> 00:11:32.860
온레이크 보안 역할을 사용하면 폴더 수준, 테이블 수준, 열 수준, 심지어 행 수준까지 액세스를 제어할 수 있습니다.

00:11:33.020 --> 00:11:37.540
예를 들어, 열 수준 보안은 인사팀을 제외한 모든 사람에게서 급여 정보를 숨길 수 있음을 의미합니다.

00:11:37.540 --> 00:11:41.100
행 수준 보안은 영업관리자가 자신의 지역 데이터만 볼 수 있음을 의미합니다.

00:11:41.280 --> 00:11:45.100
이 모든 것이 동일한 온레이크 위에 있기 때문에 모든 데이터 저장소에서 동일하게 작동합니다.

00:11:45.280 --> 00:11:49.080
또한 모든 작업 영역의 데이터를 한눈에 볼 수 있는 중앙도인 온레이크 카탈로그가 있습니다.

00:11:49.360 --> 00:11:54.000
인증된 데이터 세트를 찾고 소유자를 확인하며 한 곳에서 거버넌스를 관리할 수 있습니다.

00:11:54.000 --> 00:11:59.500
분류, 민감도 레이블 지점, 데이터 손실방지를 위해 마이크로소프트 퍼뷰와 통합됩니다.

00:11:59.660 --> 00:12:02.720
따라서 특정 데이터를 기밀이나 극비로 표시해야 하는 경우,

00:12:03.180 --> 00:12:05.680
레이크 수준에서 수행하면 모든 곳에 적용됩니다.

00:12:05.680 --> 00:12:09.420
또한 누가 언제 무엇에 액세스했는지 캡처하는 온레이크 진단 기능이 있습니다.

00:12:09.620 --> 00:12:14.640
이는 감사, 규정 준수 확인 및 지난주에 누가 이 데이터를 건드렸나? 라는 질문에 답하는 데 유용합니다.

00:12:14.840 --> 00:12:19.100
모든 읽기 및 쓰기 작업을 기록하고 해당 로그를 레이크하우스 내의 json 파일로 저장합니다.

00:12:19.320 --> 00:12:22.260
스파크, SQL, 파워비아이로 분석할 수 있습니다.

00:12:22.480 --> 00:12:23.300
핵심은이 겁니다.

00:12:23.660 --> 00:12:28.300
도구마다 규칙을 관리할 필요 없이 모든 데이터에 하나의 보안 모델을 적용하는 것이죠.

00:12:28.500 --> 00:12:30.900
어떤 조직이든 엄청나게 간소화할 수 있습니다.

00:12:31.240 --> 00:12:32.600
실질적인 핵심 요약입니다.

00:12:32.600 --> 00:12:34.380
이것이 여러분에게 의미하는 바입니다.

00:12:34.560 --> 00:12:37.480
그렇다면 오늘부터 패브릭 여정을 시작하는 분들에게의 모든 게 어떤 의미일까요?

00:12:37.660 --> 00:12:38.580
하나씩 살펴보겠습니다.

00:12:38.980 --> 00:12:40.620
새로운 데이터 플랫폼을 구축 중이라면,

00:12:41.000 --> 00:12:43.400
원 레이크로 복잡한 데이터 이동 설계를 할 필요가 없습니다.

00:12:43.680 --> 00:12:45.380
데이터를 레이크에서 웨어하우스로,

00:12:45.720 --> 00:12:48.100
다시 의미 모델로 어떻게 보낼지 고민하지 마세요.

00:12:48.320 --> 00:12:50.740
그저 원 레이크에 넣기만 하면 모든 도구가 그곳에서 데이터를 익습니다.

00:12:50.920 --> 00:12:52.440
원 레이크, 단 하나의 복사본입니다.

00:12:52.620 --> 00:12:54.100
그게 전체 아키텍처의 전부입니다.

00:12:54.300 --> 00:12:55.720
기존 시스템에서 마이그레이션 중이라면,

00:12:55.720 --> 00:12:59.500
바로가기와 미러링 기능을 사용해 데이터를 그대로 둔 채 워크로드를 점진적으로 전환할 수 있습니다.

00:12:59.640 --> 00:13:01.240
대규모 마이그레이션은 필요 없습니다.

00:13:01.560 --> 00:13:03.180
기존 데이터 레이크를 바로가기로 연결하고,

00:13:03.540 --> 00:13:05.040
SQL 서버 데이터베이스를 미러링하세요.

00:13:05.240 --> 00:13:07.560
기존 시스템을 유지하면서 패브릭을 바로 사용하면 됩니다.

00:13:07.820 --> 00:13:09.300
자신만의 속도에 맞춰 움직이세요.

00:13:09.500 --> 00:13:10.720
관점의 변화가 필요합니다.

00:13:10.940 --> 00:13:12.820
프로젝트별로 스토리지를 따로 생각하지 마세요.

00:13:13.020 --> 00:13:15.440
새로운 이니셔티브마다 데이터 레이크를 새로 만들지 마세요.

00:13:15.640 --> 00:13:18.260
모든 프로젝트가 접근하는 하나의 공유 레이크를 생각하세요.

00:13:18.500 --> 00:13:19.860
영업팀 데이터, 재무팀 데이터,

00:13:19.860 --> 00:13:21.500
엔지니어링 팀 데이터까지 모두 말이죠.

00:13:21.660 --> 00:13:23.080
모든 데이터가 같은 곳에 존재합니다.

00:13:23.280 --> 00:13:25.000
단지 팀마다 각자의 데이터 영역을 보는 것뿐입니다.

00:13:25.140 --> 00:13:25.980
파워비아이 사용자의 경우,

00:13:26.220 --> 00:13:27.760
리포트가 원 레이크에서 직접 데이터를 입습니다.

00:13:27.920 --> 00:13:29.980
별도의 가져오기나 중복된 의미 모델은 필요 없습니다.

00:13:30.260 --> 00:13:33.240
데이터 엔지니어가 작업하는 것과 같은 데이터이기에 항상 최신 상태를 유지합니다.

00:13:33.460 --> 00:13:36.780
데이터 엔지니어 입장에서는 파이프라인 구축, 유지 관리, 기버깅 할 일이 줄어듭니다.

00:13:36.940 --> 00:13:38.180
데이터를 한 번만 저장하면 됩니다.

00:13:38.480 --> 00:13:40.140
나머지 팀은 그 데이터를 참조만 하면 되니까요.

00:13:40.260 --> 00:13:41.060
결론은 이건입니다.

00:13:49.860 --> 00:13:50.380
정리되었습니다.

00:13:50.700 --> 00:13:54.320
원 레이크는 단일 복사본 원칙으로 구축된 조직의 유일한 데이터 레이크입니다.

00:13:54.520 --> 00:13:58.420
어떤 도구, 어떤 팀, 어떤 워크로드든 접근할 수 있는 단 하나의 물리적 데이터 복사본이죠.

00:13:58.600 --> 00:14:01.640
데이터 중복도 없고 어떤 버전이 맞는지 혼란스러워 할 필요도 없습니다.

00:14:01.920 --> 00:14:03.580
여러분께 드리는 과제는 간단합니다.

00:14:03.780 --> 00:14:06.720
웹소스에서 바로 가기를 시작하거나 데이터베이스를 미러링해보세요.

00:14:06.980 --> 00:14:10.680
데이터를 옮기기 위해 파이프라인을 구축할 필요가 없을 때 얼마나 간단해지는지 확인해보세요.

00:14:10.920 --> 00:14:13.080
대부분의 조직은 이렇게 빠르게 변화하지 못할 겁니다.

00:14:13.340 --> 00:14:14.860
하지만 여러분은 변화를 주도하세요.

00:14:14.860 --> 00:14:20.620
이번 에피소드가 원 레이크를 이해하는데 도움이 되었다면 마이크로소프트 지식너겟을 구독해 패브릭에 관한 더 많은 콘텐츠를 쉽게 확인하세요.

00:14:20.780 --> 00:14:23.740
그리고 아직도 5개의 서로 다른 데이터 레이크를 관리하는 분들에게 이 영상을 공유해주세요.

00:14:23.900 --> 00:14:25.100
나중에 분명 고마워할 겁니다.
