AI 학습을 위한 Microsoft Fabric 노트북: CSV 혼란 없이 Lakehouse 데이터로 바로 모델 학습

노트북에서 20시간 돌린 이탈 예측 모델이 RAM 한계로 실패하는 일은 드물지 않습니다. 비즈니스 데이터는 이미 로컬 하드웨어를 넘어섰습니다. 이번 에피소드는 Microsoft Fabric 노트북이 학습을 Lakehouse 데이터 곁으로 가져가는 방법을 보여줍니다. 내보내기도, CSV 혼란도 없이 클라우드에서 Python 또는 R로 작업합니다.

▶ AI 학습을 위한 Microsoft Fabric 노트북: CSV 혼란 없이 Lakehouse 데이터로 바로 모델 학습 (AI 더빙)

이번 에피소드에서 배울 내용:

1. 멀티 테라바이트 데이터셋에서 로컬 PC가 CPU, RAM, 디스크 I/O에 막히는 이유와 샘플링이 중요한 패턴을 잃게 하는 이유
2. Lakehouse 직접 액세스: Spark가 데이터가 있는 곳에서 조인, 필터, 집계를 실행
3. 대규모 피처 엔지니어링: 군더더기 없는 피처 세트, 높은 카디널리티와 시간 패턴, Spark 기반 Featuretools
4. 모델 선택: XGBoost, LightGBM, 로지스틱 회귀, 딥러닝 – 같은 데이터로 여러 실행 비교
5. 실시간 모니터링, 체크포인트, 버전 관리, 분산 평가 – 데이터는 Lakehouse를 떠나지 않음

이 에피소드는 Microsoft MVP 미르코 피터스의 M365 Show 애니메이션 영상을 AI로 더빙한 한국어 버전입니다.