Fabric Notebooks로 AI 모델 학습 가속화하기

By Mirko Peters · 2026-08-28

인공지능(AI)과 머신러닝 프로젝트에는 방대한 연산 능력, 원활한 데이터 통합, 효율적인 처리 워크플로가 필요합니다. …

Automatically translated with AI from the original post. Read the English original

인공지능과 머신러닝 프로젝트에는 방대한 연산 능력, 원활한 데이터 통합, 효율적인 처리 워크플로가 필요합니다. 그동안 데이터 과학자들은 대용량 데이터셋을 여러 환경 사이로 옮기고, 흩어진 도구들을 관리하며, 학습 과정에서 발생하는 상당한 지연 시간을 감당하느라 어려움을 겪어 왔습니다. 이제는 대규모 데이터 엔지니어링과 민첩한 머신러닝 개발을 이어 주는 통합 솔루션이 있습니다. Microsoft Fabric Notebooks를 활용하면 원시 데이터 수집부터 모델 배포까지 전체 운영 파이프라인을 간소화할 수 있습니다.

이번 블로그 글에서는 저희 팟캐스트 에피소드 Train AI Models with Microsoft Fabric Notebooks에서 다룬 핵심 개념을 자세히 살펴보겠습니다. 환경 설정, 데이터셋 효율적 준비, 학습 작업 실행, 모델 관리, 그리고 AI 워크플로를 한층 강화해 줄 모범 사례를 깊이 있게 다룹니다.

Fabric Notebooks 설정

Fabric Notebooks에서 워크스페이스를 설정하면 AI 모델 학습을 위한 견고한 기반을 마련할 수 있습니다. 이 섹션에서는 Fabric Notebooks 개요를 소개하고, 계정 생성부터 첫 노트북 실행까지 각 단계를 안내합니다. 데이터에 얼마나 쉽게 연결하고 Spark를 활용해 강력한 분석을 수행할 수 있는지 확인하실 수 있습니다.

Microsoft Fabric 액세스하기

계정 만들기

먼저 Fabric에 액세스할 수 있어야 합니다. Fabric 무료 계정을 만들면 Fabric 앱에 로그인할 수 있습니다. 이미 Microsoft Power BI를 사용 중이라면 기존 Power BI 계정을 그대로 사용할 수 있습니다. 이 간단한 절차를 거치면 바로 노트북 작업을 시작할 수 있습니다.

팁: 사용자들이 보고한 주요 액세스 문제는 없었으므로 원활하게 가입하실 수 있을 것입니다.

워크스페이스 탐색하기

로그인하면 Fabric 워크스페이스가 표시됩니다. 여기서 프로젝트를 정리하고, 리소스를 관리하며, 레이크하우스에 액세스할 수 있습니다. 워크스페이스 대시보드를 사용하면 노트북, 데이터셋 및 기타 자산을 빠르게 찾을 수 있습니다. 또한 워크스페이스 용량과 설정을 확인하여 AI 프로젝트의 요구 사항을 충족하는지 점검할 수 있습니다.

노트북 실행하기

커널 선택

워크스페이스를 설정한 후 새 노트북을 만들 수 있습니다. 노트북을 실행할 때 커널을 선택합니다. 커널은 프로그래밍 언어와 실행 환경을 제어합니다. Fabric Notebooks는 Python 및 기타 언어를 지원하므로 다양한 AI 작업에 유연하게 활용할 수 있습니다.

라이브러리 설정

분석을 시작하기 전에 라이브러리를 설치하거나 가져와야 할 수 있습니다. Fabric Notebooks에서는 이 과정이 간단합니다. 데이터 과학, 머신러닝 또는 시각화용 라이브러리를 노트북에서 바로 추가할 수 있습니다. 이 설정을 통해 Spark로 대용량 데이터셋을 처리하고 레이크하우스와 원활하게 연결할 수 있습니다.

새 노트북을 만들 때 도구 간에 데이터를 옮기는 번거로움을 피할 수 있습니다. 한 곳에서 데이터를 처리하고, 분석하고, 시각화할 수 있습니다. 이러한 통합은 시간을 절약하고 오류를 줄여 줍니다. Fabric이 처음이라면 학습 곡선이 있다고 느낄 수 있지만, 통합된 워크스페이스와 직접적인 데이터 액세스 덕분에 작업이 훨씬 수월해집니다.

참고: 대규모 프로젝트나 팀과 작업하는 경우 Fabric Notebooks를 사용하면 분산된 워크플로를 피할 수 있습니다. 처음부터 모든 것을 체계적이고 효율적으로 정리할 수 있습니다.

Fabric Notebooks의 데이터 준비

Fabric 노트북에서 데이터 세트를 준비하는 것은 성공적인 AI 모델 학습의 토대를 마련합니다. 내장 도구와 Spark 기반 기능을 활용하면 데이터 수집부터 데이터 시각화까지 모든 단계를 간소화할 수 있습니다.

데이터 가져오기

레이크하우스에 연결

먼저 노트북을 레이크하우스에 연결합니다. 이 연결을 통해 데이터 세트에 직접 액세스할 수 있으므로 시스템 간에 파일을 옮길 필요가 없습니다. 데이터가 있는 위치에서 바로 작업할 수 있어 시간을 절약하고 오류도 줄일 수 있습니다. 레이크하우스는 데이터 세트를 델타 테이블에 저장하므로 필요할 때 정보를 쉽게 로드하고 업데이트할 수 있습니다.

Spark로 데이터 로드

연결한 후에는 Spark를 사용해 데이터를 수집합니다. Spark를 사용하면 대용량 데이터 세트를 빠르고 효율적으로 로드할 수 있습니다. CSV 파일, Parquet 파일, 레이크하우스에 있는 기존 테이블 등 여러 소스에서 데이터를 읽을 수 있습니다. 무거운 작업은 Spark가 처리하므로 메모리 한도를 걱정하지 않고 데이터 작업에 집중할 수 있습니다.

팁: Spark DataFrame을 사용하면 대규모 데이터 세트를 처리할 수 있습니다. 이 방법을 쓰면 가장 큰 데이터 세트도 작업 흐름을 늦추지 않고 관리할 수 있습니다.

데이터 정제

누락된 값 처리

모델을 학습시키기 전에 데이터 세트를 정제하는 것은 핵심 단계입니다. Fabric 노트북에서 Data Wrangler를 실행하면 데이터 세트를 살펴보고 누락된 값을 찾을 수 있습니다. Data Wrangler는 누락된 값 채우기나 불완전한 행 제거 같은 일반적인 정제 작업에 대한 코드를 자동으로 생성합니다. 이 정제 단계를 pandas 또는 PySpark의 재사용 가능한 함수로 내보내면 작업 흐름을 더 효율적으로 만들 수 있습니다.

피처 엔지니어링

피처 엔지니어링은 기존 데이터 세트에서 새로운 변수를 만드는 데 도움이 됩니다. Fabric 노트북의 Python 기반 도구로 데이터를 변환하고, 모델 정확도를 높이는 피처를 만들 수 있습니다. Spark를 사용하면 수백만 행이 있더라도 이러한 변환을 전체 데이터 세트에 쉽게 적용할 수 있습니다.

모범 사례:

1. Spark와 Python 도구를 사용해 데이터 세트를 정제하고 변환합니다.
2. 실험을 만들어 다양한 피처 세트를 테스트합니다.
3. Fabric UI에서 MLflow를 사용해 실행과 결과를 추적합니다.

데이터 탐색

요약 통계

데이터 세트를 탐색하면 구조와 품질을 이해하는 데 도움이 됩니다. 노트북에서 평균, 중앙값, 표준 편차 같은 요약 통계를 바로 생성할 수 있습니다. 이러한 통계를 보면 데이터 세트를 빠르게 파악할 수 있고, 주의가 필요한 문제도 드러납니다.

시각화

데이터 시각화는 데이터 세트에 생명을 불어넣습니다. Fabric 노트북은 내장 시각화 함수를 지원하고 Matplotlib, Bokeh 같은 라이브러리와 통합됩니다. 추가 코드를 작성하지 않아도 표 형식 결과를 차트로 바꿀 수 있습니다. display 함수를 사용하면 데이터와 상호 작용하면서 추세나 이상값을 쉽게 찾을 수 있습니다.

참고: 대화형 데이터 시각화는 AI 모델 학습을 위해 데이터 세트를 준비할 때 더 나은 결정을 내리는 데 도움이 됩니다.

Fabric에서 모델 학습

학습 코드 작성

Python 또는 R 사용

Microsoft Fabric 노트북에서는 여러 언어로 모델 학습 코드를 작성할 수 있습니다. 이 플랫폼은 다음을 지원합니다.

• PySpark(Python)
• Spark(Scala)
• Spark SQL
• SparkR(R)

대부분의 사용자는 유연성과 풍부한 생태계 때문에 Python을 선택합니다. 통계 도구를 선호한다면 R을 사용할 수도 있습니다. PySpark를 사용하면 학습 작업을 여러 노드에 걸쳐 확장할 수 있는데, 이는 대용량 데이터 세트에서 중요합니다. Python은 딥러닝과 PyTorch 모델 개발에도 적합합니다. PyTorch를 사용하려면 라이브러리를 설치하고 바로 PyTorch 모델을 만들기 시작하면 됩니다. 통계적 학습에는 SparkR을, 빠른 데이터 조회에는 Spark SQL을 사용할 수도 있습니다.

코드 셀 구성

코드를 명확하고 논리적인 셀로 구성해야 합니다. 데이터 로드와 정제부터 시작하세요. 피처 엔지니어링과 탐색적 분석을 위한 셀을 추가합니다. 모델 학습 코드는 별도의 셀에 배치합니다. 이렇게 구성하면 앞선 단계를 반복하지 않고도 머신 러닝 실험의 일부를 디버그하고 다시 실행할 수 있습니다. 마크다운 셀을 추가하여 논리를 설명하고 실험을 문서화할 수도 있습니다. 이 방식은 노트북을 읽기 쉽고 다른 사람과 공유하기 좋게 만들어 줍니다.

알고리즘 선택

모델 선택

분석 작업에 맞는 알고리즘을 선택해야 합니다. 로지스틱 회귀는 이진 분류 문제에 적합합니다. 더 고급 모델이 필요하다면 scikit-learn, PySpark ML, TensorFlow, pytorch 같은 라이브러리를 사용할 수 있습니다. pytorch 모델을 구축하려면 Fabric의 GPU 지원을 활용해 학습 과정을 빠르게 진행할 수 있습니다. PyTorch는 딥러닝, 이미지 인식, 자연어 처리 분야에서 널리 쓰입니다. 사전 학습된 모델을 전이 학습하거나 미세 조정하는 데도 pytorch를 사용할 수 있습니다.

알고리즘을 선택할 때는 데이터 규모, 문제 유형, 그리고 보유한 리소스를 고려해야 합니다. Microsoft Research가 개발한 FLAML은 모델을 효율적으로 학습하도록 도와줍니다. 컴퓨팅 사용량이 적고 병렬 작업과도 잘 맞습니다. 그래서 대규모 머신 러닝 실험을 실행할 때 좋은 선택이 됩니다.

하이퍼파라미터 설정

하이퍼파라미터는 모델이 학습하는 방식을 제어합니다. flaml.tune을 사용하면 최적의 설정을 찾을 수 있습니다. Fabric은 Spark의 병렬 처리 덕분에 여러 튜닝 시도를 동시에 실행할 수 있습니다. 즉, 학습률, 배치 크기, 레이어 구성을 달리해 pytorch 모델을 빠르게 테스트할 수 있습니다. 실험 추적 기능을 사용하면 머신 러닝 실험에서 각 시도를 기록할 수 있습니다. 시각화 도구로 결과를 비교하고 최적의 구성을 고를 수 있습니다. 모델 테스트와 모델 학습 과정에서 어떤 설정이 가장 효과적인지도 확인할 수 있습니다.

팁: 실험 추적 기능으로 모든 시도, 지표, 매개 변수를 기록하세요. 성공한 실험을 반복하고 실수를 피하는 데 도움이 됩니다.

학습 작업 실행

진행 상황 모니터링

학습 작업을 실시간으로 모니터링할 수 있습니다. Fabric 노트북에서는 각 단계의 성능을 확인할 수 있습니다. High Concurrency 모드를 사용하면 작업 속도를 약 30% 높일 수 있습니다. 노트북의 각 단계마다 상세한 로그를 확인할 수 있습니다. MLflow 통합으로 자동 로깅이 가능하므로 지표를 직접 기록할 필요가 없습니다. 학습 세션을 정의하고 기록할 매개 변수와 지표를 선택할 수 있습니다. 이를 통해 학습 진행 상황을 손쉽게 추적하고 서로 다른 실험을 비교할 수 있습니다.

PySpark 노트북이 대용량 데이터 세트를 더 잘 처리한다는 것을 알 수 있습니다. 대용량 데이터로 pytorch 모델이나 다른 딥러닝 모델을 학습할 때 이 점이 중요합니다.

체크포인트

체크포인트를 사용하면 학습 중 모델의 상태를 저장할 수 있습니다. 작업이 중단되거나 일시 중지해야 할 때는 마지막 체크포인트에서 다시 시작할 수 있습니다. 장시간 실행되는 pytorch 모델 학습 작업에 유용합니다. 다시 시작해야 하더라도 진행 상황을 잃지 않습니다. 체크포인트를 활용해 다양한 학습 전략을 테스트하거나 특정 시점부터 머신 러닝 실험을 이어갈 수도 있습니다.

참고: 대규모 데이터 세트로 모델을 학습할 때는 항상 체크포인트를 설정하세요. 시간을 절약하고 작업 결과를 안전하게 보호할 수 있습니다.

이제 Microsoft Fabric 노트북에서 머신 러닝 모델을 학습, 테스트, 모니터링하는 도구를 갖추셨습니다. 실험을 실행하고 하이퍼파라미터를 튜닝하며, 어떤 데이터 과학 과제에도 적용할 수 있는 강력한 pytorch 모델 솔루션을 구축할 수 있습니다.

AI 모델 학습 워크플로

Microsoft Fabric 노트북에서 워크플로를 익히면 AI 모델 학습의 잠재력을 최대한 끌어낼 수 있습니다. 이 섹션에서는 분산 평가, 모델 튜닝, 내장 AI 함수 활용 방법을 설명합니다. Spark, 실시간 모니터링, Copilot 기능이 더 나은 모델을 더 빠르게 구축하는 데 어떻게 도움이 되는지 살펴보겠습니다.

분산 평가

성능 평가

Spark의 분산 컴퓨팅을 활용하면 대규모 데이터 세트에서도 모델 성능을 평가할 수 있습니다. Spark는 테스트 데이터를 작은 부분으로 나누어 병렬로 처리합니다. 그래서 결과를 몇 시간씩 기다릴 필요가 없습니다. 노트북 안에서 정확도, 정밀도, 재현율 같은 지표를 바로 확인할 수 있습니다. 이 방식은 수백만 건의 레코드에서 모델을 테스트해야 하는 pytorch 딥러닝에 특히 효과적입니다. Fabric의 실시간 모니터링을 사용하면 평가가 실행되는 동안 리소스 사용량과 작업 진행 상황을 지켜볼 수 있습니다.

모델 비교

노트북에서는 여러 모델을 나란히 비교할 수 있습니다. 예를 들어 같은 데이터 세트로 pytorch 모델과 scikit-learn 모델을 학습할 수 있습니다. 각 모델의 결과를 기록하고 기본 제공 차트로 시각화할 수 있습니다. 이를 통해 AI 모델 학습 프로젝트에 가장 적합한 모델을 고를 수 있습니다. 실험 추적 기능을 사용하면 결과를 저장하고 팀과 공유할 수도 있습니다. 덕분에 성공한 실험을 손쉽게 반복하고 작업 흐름을 개선할 수 있습니다.

모델 튜닝

하이퍼파라미터 탐색

하이퍼파라미터를 조정하면 모델의 정확도를 높일 수 있습니다. Microsoft Fabric Notebooks는 이 작업을 위해 Optuna 같은 고급 도구를 지원합니다. 다음은 따라 할 수 있는 간단한 작업 흐름입니다.

1. Optuna로 시도 결과를 저장할 스터디를 만듭니다:

   study = optuna.create_study(direction="maximize")

2. 설정한 횟수만큼 시도를 반복하여 스터디를 최적화합니다:

   study.optimize(objective, n_trials=60, show_progress_bar=True)

3. 시도 결과를 출력합니다:

   print("Number of finished trials:", len(study.trials))

플롯으로 탐색 결과를 시각화할 수도 있습니다. plot_optimization_history(study).show()를 사용하면 시간에 따라 모델이 어떻게 개선되는지 확인할 수 있습니다. plot_param_importances(study).show()를 사용하면 어떤 설정이 가장 중요한지 파악할 수 있습니다. plot_parallel_coordinate(study).show()를 사용하면 서로 다른 매개변수가 어떻게 상호작용하는지 살펴볼 수 있습니다. 코드를 그대로 복사하지 말고, 여러 하이퍼파라미터를 직접 바꿔 보며 실험하십시오. 그래야 pytorch 모델이나 다른 모델에서 최적의 결과를 얻을 수 있습니다.

과적합 방지

AI 모델 학습으로 만든 모델은 학습 데이터뿐만 아니라 새로운 데이터에서도 잘 작동해야 합니다. 과적합은 모델이 학습 데이터를 지나치게 잘 학습한 나머지 새로운 사례에서 실패할 때 발생합니다. 이를 막으려면 교차 검증과 스태킹 기법을 사용할 수 있습니다.

스태킹에서는 일반적으로 교차 검증을 사용해 메타 모델의 예측값을 생성합니다. 이렇게 하면 학습 데이터의 정보가 테스트 단계로 새어 나가는 것을 방지할 수 있습니다. 구조가 다소 복잡해지지만 그만큼 견고성이 높아집니다.

pytorch의 조기 종료, 정규화, 드롭아웃 레이어를 사용하여 모델을 더 견고하게 만들 수도 있습니다. 항상 검증 점수를 확인하고, 과적합의 징후가 보이면 학습 과정을 조정하십시오.

기본 제공 AI 함수

텍스트 분류

Microsoft Fabric Notebooks의 기본 제공 AI 함수를 사용하면 일반적인 작업에 드는 시간을 줄일 수 있습니다. 텍스트 분류에는 Classify 함수를 사용하여 이메일, 지원 티켓, 문서를 범주별로 분류할 수 있습니다. 긴급 요청을 라우팅하거나 고객 피드백에 태그를 지정하는 등의 업무에 효과적입니다. 더 고급 분류 작업이 필요하다면 직접 pytorch 모델을 구축할 수도 있습니다.

감정 분석

감정 분석은 고객 리뷰나 소셜 미디어 게시물처럼 텍스트의 어조를 파악하는 데 도움이 됩니다. Sentiment Analysis 함수를 사용하면 부정적인 댓글을 표시하고 신속하게 대응할 수 있습니다. 이 기능은 노트북에서 별도 설정 없이 바로 사용할 수 있으므로 복잡한 코드를 작성할 필요가 없습니다. 기본 제공 함수와 자체 pytorch 모델을 함께 사용하면 더 나은 결과를 얻을 수도 있습니다.

AI 모델 학습 작업 흐름에서 사용할 수 있는 기본 제공 AI 함수는 다음 표와 같습니다.

Copilot을 사용하면 코드를 생성하고, 개선 사항을 제안하고, 반복되는 단계를 자동화할 수 있습니다. 이를 통해 AI 모델 학습 과정을 더 빠르고 생산적으로 진행할 수 있습니다. Copilot이 일상적인 작업을 처리하는 동안 pytorch 모델을 구축하고 튜닝하는 데 집중할 수 있습니다.

Microsoft Fabric Notebooks에서 이 작업 흐름을 따르면 AI 모델 학습을 확장하고, pytorch 모델을 효율적으로 튜닝하며, 기본 제공 AI 함수로 실제 문제를 해결할 수 있습니다.

모델 관리 및 배포

모델 저장

내보내기 및 버전 관리

Fabric에서 PyTorch 모델을 안정적으로 저장하고 추적하려면 신뢰할 수 있는 방법이 필요합니다. 먼저 MLflow를 사용해 모든 학습 실행을 기록하세요. MLflow는 파라미터, 메트릭, 아티팩트를 기록합니다. 이를 통해 필요할 때 PyTorch 모델의 최적 버전을 쉽게 찾을 수 있습니다. 실험 추적을 시작할 때 자동 로깅(autologging)을 활성화하세요. 그러면 첫 번째 실행부터 중요한 세부 정보를 모두 수집할 수 있습니다. 나중에 로그를 추가할 수는 없으므로 일찍 시작하는 것이 중요합니다.

Delta Lake 타임 트래블을 사용하면 학습 데이터의 정확한 버전을 고정할 수 있습니다. 이렇게 하면 결과를 언제든지 재현할 수 있습니다. 각 PyTorch 모델을 MLflow 모델 레지스트리에 등록하세요. 버전, 학습 데이터 해시, 성능 메트릭, 소유자를 함께 포함합니다. 이렇게 하면 모델 관리를 위한 명확한 감사 추적(audit trail)이 만들어집니다. 모델을 프로덕션으로 옮기기 전에 사람이 검토하는 프로세스를 구성하세요. Fabric 배포 파이프라인과 연결된 Azure DevOps 풀 request 승인을 사용하면 됩니다. 이 단계는 워크플로를 안전하고 규정을 준수하도록 유지해 줍니다.

팁: 가장 좋은 PyTorch 모델은 항상 MLflow에 등록해 두세요. 문제가 발견되면 이전 버전으로 롤백할 수 있습니다.

노트북 공유

협업 기능

노트북에서는 팀과 쉽게 협업할 수 있습니다. 이 플랫폼은 레이크하우스에 직접 연결되므로 모든 구성원이 같은 데이터를 사용합니다. 노트북은 코드, 주석, 출력 결과를 한 곳에 모아 줍니다. 그래서 아이디어와 결과를 간단하게 공유할 수 있습니다. 팀원들은 같은 데이터셋에서 Python이나 R처럼 각자 선호하는 프로그래밍 언어를 사용할 수 있습니다. 이러한 유연성 덕분에 모든 구성원이 모델 관리와 실험 추적에 기여할 수 있습니다.

모델 배포

Fabric 파이프라인 통합

Fabric 배포 파이프라인을 사용해 PyTorch 모델을 배포할 수 있습니다. 이 파이프라인은 개발, 테스트, 프로덕션 환경 전반에서 모델을 관리하는 데 도움을 줍니다. 모든 단계에서 제어와 일관성을 유지할 수 있습니다. Microsoft Fabric Deployment Pipelines의 시각적 워크플로를 사용하면 PyTorch 모델이 현재 어디에 있고 다음에 어떤 단계가 있는지 확인할 수 있습니다. 통제된 환경을 거쳐 PyTorch 모델을 승격시킬 수 있습니다. 이 과정을 통해 팀이 모델 관리의 모범 사례를 따르도록 보장할 수 있습니다.

• SynapseML을 사용해 Azure OpenAI 서비스와 통합하세요.
• 배포에는 Python SDK를 사용하세요.
• REST API를 통해 PyTorch 모델에 액세스하세요.
• 일반적인 사용 사례로는 텍스트 요약과 감정 분석이 있습니다.

실시간 추론

PyTorch 모델을 실시간 추론에 제공할 수 있습니다. 즉, 새로운 데이터가 도착하는 즉시 예측할 수 있습니다. 예를 들어 배포된 PyTorch 모델을 사용해 지원 티켓을 분류하거나 고객 피드백을 즉시 분석할 수 있습니다. MLflow는 모든 배포를 추적하므로 어떤 버전의 PyTorch 모델이 실행 중인지 알 수 있습니다. 필요하면 배포를 빠르게 업데이트하거나 롤백할 수도 있습니다.

참고: 실시간 추론은 지연 없이 비즈니스 요구에 대응하는 데 도움이 됩니다. 프로덕션에서 PyTorch 모델을 모니터링하고 관리하려면 MLflow를 사용하세요.

이 단계를 따르면 Fabric에서 PyTorch 모델의 저장, 공유, 배포를 처리할 수 있습니다. 워크플로를 체계적으로 유지하고 결과를 재현 가능하게 만들 수 있습니다. MLflow와 노트북은 실험을 추적하고 모델을 대규모로 관리하는 데 필요한 도구를 제공합니다.

Fabric 노트북의 모범 사례

재현성

워크플로 문서화

AI 프로젝트를 쉽게 반복하고 이해할 수 있도록 항상 워크플로를 문서화하세요. 좋은 문서는 여러분과 팀이 모델 학습의 모든 단계를 추적하는 데 도움을 줍니다. 먼저 각 실험의 비즈니스 맥락을 설명하세요. 모델이 무엇을 예측하는지, 어떻게 사용하는지, 알려진 한계가 무엇인지 명확하게 설명하면서 모델을 등록하세요. 노트북의 마크다운 셀을 사용해 로직과 결정 사항을 설명하세요. 이런 습관은 작업 내용을 더 쉽게 공유하고 검토하도록 만들어 줍니다.

• 각 실험의 정확한 학습 데이터 버전을 고정하려면 Delta Lake 타임 트래블을 사용하세요.
• 재사용 가능한 피처 테이블을 만들어 피처 엔지니어링과 학습을 분리하세요.
• 실험을 시작할 때 자동 로깅(autologging)을 활성화해 모든 파라미터와 결과를 수집하세요.
• 프로덕션 전에 모델을 스테이징하세요. 홀드아웃 데이터로 검증하고 현재 모델과 비교하세요.
• 실제 결과와 예측값을 정기적으로 비교하여 모델 드리프트를 점검하는 일정을 수립하십시오.

팁: 실험은 진행하면서 그때그때 문서화하십시오. 그렇게 하면 나중에 시간을 절약하고 혼선을 피할 수 있습니다.

환경 관리

환경을 체계적으로 관리하면 실행할 때마다 결과가 일관되게 유지됩니다. 사용하는 모든 라이브러리와 종속성의 버전을 기록해 두십시오. 이렇게 하면 본인이나 팀원이 노트북을 다시 실행할 때 예상치 못한 문제를 피할 수 있습니다. 환경 파일이나 패키지 목록을 활용해 구성 내용을 추적하십시오. 작업물을 공유할 때 이러한 세부 정보를 함께 포함하면, 다른 사람도 문제없이 결과를 재현할 수 있습니다.

협업

팀 공유

Fabric에서 팀으로 작업하는 것은 간단하고 효과적입니다. 동료와 노트북을 공유하고 사용자별 권한을 설정할 수 있습니다. 이 제어 기능을 통해 누가 작업물을 보고 편집할 수 있는지 결정할 수 있습니다. 팀원들은 셀 단위 댓글을 추가하여 코드에 대해 토론하고, 질문하거나, 변경을 제안할 수 있습니다. 이러한 기능은 모든 구성원이 같은 방향을 바라보며 프로젝트를 함께 진행하는 데 도움이 됩니다.

• 팀원과 노트북을 직접 공유하십시오.
• 사용자 권한을 설정하여 액세스를 제어하십시오.
• 셀 단위 댓글을 사용하여 피드백을 주고받고 토론하십시오.

코드 검토

코드 검토는 품질 향상과 학습에 중요합니다. 노트북은 버전 기록을 지원하므로 무엇이 언제 변경되었는지 확인할 수 있습니다. 필요하면 이전 버전으로 롤백할 수도 있습니다. Git 통합을 사용하면 소스 제어로 변경 내용을 더욱 정밀하게 추적할 수 있습니다. 이러한 도구를 활용하면 코드를 쉽게 검토하고, 오류를 찾아내며, 프로젝트를 안전하게 유지할 수 있습니다.

• 변경 내용을 추적하려면 버전 기록을 확인하십시오.
• 필요한 경우 이전 버전으로 롤백하십시오.
• 고급 소스 제어를 위해 Git 통합을 사용하십시오.

성능 최적화

리소스 관리

리소스를 현명하게 관리하면 성능을 최적화할 수 있습니다. 워크로드에 맞게 컴퓨팅 용량의 크기를 적정하게 조정하십시오. 사용량이 많은 시간대에는 용량을 늘리고, 사용하지 않을 때는 리소스를 일시 중지하십시오. 예약 용량과 스팟 워크로드를 활용하면 비용을 절감하는 데 도움이 됩니다. 예산과 알림을 설정하여 과다 지출을 방지하십시오. 워크로드 피크를 모니터링하면 병목 현상을 조기에 발견할 수 있습니다.

효율적인 데이터 처리

효율적인 데이터 처리는 AI 프로젝트의 속도를 높여 줍니다. 데이터를 제자리에서 처리하여 데이터 이동을 최소화하고 시간을 절약하십시오. 스토리지를 정리하면 성능이 향상됩니다. 재사용 가능한 기능 테이블을 활용하면 작업을 반복하지 않아도 됩니다. 병렬 하이퍼파라미터 튜닝을 사용하면 여러 설정을 동시에 테스트할 수 있어 실험 속도가 빨라집니다. 결과를 체계적으로 관리하려면 항상 실험을 추적하십시오.

참고: 효율적인 데이터 처리와 스마트한 리소스 관리는 AI 프로젝트의 효과를 극대화하는 데 도움이 됩니다.

문제 해결

Microsoft Fabric Notebooks로 작업하다 보면 진행을 늦추는 문제에 부딪힐 수 있습니다. 흔히 발생하는 문제를 해결하는 방법을 알아 두면 프로젝트를 계획대로 진행하는 데 도움이 됩니다. 이 섹션에서는 디버깅 방법과 필요할 때 지원을 받는 방법을 실질적으로 안내합니다.

디버깅

명확한 절차를 따르면 많은 문제를 해결할 수 있습니다. 먼저 Microsoft Fabric 포털의 Monitoring Hub를 확인하십시오. 이 도구는 파이프라인 실패나 워크스페이스의 오류 여부를 보여 줍니다. 문제가 발견되면 워크스페이스 이름, 활성자(activator), 이벤트스트림 소스 등 세부 정보를 살펴보십시오. 이러한 정보는 근본 원인을 빠르게 찾는 데 도움이 됩니다.

데이터 파이프라인과 노트북을 디버깅하려면 다음 단계를 따르십시오.

1. Monitoring Hub에서 실패한 작업이나 오류를 확인하십시오.
2. 특히 Azure SQL 또는 기타 연결된 서비스의 모든 연결과 자격 증명을 검증하십시오.
3. 디버그 모드를 사용하여 데이터 파이프라인을 단계별로 실행하고 멈추는 지점을 찾으십시오.
4. 작업이 계획대로 실행되도록 일정 및 트리거 설정을 검토하십시오.
5. 성능이 느린 원인이 용량 부족인지 리소스 사용량을 모니터링하여 확인하십시오.
6. Microsoft Fabric 상태 페이지를 방문하여 서비스 중단이나 업데이트 여부를 확인하십시오.
7. 파이프라인을 복제하거나 초기화해야 하는 경우 '다른 이름으로 저장' 기능으로 내보내고 가져오십시오.
8. 무슨 일이 있었는지 추적할 수 있도록 규칙 ID, 조건, 타임스탬프, 영향을 받는 개체를 기록하십시오.

팁: 노트북을 실행하고 디버깅할 때는 변경 사항과 작업 내역을 항상 기록하십시오. 이렇게 하면 문제의 원인을 추적하고 팀과 결과를 공유하기가 더 쉬워집니다.

지원 리소스

스스로 문제를 해결할 수 없다면 여러 지원 옵션을 활용할 수 있습니다. Microsoft는 활발한 커뮤니티와 공식 도움말 채널을 제공합니다. 이러한 리소스를 활용하면 답을 얻고 다른 사용자에게서 배울 수 있습니다.

• Microsoft Docs에는 단계별 가이드와 문제 해결 문서가 있습니다.
• 커뮤니티 포럼에서는 질문을 올리고 동료 사용자와 Microsoft 직원 모두에게 조언을 구할 수 있습니다.
• 지원 티켓을 열면 더 복잡한 문제에 대해 Microsoft 전문가와 연결됩니다.
• 모니터링 허브와 상태 페이지에서 진행 중인 문제나 서비스 중단 소식을 계속 확인할 수 있습니다.

도움을 요청할 때는 작업 영역 이름, 이벤트 스트림 원본, 규칙 ID, 문제가 발생한 시간 등 중요한 세부 정보를 포함하세요. 이러한 정보가 있으면 지원 팀이 더 빠르고 정확하게 대응할 수 있습니다.

참고: 커뮤니티에 참여하면 빠르게 해결책을 찾는 경우가 많습니다. 많은 사용자가 공유하는 팁과 모범 사례는 앞으로 비슷한 문제를 피하는 데 도움이 될 수 있습니다.

이러한 문제 해결 단계를 따르고 사용 가능한 지원 리소스를 활용하면 Fabric 노트북에서 발생하는 대부분의 문제를 해결하고 프로젝트를 계속 진행할 수 있습니다.

Microsoft Fabric Notebooks로 AI 모델 학습을 가속화할 수 있습니다. Power BI와 비슷한 익숙한 인터페이스 덕분에 작업 흐름이 직관적이고 생산성도 높아집니다. 데이터 엔지니어링, 분석, AI 지원을 결합한 통합 환경에서 작업하므로 도구를 오가며 전환할 필요가 없습니다. 이러한 통합 덕분에 데이터 준비부터 배포까지 모든 단계가 더 간소화됩니다.

다음 리소스로 기술을 더 발전시켜 보세요.

• 실습 연습을 위한 Microsoft Learn
• 전문성을 검증하는 자격증 프로그램
• 손쉬운 데이터 정리를 위한 Data Wrangler
• 실험 추적을 위한 MLflow
• 통합 데이터 저장을 위한 Lakehouse

지금 바로 시작하여 확장 가능하고 효율적인 AI 모델 개발의 잠재력을 최대한 활용해 보세요. 이러한 기법과 전문가 논의에 대한 자세한 내용은 관련 팟캐스트 에피소드를 꼭 확인하세요: Train AI Models with Microsoft Fabric Notebooks.