AIモデル学習のためのMicrosoft Fabricノートブック：CSV地獄なしでLakehouseデータを直接学習

ノートPCで20時間走らせた解約予測モデルがメモリ上限で失敗する――珍しい話ではありません。ビジネスデータはとっくにローカル環境の限界を超えています。このエピソードでは、Microsoft FabricのノートブックがLakehouseのデータのそばで学習を行う仕組みを紹介します。エクスポート不要、CSV地獄なし、クラウドでPythonやRを使えます。

▶ AIモデル学習のためのMicrosoft Fabricノートブック：CSV地獄なしでLakehouseデータを直接学習（AI吹き替え）

このエピソードで学べること：

1. 数テラバイト規模のデータでローカルマシンがCPU、メモリ、ディスクI/Oで行き詰まる理由と、サンプリングで重要なパターンが失われる理由
2. Lakehouseへの直接アクセス：Sparkがデータのある場所で結合・フィルター・集計を実行
3. 大規模な特徴量エンジニアリング：肥大化しない特徴量セット、高カーディナリティと時間的パターン、Spark上のFeaturetools
4. モデル選択：XGBoost、LightGBM、ロジスティック回帰、ディープラーニングを同じデータで複数回比較
5. リアルタイム監視、チェックポイント、バージョン管理、分散評価――データはLakehouseから出ない

このエピソードは、Microsoft MVP Mirko Peters による M365 Show のアニメーション動画をAIで吹き替えた日本語版です。