M365.FM · 日本語
Azure Open Datasets をやさしく解説:機械学習・Power BI・Python で使える無料のクリーンな公開データ
データサイエンスや機械学習を学び始めた人がよくつまずくのは、練習に使える面白いデータがないことです。見つけたファイルは形式がばらばらで、列名の意味が分からず、値も欠けています。このエピソードでは、クリーニング済みの公開データセットを無料で使える Azure Open Datasets を解説し、数週間ではなく数分で始める方法を紹介します。
▶ Azure Open Datasets をやさしく解説:機械学習・Power BI・Python で使える無料のクリーンな公開データ(AI吹き替え)
このエピソードで学べること:
- Azure Open Datasets とは:NOAA、米国国勢調査局、市当局などの公開データを Microsoft がクリーニングし、列指向の Parquet 形式で Azure Storage にホストしたライブラリ
- 生データの4つの課題(探索、準備、規模、再現性)と、天気や祝日などの外部シグナルが機械学習モデルを改善する理由
- カタログの中身:NOAA の気象データ、38か国の祝日、米国の国勢調査と労働統計、ニューヨークのタクシー乗車データ、サンフランシスコの公共安全データ、COVID-19 Data Lake、Diabetes・MIND・オレンジジュース販売などのベンチマーク
- アクセス方法:Azure アカウント不要で Pandas DataFrame を返す Python パッケージ、Azure Machine Learning、Power BI の Azure Blob Storage コネクタ、OPENROWSET を使う Azure Synapse のサーバーレス SQL、Azure Databricks の Spark
- 実際のコスト:データとその保存は無料。支払うのはコンピューティング、データの送信(1GB あたり約8〜9セント)、自分のストレージ。最重要のコツは同じリージョンを使うこと
このエピソードは、Microsoft MVP Mirko Peters による M365 Show のアニメーション動画をAIで吹き替えた日本語版です。