本日のエピソードへようこそ今日のトピックは会議や技術記事で耳にしたことがあるであろうマイクロソフトファブリックですしかし多くの人と同じように実際には何なのかよくわからないという方も多いでしょう単なる新しいマイクロソフト製品なのか古いもののブランド変更なのかそれとも全く別のものなのでしょうか短くお答えしましょうマイクロソフトファブリックは単なる新しい製品ではありませんこれは完全なデータプラットフォームでありデータの保存変換分析レポーティングといったすべての作業を一箇所で行える場所ですこのエピソードの終わりにはファブリックとは何かなぜマイクロソフトがそれを構築したのかそして主要な要素がどのように組み合わさっているのかを理解できるはずですコーヒーを片手に早速見ていきましょうかつての手法となぜデータが分断されていたのかファブリックが存在する理由を理解するにはそれが解決する問題を理解する必要があります20年前企業を経営していたならデータ保存用のサーバーレポート作成用の別ツールそしてリアルタイム分析用のまた別の製品を購入しなければなりませんでした気づかないうちにそれぞれにログインが必要で操作方法や管理チームも異なる5つの異なるシステムを抱えることになります長い間データはサイロ化されていました販売データは一つのシステム顧客データは別のシステム財務データはまた別の場所に存在していました最も収益性の高い製品を購入している顧客は誰かといったシステムを横断する質問をしたい場合データを移動させる必要がありましたあるシステムからエクスポートし変換して別のシステムに読み込みデータが更新されるたびにそれを繰り返すのです実際には分析そのものよりもシステム間でデータを移動させることに遥かに多くの時間が費やされていましたデータ統合はチーム全体にとってフルタイムの仕事となっていました最悪なのはデータを移動するたびにコピーが作成され真実のバージョンが乱立しすぐに誰もどのコピーが正しいのかわからなくなったことですマイクロソフトはこの断片下に目を向け単純な疑問を投げかけましたもしこれらすべてのサービスが連携できたらどうなるだろうか個別の製品を継ぎ剥ぎするのではなくすべてを網羅する一つのプラットフォームがあればどうだろうかその問いこそがマイクロソフトファブリックを生み出すきっかけとなりましたマイクロソフトファブリックとは何かではファブリックとは何でしょうか最もシンプルな定義はこうですマイクロソフトファブリックは統合されたデータ及び分析プラットフォームですあらゆるデータ作業を一箇所で行える場所ですモダンなオフィスビルを想像してみてくださいパワーBIやAzure Synapseといった各ツールはそのビル内の個別の部屋ですそれぞれに目的、備品、ツールがありますがすべて同じ構造体の一部ですある部屋から別の部屋へ移動するために外へ出る必要はありませんそれらは繋がっているのですそれがファブリックの役割ですデータエンジニアリング、データ統合、データウェアハウス、リアルタイム分析そしてビジネスインテリジェンスを一つのプラットフォームに集約しますすべてが単一のSaaSプラットフォーム上で動作するため管理すべきインフラもプロビジョニングするサーバーもネットワーク設定も不要ですマイクロソフトがすべてお任せで対応します2023年の発表以来ファブリックはマイクロソフト史上最も急速に成長したデータ製品となりました現在フォーチュン500企業の80%を含む2万5000社以上の顧客が利用しています非常に短期間でこれほど多くの企業に採用されています決定的な違いはこうですこれまでは別々の製品を購入しそれらを連携させる必要がありましたファブリックならもう異なるサービスをつなぎ合わせる必要はありません一つの体験一つのログイン一つの作業フローそれがすべてを変えるのです基盤となるワンレイクではこれを支える基盤についてお話ししましょうファブリックの中心にあるのがワンレイクですワンレイクを理解する一番の近道はデータのワンドライブだと考えることですワンドライブを使えば個人のファイルを一箇所に保存しPCのすべてのアプリからアクセスできますよねワンレイクはそれを組織のデータに対して行うものです何がそんなに強力なのかレイクハウスウェアハウスリアルタイム分析などファブリックのあらゆるワークロードが自動的にワンレイクへデータを保存するからです手動でコピーしたり接続設定をしたりする必要はありませんすべて自動で行われますテナントごとにワンレイクは一つ組織全体にとっての唯一の信頼できるデータ源となりますもし後で別のプラットフォームに乗り換えたくなったらと思うかもしれませんね囲い込まれてしまわないかと答えはいいえですワンレイクはデータブリックスやアパッチスパークで使われる業界標準のデルタパーケットといったオープンフォーマットを採用していますマイクロソフトに縛られることはありませんデータを他の場所へ移動したければいつでも可能ですそれはあなた自身のデータなのですからしかしワンレイクの真に面白い点はショートカットにありますショートカットとは別の場所に存在するデータへの仮想ポインタですAWSS3やGoogleクラウドオンプレミスにあるデータへのショートカットを作成すればあたかもワンレイク内にあるかのように表示されますデータの移動は不要で重複も発生しませんポイントするだけでデータがそこに現れますワンレイクはAzure Data Lake Storageという企業向けクラウドストレージを基盤としていますがSaaSとして提供されるためインフラ管理は不要ですサーバーの準備やネットワークの設定を気にすることなくただ利用するだけですこれはあなたにとって何を意味するのでしょうかそれは複数のソースクラウドストレージオンプレミスのデータベースサードパーティ製プラットフォームからのデータを重複させることなく一箇所に集約できることを意味しますそして真のパワーとはワンレイクに書き込まれたあらゆるデータはファブリックのあらゆるワークロードで即座に使用可能です一度書き込めばファブリック内のすべてのツールからそのデータを参照できますそれがワンレイクの魔法ですデータエンジニアリングのハブレイクハウスワンレイクにデータを格納したら次はそれを使って作業する必要がありますそこで登場するのがレイクハウスです最もシンプルな定義をご紹介しましょうレイクハウスとはデータレイクの柔軟性とデータベースの構造を組み合わせたデータストアです従来のデータレイクではCSVファイル、JSONドキュメント、画像、動画ファイルなど何でも保存できますが構造やスキーマがないため簡単にクエリを実行できません従来のデータベースではすべてが構造化されておりクエリ可能ですが特定の種類のデータしか保存できませんレイクハウスはその両方を提供しますCSVやJSONなどの生ファイルあるいは画像さえもレイクハウスに保存できますさらにSQLでクエリ可能な構造化テーブルも保存できます両方が同じ場所に共存するのですこれらのテーブルはデルタパーケット形式を使用していますこれはデータブリックスなどの主要プラットフォームでも採用されている大規模データ処理用に設計された高速なオープンフォーマットですレイクハウスは複数のツールをサポートしています大規模なデータ処理にはスパークを使用できます機械学習にはPythonを使用できますシンプルなクエリにはSQLを使用できますどのツールを使ってもレイクハウスなら対応可能ですレイクハウスはデータパイプラインを構築するためのワークスペースだと考えてください生データを取り込み変換クレンジングし分析の準備を整えますそのデータで機械学習モデルを実行することもできます学習用データセットの作成もすべて一箇所で行えますコードベースの環境を好むデータエンジニアのためにレイクハウスはノートブックをサポートしていますこれはコードを書き結果を確認し作業内容を記録できるインタラクティブなドキュメントでデータのための実験ノートのようなものですあるセルでスパークコードを書き次のセルで出力を確認しその後のセルで作業内容を説明するといった使い方ができますレイクハウスはファブリックで働く多くのデータエンジニアにとっての入り口となりますここで負荷の高い処理が行われますすべてのデータがワンレイクに保存されるためレイクハウスに入れたデータはSQL分析エンジンであるウェアハウスを含む他のすべてのファブリックワークロードですぐに利用可能になりますさてレイクハウスがデータエンジニアリングのハブだとすればウェアハウスは異なる種類のユーザー向けに構築されたSQL分析エンジンだと考えてくださいファブリックのウェアハウスはフルマネージド型のSQL分析データベースですデータベース管理者やSQL開発者の方ならすぐに馴染めるはずですSQLクエリの記述、ビューやストアドプロシージャ、セキュリティポリシーの作成が可能です従来のデータウェアハウスのような使い心地ですがここが他とは異なります従来のデータウェアハウスとは異なりファブリックのウェアハウスはデータをワンレイクに直接格納します個別のストレージ層や管理が必要な余分なインフラは存在しませんデータはワンレイクに存在しウェアハウスはそのデータをクエリするためのインターフェースにすぎませんこれが重要なのはウェアハウスとレイクハウスで同じデータを共有しており重複が発生しないからですデータエンジニアがレイクハウスにデータを読み込めばSQL開発者はすぐにウェアハウスからクエリを実行できますコピーも移動も不要です同じデータに異なるツールからアクセスしているだけなのですウェアハウスは大規模な分析のために構築されています内部では超並列処理を利用して膨大なデータセットを処理しますさらにマイクロソフトはパフォーマンス向上に多大な投資を行ってきました過去6ヶ月間だけでもパフォーマンスは36%向上しています短期間で大幅な改善がなされています他のプラットフォームから移行する場合ファブリックにはスノーフレークやシナプスからの移行を支援する移行アシスタントがあります既存のセットアップを分析し移行プロセスをガイドしてくれますその目的は移行を可能な限り手間のかからないものにすることですではレイクハウスとウェアハウスの違いは何でしょうかそれはインターフェースの違いに集約されますウェアハウスはSQLファーストですテーブル、クエリ、ストアドプロセージャを重視する人向けに構築されていますレイクハウスは開発者ファーストですスパーク、パイソン、ノートブックを使いたい人向けに構築されていますしかしその基盤となるデータはどちらもワンレークに格納されています同じデータを扱うための2つの異なるアプローチですデータの取り込み、データファクトリー、ミラーリング、ショートカットについて説明しますストレージ用のワンレーク、変換用のレイクハウス、クエリ用のウェアハウスがありますがデータは実際にどう取り込まれるのでしょうかそこで活躍するのがデータファクトリーですデータファクトリーはファブリックの組み込みデータ統合サービスであり200以上のコネクタでデータベースやクラウドストレージ、SaaSアプリなどからデータを収集できます世界で最も利用されているデータ統合ツールであり、それには十分な理由がありますデータファクトリーにはデータフローズGen2が含まれておりパワークエリを使用してノーコードでデータを変換できますExcelやPower BIでパワークエリを使ったことがある方なら、操作はすでにご存知のはずです視覚的なインターフェースでクリック操作を重ね、データのクリーニング、整形、結合を行いますコーディングは不要で、企業レベルの拡張性を備え、大規模なデータセットを扱えますデータファクトリーでは毎月220億回以上のオーケストレーションが実行されており数十億件ものデータ移動が自動的に行われていますこれは極めて重要なインフラストラクチャですしかし、データをワンレークに取り込むには、さらにシンプルなミラーリングという方法がありますミラーリングは、Azure SQL、Oracle、Google Big Queryなどの外部データベースからワンレークへ、ほぼリアルタイムでデータをコピーしますそして、ここからが最高のポイントですこれは無料で、追加料金なしでサービスに含まれていますソースとなるデータベースを指定するだけで、あとはファブリックがすべて処理してくれます次にショートカットがあります先ほど触れましたが、改めて詳しく説明する価値がありますショートカットは、別の場所に保存されたデータへの仮想ポインタであり、データの移動は不要ですAWSS3バケットへのショートカットを作成すると、データは元の場所にあるまま、あたかもワンレークに保存されているかのように表示されます単に参照先を指定しているだけなのですそして今、ショートカットは単なる参照以上のことができるようになりましたショートカット変換を使えば、AIを活用したデータ変換をオンザフライで適用できますテキストデータの感情分析やコンテンツの翻訳、個人情報の検出などが、データを移動したりパイプラインを構築したりすることなく実行可能ですデータへのアクセスと同時に変換が行われますこれらのツールが目指すゴールはシンプルです複雑なパイプラインを構築せずに、すべてのデータをワンレークに集約することです従来のETLのためのデータファクトリー、ほぼリアルタイム複製のミラーリング、仮想アクセスのショートカット、どれを使っても結果は同じですデータは最終的にワンレークに集約され、あらゆるファブリックワークロードで利用可能になりますリアルタイムインテリジェンス、データベース、そしてAIですこれまではデータの移動と保存について話してきましたが、絶え間なく動き続けるデータについてはどうでしょうかIoTセンサーからのストリーミングデータ、ウェブサイトのクリックストリーム、デバイスからのテレメトリデータなどですそこで登場するのがリアルタイムインテリジェンスですファブリックはイベントハウスという機能でストリーミングデータを処理しますこれはKQL、クストクエリランゲージを使用して、大容量の字系列データを保存、クエリするものですこれはAzureデータエクスプローラーを支えるエンジンと同じで、高速処理のために構築されているため、毎秒数100万件のイベントを取り込み、ミリ秒単位でクエリできますこれが重要な理由を説明しますファブリックのお客様の46%が、すでにリアルタイムインテリジェンスを活用しています実に半分近くに上りますユースケースはあらゆるところにあります配送トラックを追跡する物流会社、店内の客足を監視する小売店、工場設備のセンサーデータを監視する製造業など、すべてリアルタイムで行われていますしかし、ファブリックは分析だけがすべてではありませんリレーショナルデータ用のSQLデータベースや、ノーSQLワークロード用のCosmos DBといった運用データベースも含まれていますこれらは、アプリケーションの実行に使用するデータベースと同じものですファブリックに組み込まれているため、データは自動的にワンレークに保存されます余計なパイプラインも、手動でのコピーも必要ありませんトランザクションデータと分析データが同じ場所に共存します次にAIの話をしましょうここからがファブリックの新骨頂ですプラットフォーム全体でAIが深く統合されており、テキスト分析や翻訳、感情分析の事前構築済みモデルが利用可能ですコードを書くことなく、データフロー内で直接それらを使用できますデータを指定してモデルを選択するだけで、すぐに実行されますさらに、ファブリックの至るところにコパイロットが組み込まれていますクエリの記述、レポートの構築パイプラインの作成を支援しますやりたいことを平易な言葉で説明するだけで、コパイロットがコードを生成してくれますまるでジュニアデータエンジニアが隣に座っていて、いつでも助けてくれるような感覚ですここでのビジョンはシンプルですAIはデータを移動させることなく、その場で機能しますデータはワンレークに止まり、AIモデルがデータの元へやってきますコピーやエクスポートは不要で、セキュリティリスクもありませんデータがガバナンス環境の外へ出ることはありませんパワーBI、ガバナンス、そしてビジネス価値について多くの人が実際に目にする入り口、すなわちインサイトへの玄関口であるパワーBIについて説明します世界中で55万の組織と3400万人のユーザーが毎月利用しており、世界で最も普及しているBIツールですそしてファブリック内では、それはさらに強力なものとなりますここが重要なポイントですファブリックでは、パワーBIはダイレクトレイクモードと呼ばれる機能を使用してワンレークに直接接続しますこれは、データをパワーBIの内部ストレージにコピーする従来のインポートモードとは異なりますダイレクトレイクは、ワンレイクにあるデータをそのままクエリするため、更新や複製が不要で、常に最新かつ超高速なパフォーマンスを実現しますすべてのパワーBIレポートの背後には、ビジネスロジックやメジャー、リレーションシップを定義する頭脳であるセマンティックモデルがありますそして今、これらのモデルをウェブブラウザだけで構築できるようになりましたウェブモデリングが一般提供されたため、Mac上からでもブラウザだけでセマンティックモデルの作成やリレーションシップの構築、DAXメジャーの記述が可能ですデスクトップアプリは不要ですしかし、ガバナンスなしではデータ活用に意味がありませんファブリックには最初からガバナンスが組み込まれていますマイクロソフトパービューが提供する機密ラベルは、どこへ行ってもデータに追従しますレポートに機密情報が含まれている場合、エクスポートされてもラベルはそのレポートに付随し続けますデータ損失防止ポリシーにより、機密データを自動的に検出し、不正な共有をブロックしますまた、アクセス制御により、適切な権限を持つ人だけが適切なデータを見ることができますドメイン機能を使えばビジネス領域ごとにデータを整理し、個別のガバナンスルールを適用できるため、財務データにはマーケティングデータよりも厳格な制御をかけるといったことが可能です各ドメインを個別のチームで管理できるため、組織の成長に合わせてガバナンスを拡張できますそれでは、実際の成果についてお話ししましょうこれは単なる理論ではありませんイーストマンケミカル社はファブリックを活用し、販売準備時間を83%削減しました以前は4時間かかっていた作業が、今では約40分で完了しますイートンソリューションズ社は、10から15ステップ必要だったプロセスを2ステップに短縮し、手作業を75%削減しましたまた、ソナタソフトウェア社は年間3万時間の手作業による称号を削減し、その人的リソースを高付加価値な業務へと転換しましたコストモデルは非常にシンプルですワークロードを実行するための計算能力であるキャパシティに対して料金を支払いますマイクロソフトには、ピークを管理するためのスムージング機能とサージ保護機能が組み込まれていますスムージングはバックグラウンド処理のコストを24時間かけて分散させるため、急な負荷上昇を抑えられますまた、サージ保護は混雑時にバックグラウンドジョブを制限し、対話型パフォーマンスを安定させます利用した分だけを支払うため、予期せぬ請求に驚くことはありませんこれまでの内容をまとめましょうファブリックは単なるマイクロソフトの製品の一つではありませんデータプラットフォームの在り方を根元から再考したものです一つのプラットフォーム、一つのレーク、一つのデータコピーで無限の可能性が広がりますAIとコパイロットが組み込まれているため、誰でも利用可能ですデータ専門家だけでなく、ビジネスアナリスト、営業チーム運用マネージャーなど、データから回答を得たい全ての人にとってのツールです宿題ですファブリック、microsoft.comにアクセスし、無料使用版を開始して、最初のワークスペースを作成してくださいまずは試してみてください読書だけでは決して得られない、各機能が連携する様子を実感できるはずですこのエピソードでファブリックへの理解が深まった方は、お気に入りのポッドキャストプラットフォームで登録し、データ活用を始めたばかりの仲間にシェアしてくださいきっと感謝されるはずです次回は、ワンレイクのショートカットについてわかりやすく解説します仕組みや重要性、そしてデータを移動せずに利用する方法についてお話しします見逃せない内容になっていますそれでは、学習を続けていきましょう