今日のトピックはデータに携わる ほとんどの人が耳にしたことはあっても実際に理解している人は 少ないものですマイクロソフトファブリックワンレイク ですマイクロソフトのマーケティング で見かけたり組織全体の統合データレイクだと聞いたことがあるかもしれません しかしそれは実際に何を意味するのでしょうか 単なるストレージバケットに過ぎないのでしょうか それとも根本的に異なるものなのでしょうか 最もシンプルな定義を挙げますワンレイクはマイクロソフト ファブリックの中核に位置する単一の論理データレイクです パブリックのあらゆるサービスレイクハウスウェアハウスイベント ハウスパワービーアイがここにデータを格納します そして重要なルールは単純ですデータの物理的なコピーは一つ だけで多くの異なるエンジンからアクセス可能です ツール間でデータをコピーし直す必要はありません どのバージョンのレポートが正しいのか迷うこともなくなります このエピソードの終わりにはワンレイクとは何か データの重複をどのように排除するのかそしてなぜパワーBIデータ エンジニアリングAIの状況を一変させるのかが理解できるでしょう それではワンレイクが解決するために作られた課題から始めましょう その課題とは各部門がそれぞれ独自のレイクを持っていること です中規模の会社で働いていると想像してください 営業チームはCRMシステムを使って商談を追跡します 財務チームは請求やインボイスのためにERPを運用します マーケティングチームはキャンペーンツールからデータを取得します そしてデータエンジニアリングチームはレポート用にデータウェア ハウスを管理しますそこで考えていただきたいことがあります これらのシステム全体で同じ顧客データのコピーはいくつ存在 しているでしょうか多くの企業ではその答えは4つか5つです CRMがそれを保持しますERPがそれを保持します マーケティングは分析ツールにそれをエクスポートします 財務の誰かがERPからスプレッドシートを作成します そしてデータエンジニアリングチームがパワーBIで読み取れる ようにウェアハウスへコピーします同じ顧客ID同じ売上金額同じ請求 日が5つの異なる場所に保存されているのです これは決して関係者が不注意だからではありません 従来のツール同士が連携していなかったためです CRMの売上データとERPの財務データを組み合わせたレポートを作成したい 場合両方を読み込める場所にコピーしなければなりませんでした つまりパイプラインを構築しジョブをスケジュールし夜間に何も 壊れないことを祈る必要があったのです 隠れたコストがすぐに積み上がっていきます 同じデータに5回分の料金を払っているためストレージ費用は増大 します あるコピーは更新される一方で他は更新されないためレポート は陳腐化します そして誰も答えたくない質問を誰かが投げかけます どのバージョンが正しいのかと そのような混乱はデータへの信頼 を損ない一度ノブよりが失われると人々は分析プラットフォーム を全く使わなくなってしまうのです そこでマイクロソフトはこの混乱を見つめ単純な問いを立てました あらゆるツールが読み取れるデータのコピーが一つだけ存在したら どうなるか重複も混乱もなく唯一の信頼できる データ源ですワンレークとは正確には何でしょうか ワンレークはその問いに対するマイクロソフトの答えです 組織全体のための単一の論理的なデータレークです 覚えておくべき重要なフレーズはチームごとではなくテナントごと に一つのレークということです内部的にはワンレークはアジュール データレークストレージジェン2条に構築されています 技術もAPIも同じですがマイクロソフトがそれをフルマネージドのサーズ サービスとして再構成しましたストレージアカウントの作成もコンテナ の管理もアクセスキーの設定も不要でただ使うだけです 社内データのためのワンドライブのようなものだと考えてください ワンドライブは個人のファイルドキュメント写真スプレッドシート を一つにまとめます物理的にどこに保存されている かを意識せず開いて作業するだけです ワンレークも同じことを組織のデータに対して行います 全てのチームプロジェクトワークロードに一つの共有ストレージプール を提供しますここで重要な区別があります ワンレークは物理的なものではなく論理的なものです 内部では異なるリージョンの複数のストレージアカウントにまた がることもありますがユーザーからは巨大な一つのプールに見え ますどのサーバーにファイルがある かは気にせずただ自分のデータを見るだけです 全てのファブリックサービスがここにデータを保存します レークハウスを作成するとデータはワンレークに保存されます ウェアハウスを構築するとテーブルはワンレークに保存されます パワービーアイレポートを実行する際ダイレクトレイクモード ならワンレークから直接読み取りますリアルタイム分析ストアのイベント ハウスでさえそのデータをワンレークに公開できます 全てが同じ場所を指しておりデフォルトのデータ形式はデルタパーケット ですこれはオープンな形式でありマイクロソフト への囲い込みではありませんデータブリックスも使用しており スパークエンジンも読み取れますパンダスやポラーズといったツール も扱うことができますつまりデータがマイクロソフト の世界に閉じ込められることはありませんオープンでポータブルですが真 の魔法はストレージではなくワンレークがそもそもデータコピーの必要性 をなくす点にあります一つのコピー原則です ワンレークが以前のものと決定的に異なる革新的なアイデアがあります 一つのコピー原則と呼ばれそれは単純です 一つの物理的なデータコピーに多くの異なるエンジンがアクセス するのですそれがどういう意味かお見せしましょう ワンレークに売り上げデータのテーブルがあるとします データエンジニアがスパークノートブックを実行してクレンジング します ビジネスアナリストがtsqlクエリを書いて集計します そしてpowerbiレポートがそれを読み取ってダッシュボードを表示 します 3つすべてが同時に起こります3つすべてが同じファイルを読み取り ます誰も何もコピーしていません 従来のやり方ではありえないことでした 以前はデータレイクからウェアハウスへデータをコピーしていました 次にウェアハウスからセマンティックモデルへコピーしていました そしてレポートを更新していました同じデータのコピーが3つも存在 することになりますそれぞれに時間とストレージ容量 がかかります途中で失敗すれば数値に誤りが 生じますコピーを一つにすればすべて解決 しますデータはワンレークに一度置かれる だけですスパークsqlpowerbiといったエンジン が直接読み取りますデータの移動はありません 重複もありません同期の問題も発生しません 確実なコスト削減になります同じデータを何度も保存せず ストレージを節約できますツール間のデータ移動用のパイプライン を構築する必要はありませんコピー間の不具合を保守する手間 も減りますそしてセンドという大きな利点 がありますコピーが一つなら信頼できる 唯一の情報源になりますデータが更新されれば即座に すべてのレポートに反映されます先週のデータか今週のデータか を問う必要はもうありませんどこでも常に同じデータが参照 されますここでそれはAzureデータレイクストレージ ではないのかと思うかもしれません厳密には違いますADLSはパースサービスですストレージアカウントを作成する 必要がありますコンテナを管理しなければなりませんアクセスキーの設定も必要ですどのリージョンに何を置くか 自分で決めます柔軟ですが手間がかかりますワンレイクはSaaSサービスですストレージアカウントを作成する 必要はありませんコンテナの管理も不要ですただ使うだけです基盤となるインフラはすべて 自動で処理されますパブリック内のデータには コピー一つが最適ですでは外部にあるデータはどうでしょうかショートカットですデータはそのままの場所に置いておけますそこでショートカットの出番ですショートカットは仮想的なポインターですデータレイク版のシンボリックリンクとお考えください物理的にワンレイクの外にあるデータに移動やコピーなしでアクセスできます仕組みはこうですレイクハウスやウェアハウス内に ショートカットを作成しますそのショートカットがどこか別の場所のファイルや ホルダを指し示しますAzureデータレイクストレージAmazon S3 Googleクラウドストレージあるいは他のファブリックワークスペースでも構いませんデータは元の場所にありますがファブリック内ではあたかも ワンレイクにあるかのように見えます実際の例をご紹介しましょう営業チームが長年AWSで分析を行っているとしますそのためデータはすべてS3バケットにあります財務チームはファブリックとパワーBIを使用しておりそこに売上データを結合する必要があります以前はS3からすべてをエクスポートしAzureにアップロードし同期を保つためのパイプラインを構築して何も壊れないことを祈る必要がありましたショートカット機能を使えばレイクハウスからS3バケットへのショートカットを作成するだけですデータはAWSに残りますが財務部門はまるでワンレイクにあるかのようにパワーBIでクエリを実行できますエクスポートもアップロードもパイプラインの心配も不要ですショートカットは組織内部でも有効ですあるチームがワークスペースで管理しているデータセットに対し他のチームがショートカットを作成できますコピーも重複も発生しませんデータは元のワークスペースに残り フォーマンスはソースシステムの速度に依存します地球の裏側にあるS3バケットにショートカットを作成するとローカルにある場合よりもクエリが遅くなります頻繁にアクセスするデータには代わりにミラーリングを検討してくださいそこで次のトピックミラーリングについて解説しますデータベースデータを自動的に取り込みますショートカットは外部ファイルストレージには最適ですが既存のデータベースはどうでしょうかERP、CRM、運用アプリケーションを動かしているデータベースのことですそこで役立つのがミラーリングですミラーリングはパイプラインを一切構築することなくデータベースからワンレークにデータをほぼリアルタイムで取り込む方法ですファブリックからデータベースを指定するとあとは自動的にデータを増分コピーしてワンレーク内のデルタパーケット形式に格納しソースの変更に合わせて更新を維持しますサポートされているソースにはAzureスキルデータベース、オンプレミスのスクルサーバー、コスモスDBなどがありマイクロソフトは今後も対象を拡大していきますしかし最も一般的なシナリオはERPや機関業務アプリケーションが稼働しているビジネスに不可欠なデータベースです仕組みは以下の通りですデータベースでミラーリングを有効にするとファブリックが変更フィードを読み取り挿入、更新、削除をワンレークに反映させます最初の動機でデータセット全体がコピーされますその後は増分動機となり変更された業のみが移動しますデータはデルタパーケット形式で格納されファブリックのあらゆるエンジンからクエリを実行できるようになりますここでショートカットとの大きな違いを説明しますショートカットはデータをコピーせず参照先を指し示すだけですミラーリングは実際にデータをコピーするためデータは物理的にワンレークに存在しソースデータベースの速度に関係なく高速なクエリ性能が得られますトレードオフとしてコピーを保存する必要がありますがパイプラインの構築やスケジュールの管理保守の心配をすることなくほぼリアルタイムでアクセスできるというメリットがあります具体的なユースケースを一つご紹介しましょうあなたの会社がスクールサーバー上でERPを運用しておりそこに財務データ、請求書支払い、送還上元帳といった全てのデータが格納されているとしますこれまでなら毎晩実行されるETLジョブを構築してデータを抽出し、変換し、データウェアハウスに読み込む必要がありましたそのジョブが停止すれば誰かが修正しなければならずデータは常に少なくとも1日古い状態でしたミラーリングを使えば一度有効にするだけでファブリックがデータをワンレークに継続的にレプリケートしますPower BIレポートはワンレークから直接読み取るためデータは数時間や数日ではなくわずか数分前の最新状態となりパイプラインに触れる必要すらありませんさてショートカット、ミラーリング、そして直接アップロードを通じてワンレークにはデータが蓄積されましたでは実際にどう活用すれば良いのでしょうかワンレークと3つのデータストアについてですワンレークはストレージ層であり全てのファイルが存在する場所ですしかし重要なのは実際に直接ワンレークを操作するわけではないという点ですその代わりにデータストアと呼ばれるインターフェースを介してやり取りしますこれにより同じ基礎データに対して異なる方法でアプローチできますパブリックにはレークハウス、ウェアハウス、エベンテヨーセという3つの主要なデータストアがありますこれらは全て同じワンレークにデータを格納しますがそれぞれ目的が異なりますまずはレークハウスから始めましょうこれは柔軟なデータストアでCSV、JSON、画像などのファイルに加えデルタテーブルも受け入れますデータエンジニアリングや機械学習を行う際あるいはソースシステムから正のデータを読み込む際に使用しますデータのクリーニング、変換、準備を行うためのワークベンチのような場所ですメダリオンアーキテクチャのブロンズ、シルバー、ゴールド層を構築する場合その舞台となるのがレークハウスですスパークノートブック経由でアクセスすることもSQL分析エンドポイント経由で読み取り専用クエリを実行することも可能です次は構造化データストアであるウェアハウスです完全なTSQLの読み書きに対応しているためテーブル、ビュー、ストアドプロシージャ、関数の作成やインサート、アップデート、デリート分の実行が可能ですSQLで試行するユーザー向けに設計されているため従来のスクルサーバーデータベースのような感覚で操作できますBIレポートの構築や複雑な集計の実行既存のデータウェアハウスからの移行を行う際にウェアハウスを使用しますエンタープライズレポートにおけるゴールド層と考えてくださいそして、Azure Data Explorerの技術基盤であるクストエンジンをベースとしたリアルタイムデータストアエベンテ要請がありますストリーミングデータ、ログ、IoTテレメトリ、クリックストリームなど高速で到着し、即座にクエリが必要なデータを処理しますクエリにはクストクエリ言語であるKQLを使用しますワンレークの可用性を有効にするとそのイベントデータはデルタテーブルとしてレイクハウスやウェアハウスからアクセス可能になりますそこで、知っておくべきポイントを説明します3つとも同じワンレークにデータを格納しますレイクハウスで作成したテーブルはウェアハウスのクエリから読み取ることができますウェアハウス内のテーブルにはスパークノートブックからアクセスできますイベントハウスに取り込まれたデータはPower BI向けのデルタテーブルとして公開可能ですこれらは別のデータベースではなく同じデータレイクに対する異なるビューです多くの人がこの点を誤解していますレイクハウス、ウェアハウス、イベントハウスを競合製品だと思っているようですがそうではありませんそれぞれが異なる問題を解決するため実際にはこれら3つ全てを使用しますデータエンジニアリングにはレイクハウスBIにはウェアハウスリアルタイム処理にはイベントハウスと使い分け全て同じストレージを共有しますワンレークがストレージを管理し各データストアがアクセスを制御しますでは誰が何を見ることができるのでしょうかワンレークにおけるセキュリティとガバナンスについてです全てのデータが一箇所に集約されるためセキュリティはよりシンプルになります重物異なるシステムにまたがる必要はなく一箇所でアクセス管理が完結しますCRMで権限を設定し次にウェアハウスでさらにパワーBIで設定するといった手間はもう不要ですワンレークなら全てに対して単一のセキュリティモデルが適用されます最上位レベルには管理者、メンバー、投稿者、閲覧者というワークスペースロールがありますこれらは特定のワークスペースで誰が作業できるかを制御します閲覧者の場合アイテムの表示は可能ですが変更はできません管理者の場合は全てをコントロールできます非常にシンプルですしかしさらに高度な制御も可能ですワンレークのセキュリティロールを使用するとホルダー、テーブル、列、さらに派行レベルでのアクセス制御が可能です例えば列レベルのセキュリティなら人事部以外には給与情報を隠すといったことができます業レベルのセキュリティなら営業マネージャーは自分の担当地域のデータのみを表示可能です全てのデータストアが同じワンレーク上にあるためこの仕組みは全て共通で機能しますまた全てのワークスペースに渡るデータを一括で表示できる中央ビューであるワンレークカタログもあります認定データセットの検索、所有者の確認、ガバナンス管理を一箇所で行えますマイクロソフトパービューと統合されており分類、秘密度ラベル付け、データ損失防止が可能ですそのため特定のデータを機密や極秘としてマークする必要がある場合レークレベルで設定すればどこにでも適用されますさらに誰がいつ何にアクセスしたかを記録するワンレーク診断機能もありますこれは監査やコンプライアンスチェック先週誰がこのデータに触れたか?といった問いへの回答に役立ちます読み取りと書き込みのすべての操作をログに記録しそれらをJSONファイルとしてレークハウス内に保存しますスパーク、SQL、パワーBIのいずれでも分析可能です全体像はこうですツールごとにルールを管理するのではなくすべてのデータに単一のセキュリティモデルを適用しますこれはどのような組織にとっても大幅な簡素化につながります実践的なポイントですこれが何を意味するのかでは今日からファブリックを始める場合これは具体的に何を意味するのでしょうか順を追って説明しましょう新しいデータプラットフォームを構築する場合ワンレークがあれば複雑なデータ移動の設計は不要ですレークからウェアハウス、そしてセマンティックモデルへとデータの流れを計画する必要はありませんワンレークに入れるだけであらゆるツールがそこからデータを読み取れますワンレーク、データはコピーを一つにアーキテクチャはこれで完結です古いシステムからの移行ならショートカットとミラーリング機能でデータをそのままに段階的にワークロードを移行できます一度にすべてを移行する必要はありません既存のデータレークにショートカットを設定しスクールサーバーデータベースをミラーリングして古いシステムを動かしたままファブリックを使い始められます自分のペースで進められるのですここで考え方を切り替えましょうプロジェクトごとにストレージを考えるのはやめましょう新しい取り組みの度にデータレークを作るのもやめましょうすべてのプロジェクトがアクセスする一つの共有レークについて考えてみてください営業チーム、財務チーム、エンジニアリングチームのデータすべてが一箇所に集約されます各自が必要な部分を見るだけですPower BIユーザーにとってレポートはワンレークから直接読み込まれます個別のインポートや重複したセマンティックモデルは不要ですデータエンジニアが扱うのと同じデータなので常に最新ですデータエンジニアにとっても構築、保守、デバッグが必要なパイプラインの削減につながりますデータを一度取り込むだけあとは全員がそれを参照するのです結論としてワンレークは単なるデータレークではありませんファブリックをこれまでのものとは違うものにするその基盤なのですデータをコピーするのをやめ信頼できるようになる理由がそこにあります以上ですワンレークはデータはコピーを一つにという原則に基づいた組織のための唯一のデータレークです物理的なコピーは一つあらゆるツールチームワークロードからアクセス可能です重複もどのバージョンが正しいのかという混乱ももうありませんやるべきことはシンプルですまずは外部ソースからのショートカットやデータベースのミラーリングから始めてくださいデータを移動するためだけのパイプライン構築が不要になるとどれほどシンプルになるか実感できるはずです多くの組織はすぐにはこの移行を行わないでしょうあなたが先駆者になりましょうこのエピソードがワンレークの理解に役立ったならマイクロソフトナレッジナゲッツを登録してファブリックの情報をさらにチェックしてくださいそしてまだ5つものデータレークを管理している人にこの動画をシェアしてあげてくださいきっと後で感謝されるはずです