WEBVTT

00:00:00.060 --> 00:00:03.300
今日のトピックはデータに携わる ほとんどの人が耳にしたことは

00:00:03.300 --> 00:00:05.800
あっても実際に理解している人は 少ないものです

00:00:05.800 --> 00:00:07.720
マイクロソフトファブリックワンレイク です

00:00:07.720 --> 00:00:10.940
マイクロソフトのマーケティング で見かけたり組織全体の統合データ

00:00:10.940 --> 00:00:14.160
レイクだと聞いたことがあるかもしれません しかしそれは実際に何を意味

00:00:14.160 --> 00:00:15.800
するのでしょうか 単なるストレージバケットに過ぎ

00:00:15.800 --> 00:00:17.500
ないのでしょうか それとも根本的に異なるもの

00:00:17.500 --> 00:00:19.540
なのでしょうか 最もシンプルな定義を挙げます

00:00:19.540 --> 00:00:22.060
ワンレイクはマイクロソフト ファブリックの中核に位置する

00:00:22.060 --> 00:00:24.260
単一の論理データレイクです パブリックのあらゆるサービス

00:00:24.260 --> 00:00:27.080
レイクハウスウェアハウスイベント ハウスパワービーアイがここに

00:00:27.080 --> 00:00:29.580
データを格納します そして重要なルールは単純です

00:00:29.580 --> 00:00:32.020
データの物理的なコピーは一つ だけで多くの異なるエンジンから

00:00:32.020 --> 00:00:33.900
アクセス可能です ツール間でデータをコピーし

00:00:33.900 --> 00:00:36.000
直す必要はありません どのバージョンのレポートが

00:00:36.000 --> 00:00:38.480
正しいのか迷うこともなくなります このエピソードの終わりには

00:00:38.480 --> 00:00:40.780
ワンレイクとは何か データの重複をどのように排除する

00:00:40.780 --> 00:00:43.680
のかそしてなぜパワーBIデータ エンジニアリングAIの状況を

00:00:43.680 --> 00:00:46.640
一変させるのかが理解できるでしょう それではワンレイクが解決する

00:00:46.640 --> 00:00:50.260
ために作られた課題から始めましょう その課題とは各部門がそれぞれ

00:00:50.260 --> 00:00:52.700
独自のレイクを持っていること です中規模の会社で働いている

00:00:52.700 --> 00:00:55.120
と想像してください 営業チームはCRMシステムを使って

00:00:55.120 --> 00:00:57.360
商談を追跡します 財務チームは請求やインボイス

00:00:57.360 --> 00:01:00.340
のためにERPを運用します マーケティングチームはキャンペーンツール

00:01:00.340 --> 00:01:02.620
からデータを取得します そしてデータエンジニアリング

00:01:02.620 --> 00:01:04.640
チームはレポート用にデータウェア ハウスを管理します

00:01:04.640 --> 00:01:08.040
そこで考えていただきたいことがあります これらのシステム全体で同じ顧客

00:01:08.040 --> 00:01:10.100
データのコピーはいくつ存在 しているでしょうか多くの企業

00:01:10.100 --> 00:01:13.160
ではその答えは4つか5つです CRMがそれを保持します

00:01:13.160 --> 00:01:15.980
ERPがそれを保持します マーケティングは分析ツールに

00:01:15.980 --> 00:01:18.800
それをエクスポートします 財務の誰かがERPからスプレッド

00:01:18.800 --> 00:01:21.000
シートを作成します そしてデータエンジニアリング

00:01:21.000 --> 00:01:23.680
チームがパワーBIで読み取れる ようにウェアハウスへコピーします

00:01:23.680 --> 00:01:28.000
同じ顧客ID同じ売上金額同じ請求 日が5つの異なる場所に保存されている

00:01:28.000 --> 00:01:29.900
のです これは決して関係者が不注意

00:01:29.900 --> 00:01:32.540
だからではありません 従来のツール同士が連携していなかった

00:01:32.540 --> 00:01:35.680
ためです CRMの売上データとERPの財務データを

00:01:35.680 --> 00:01:38.960
組み合わせたレポートを作成したい 場合両方を読み込める場所にコピー

00:01:38.960 --> 00:01:41.400
しなければなりませんでした つまりパイプラインを構築し

00:01:41.400 --> 00:01:44.080
ジョブをスケジュールし夜間に何も 壊れないことを祈る必要があった

00:01:44.080 --> 00:01:45.960
のです 隠れたコストがすぐに積み上がって

00:01:45.960 --> 00:01:47.840
いきます 同じデータに5回分の料金を払って

00:01:47.840 --> 00:01:50.280
いるためストレージ費用は増大 します あるコピーは更新される

00:01:50.280 --> 00:01:53.720
一方で他は更新されないためレポート は陳腐化します そして誰も答えたくない

00:01:53.720 --> 00:01:56.400
質問を誰かが投げかけます どのバージョンが正しいのか

00:01:56.400 --> 00:01:59.840
と そのような混乱はデータへの信頼 を損ない一度ノブよりが失われる

00:01:59.840 --> 00:02:02.460
と人々は分析プラットフォーム を全く使わなくなってしまうの

00:02:02.460 --> 00:02:04.040
です そこでマイクロソフトはこの混乱

00:02:04.040 --> 00:02:07.180
を見つめ単純な問いを立てました あらゆるツールが読み取れるデータ

00:02:07.180 --> 00:02:08.780
のコピーが一つだけ存在したら どうなるか

00:02:08.780 --> 00:02:11.980
重複も混乱もなく唯一の信頼できる データ源です

00:02:11.980 --> 00:02:15.660
ワンレークとは正確には何でしょうか ワンレークはその問いに対する

00:02:15.660 --> 00:02:18.760
マイクロソフトの答えです 組織全体のための単一の論理的な

00:02:18.760 --> 00:02:21.020
データレークです 覚えておくべき重要なフレーズは

00:02:21.020 --> 00:02:23.900
チームごとではなくテナントごと に一つのレークということです

00:02:23.900 --> 00:02:26.600
内部的にはワンレークはアジュール データレークストレージジェン

00:02:26.600 --> 00:02:29.940
2条に構築されています 技術もAPIも同じですがマイクロソフト

00:02:29.940 --> 00:02:32.340
がそれをフルマネージドのサーズ サービスとして再構成しました

00:02:32.340 --> 00:02:35.800
ストレージアカウントの作成もコンテナ の管理もアクセスキーの設定も

00:02:35.800 --> 00:02:38.440
不要でただ使うだけです 社内データのためのワンドライブ

00:02:38.440 --> 00:02:41.200
のようなものだと考えてください ワンドライブは個人のファイル

00:02:41.200 --> 00:02:43.740
ドキュメント写真スプレッドシート を一つにまとめます

00:02:43.740 --> 00:02:47.060
物理的にどこに保存されている かを意識せず開いて作業するだけ

00:02:47.060 --> 00:02:49.200
です ワンレークも同じことを組織のデータ

00:02:49.200 --> 00:02:52.000
に対して行います 全てのチームプロジェクトワークロード

00:02:52.000 --> 00:02:53.880
に一つの共有ストレージプール を提供します

00:02:53.880 --> 00:02:57.000
ここで重要な区別があります ワンレークは物理的なものではなく

00:02:57.000 --> 00:02:59.160
論理的なものです 内部では異なるリージョンの複数

00:02:59.160 --> 00:03:01.220
のストレージアカウントにまた がることもありますがユーザー

00:03:01.220 --> 00:03:02.440
からは巨大な一つのプールに見え ます

00:03:02.440 --> 00:03:04.960
どのサーバーにファイルがある かは気にせずただ自分のデータ

00:03:04.960 --> 00:03:06.680
を見るだけです 全てのファブリックサービス

00:03:06.680 --> 00:03:09.320
がここにデータを保存します レークハウスを作成するとデータ

00:03:09.320 --> 00:03:11.840
はワンレークに保存されます ウェアハウスを構築するとテーブル

00:03:11.840 --> 00:03:14.060
はワンレークに保存されます パワービーアイレポートを実行

00:03:14.060 --> 00:03:16.720
する際ダイレクトレイクモード ならワンレークから直接読み取ります

00:03:16.720 --> 00:03:20.000
リアルタイム分析ストアのイベント ハウスでさえそのデータをワンレーク

00:03:20.000 --> 00:03:22.800
に公開できます 全てが同じ場所を指しておりデフォルト

00:03:22.800 --> 00:03:24.440
のデータ形式はデルタパーケット です

00:03:24.440 --> 00:03:27.140
これはオープンな形式でありマイクロソフト への囲い込みではありません

00:03:27.140 --> 00:03:29.440
データブリックスも使用しており スパークエンジンも読み取れます

00:03:29.440 --> 00:03:31.520
パンダスやポラーズといったツール も扱うことができます

00:03:31.520 --> 00:03:34.300
つまりデータがマイクロソフト の世界に閉じ込められることはありません

00:03:34.300 --> 00:03:37.820
オープンでポータブルですが真 の魔法はストレージではなくワンレーク

00:03:37.820 --> 00:03:40.060
がそもそもデータコピーの必要性 をなくす点にあります

00:03:40.060 --> 00:03:43.580
一つのコピー原則です ワンレークが以前のものと決定的に

00:03:43.580 --> 00:03:47.100
異なる革新的なアイデアがあります 一つのコピー原則と呼ばれそれは

00:03:47.100 --> 00:03:48.940
単純です 一つの物理的なデータコピー

00:03:48.940 --> 00:03:50.820
に多くの異なるエンジンがアクセス するのです

00:03:50.820 --> 00:03:53.920
それがどういう意味かお見せしましょう ワンレークに売り上げデータ

00:03:53.920 --> 00:03:55.980
のテーブルがあるとします データエンジニアがスパーク

00:03:55.980 --> 00:03:58.840
ノートブックを実行してクレンジング します ビジネスアナリストがtsql

00:03:58.840 --> 00:04:01.360
クエリを書いて集計します そしてpowerbiレポートがそれを

00:04:01.360 --> 00:04:03.880
読み取ってダッシュボードを表示 します 3つすべてが同時に起こります

00:04:03.880 --> 00:04:05.600
3つすべてが同じファイルを読み取り ます

00:04:05.600 --> 00:04:08.580
誰も何もコピーしていません 従来のやり方ではありえない

00:04:08.580 --> 00:04:10.380
ことでした 以前はデータレイクからウェアハウス

00:04:10.380 --> 00:04:12.940
へデータをコピーしていました 次にウェアハウスからセマンティック

00:04:12.940 --> 00:04:15.480
モデルへコピーしていました そしてレポートを更新していました

00:04:15.480 --> 00:04:17.480
同じデータのコピーが3つも存在 することになります

00:04:17.480 --> 00:04:19.300
それぞれに時間とストレージ容量 がかかります

00:04:19.300 --> 00:04:21.320
途中で失敗すれば数値に誤りが 生じます

00:04:21.320 --> 00:04:23.080
コピーを一つにすればすべて解決 します

00:04:23.080 --> 00:04:24.800
データはワンレークに一度置かれる だけです

00:04:24.800 --> 00:04:27.640
スパークsqlpowerbiといったエンジン が直接読み取ります

00:04:27.640 --> 00:04:30.000
データの移動はありません 重複もありません

00:04:30.000 --> 00:04:33.100
同期の問題も発生しません 確実なコスト削減になります

00:04:33.100 --> 00:04:36.020
同じデータを何度も保存せず ストレージを節約できます

00:04:36.020 --> 00:04:39.800
ツール間のデータ移動用のパイプライン を構築する必要はありません

00:04:39.800 --> 00:04:42.360
コピー間の不具合を保守する手間 も減ります

00:04:42.360 --> 00:04:44.640
そしてセンドという大きな利点 があります

00:04:44.640 --> 00:04:47.140
コピーが一つなら信頼できる 唯一の情報源になります

00:04:47.140 --> 00:04:50.280
データが更新されれば即座に すべてのレポートに反映されます

00:04:50.280 --> 00:04:53.560
先週のデータか今週のデータか を問う必要はもうありません

00:04:53.560 --> 00:04:55.640
どこでも常に同じデータが参照 されます

00:04:55.640 --> 00:04:58.340
ここでそれはAzureデータレイクストレージ ではないのかと思うかもしれません

00:04:58.340 --> 00:04:59.400
厳密には違います

00:04:59.400 --> 00:05:00.760
ADLSはパースサービスです

00:05:00.760 --> 00:05:02.340
ストレージアカウントを作成する 必要があります

00:05:02.340 --> 00:05:03.560
コンテナを管理しなければなりません

00:05:03.560 --> 00:05:04.900
アクセスキーの設定も必要です

00:05:04.900 --> 00:05:06.600
どのリージョンに何を置くか 自分で決めます

00:05:06.600 --> 00:05:08.120
柔軟ですが手間がかかります

00:05:08.120 --> 00:05:09.560
ワンレイクはSaaSサービスです

00:05:09.560 --> 00:05:11.300
ストレージアカウントを作成する 必要はありません

00:05:11.300 --> 00:05:12.680
コンテナの管理も不要です

00:05:12.680 --> 00:05:13.820
ただ使うだけです

00:05:13.820 --> 00:05:16.160
基盤となるインフラはすべて 自動で処理されます

00:05:16.160 --> 00:05:18.880
パブリック内のデータには コピー一つが最適です

00:05:18.880 --> 00:05:20.940
では外部にあるデータはどうでしょうか

00:05:20.940 --> 00:05:21.920
ショートカットです

00:05:21.920 --> 00:05:23.660
データはそのままの場所に置いておけます

00:05:23.660 --> 00:05:25.260
そこでショートカットの出番です

00:05:25.260 --> 00:05:27.280
ショートカットは仮想的なポインターです

00:05:27.280 --> 00:05:29.720
データレイク版のシンボリックリンクとお考えください

00:05:29.720 --> 00:05:32.060
物理的にワンレイクの外にあるデータに

00:05:32.060 --> 00:05:34.060
移動やコピーなしでアクセスできます

00:05:34.060 --> 00:05:35.320
仕組みはこうです

00:05:35.320 --> 00:05:38.140
レイクハウスやウェアハウス内に ショートカットを作成します

00:05:38.140 --> 00:05:39.140
そのショートカットが

00:05:39.140 --> 00:05:41.460
どこか別の場所のファイルや ホルダを指し示します

00:05:41.460 --> 00:05:42.780
Azureデータレイクストレージ

00:05:42.780 --> 00:05:43.780
Amazon S3

00:05:43.780 --> 00:05:45.060
Googleクラウドストレージ

00:05:45.060 --> 00:05:47.340
あるいは他のファブリックワークスペースでも構いません

00:05:47.340 --> 00:05:48.840
データは元の場所にありますが

00:05:48.840 --> 00:05:51.360
ファブリック内ではあたかも ワンレイクにあるかのように見えます

00:05:51.360 --> 00:05:53.320
実際の例をご紹介しましょう

00:05:53.320 --> 00:05:56.600
営業チームが長年AWSで分析を行っているとします

00:05:56.600 --> 00:05:59.320
そのためデータはすべてS3バケットにあります

00:05:59.320 --> 00:06:02.180
財務チームはファブリックとパワーBIを使用しており

00:06:02.180 --> 00:06:04.380
そこに売上データを結合する必要があります

00:06:04.380 --> 00:06:06.440
以前はS3からすべてをエクスポートし

00:06:06.440 --> 00:06:07.520
Azureにアップロードし

00:06:07.520 --> 00:06:09.260
同期を保つためのパイプラインを構築して

00:06:09.260 --> 00:06:11.040
何も壊れないことを祈る必要がありました

00:06:11.040 --> 00:06:12.200
ショートカット機能を使えば

00:06:12.200 --> 00:06:14.900
レイクハウスからS3バケットへのショートカットを作成するだけです

00:06:14.900 --> 00:06:16.320
データはAWSに残りますが

00:06:16.320 --> 00:06:17.960
財務部門はまるでワンレイクにあるかのように

00:06:17.960 --> 00:06:19.220
パワーBIでクエリを実行できます

00:06:19.220 --> 00:06:22.000
エクスポートもアップロードもパイプラインの心配も不要です

00:06:22.000 --> 00:06:24.120
ショートカットは組織内部でも有効です

00:06:24.120 --> 00:06:26.820
あるチームがワークスペースで管理しているデータセットに対し

00:06:26.820 --> 00:06:28.780
他のチームがショートカットを作成できます

00:06:28.780 --> 00:06:30.620
コピーも重複も発生しません

00:06:30.620 --> 00:06:32.400
データは元のワークスペースに残り

00:06:39.260 --> 00:06:41.140
フォーマンスはソースシステムの速度に依存します

00:06:41.140 --> 00:06:44.140
地球の裏側にあるS3バケットにショートカットを作成すると

00:06:44.140 --> 00:06:46.240
ローカルにある場合よりもクエリが遅くなります

00:06:46.240 --> 00:06:47.760
頻繁にアクセスするデータには

00:06:47.760 --> 00:06:49.660
代わりにミラーリングを検討してください

00:06:49.660 --> 00:06:50.760
そこで次のトピック

00:06:50.760 --> 00:06:52.420
ミラーリングについて解説します

00:06:52.420 --> 00:06:54.740
データベースデータを自動的に取り込みます

00:06:54.740 --> 00:06:57.380
ショートカットは外部ファイルストレージには最適ですが

00:06:57.380 --> 00:06:59.180
既存のデータベースはどうでしょうか

00:06:59.180 --> 00:07:03.260
ERP、CRM、運用アプリケーションを動かしているデータベースのことです

00:07:03.260 --> 00:07:05.060
そこで役立つのがミラーリングです

00:07:05.060 --> 00:07:07.520
ミラーリングはパイプラインを一切構築することなく

00:07:07.520 --> 00:07:10.480
データベースからワンレークにデータをほぼリアルタイムで取り込む方法です

00:07:10.480 --> 00:07:12.680
ファブリックからデータベースを指定すると

00:07:12.680 --> 00:07:15.040
あとは自動的にデータを増分コピーして

00:07:15.040 --> 00:07:17.540
ワンレーク内のデルタパーケット形式に格納し

00:07:17.540 --> 00:07:20.100
ソースの変更に合わせて更新を維持します

00:07:20.100 --> 00:07:21.480
サポートされているソースには

00:07:21.480 --> 00:07:25.420
Azureスキルデータベース、オンプレミスのスクルサーバー、コスモスDBなどがあり

00:07:25.420 --> 00:07:27.660
マイクロソフトは今後も対象を拡大していきます

00:07:27.660 --> 00:07:29.620
しかし最も一般的なシナリオは

00:07:29.620 --> 00:07:31.860
ERPや機関業務アプリケーションが稼働している

00:07:31.860 --> 00:07:33.360
ビジネスに不可欠なデータベースです

00:07:33.360 --> 00:07:34.780
仕組みは以下の通りです

00:07:34.780 --> 00:07:36.840
データベースでミラーリングを有効にすると

00:07:36.840 --> 00:07:38.860
ファブリックが変更フィードを読み取り

00:07:38.860 --> 00:07:41.640
挿入、更新、削除をワンレークに反映させます

00:07:41.640 --> 00:07:44.400
最初の動機でデータセット全体がコピーされます

00:07:44.400 --> 00:07:46.060
その後は増分動機となり

00:07:46.060 --> 00:07:48.060
変更された業のみが移動します

00:07:48.060 --> 00:07:49.880
データはデルタパーケット形式で格納され

00:07:49.880 --> 00:07:51.140
ファブリックのあらゆるエンジンから

00:07:51.140 --> 00:07:52.360
クエリを実行できるようになります

00:07:52.360 --> 00:07:54.800
ここでショートカットとの大きな違いを説明します

00:07:54.800 --> 00:07:56.300
ショートカットはデータをコピーせず

00:07:56.300 --> 00:07:57.860
参照先を指し示すだけです

00:07:57.860 --> 00:07:59.960
ミラーリングは実際にデータをコピーするため

00:07:59.960 --> 00:08:02.120
データは物理的にワンレークに存在し

00:08:02.120 --> 00:08:04.000
ソースデータベースの速度に関係なく

00:08:04.000 --> 00:08:05.500
高速なクエリ性能が得られます

00:08:05.500 --> 00:08:07.840
トレードオフとしてコピーを保存する必要がありますが

00:08:07.840 --> 00:08:09.480
パイプラインの構築やスケジュールの管理

00:08:09.480 --> 00:08:10.880
保守の心配をすることなく

00:08:10.880 --> 00:08:13.300
ほぼリアルタイムでアクセスできるというメリットがあります

00:08:13.300 --> 00:08:15.760
具体的なユースケースを一つご紹介しましょう

00:08:15.760 --> 00:08:18.320
あなたの会社がスクールサーバー上でERPを運用しており

00:08:18.320 --> 00:08:21.040
そこに財務データ、請求書支払い、送還上元帳といった

00:08:21.040 --> 00:08:22.380
全てのデータが格納されているとします

00:08:22.380 --> 00:08:24.960
これまでなら毎晩実行されるETLジョブを構築して

00:08:24.960 --> 00:08:28.240
データを抽出し、変換し、データウェアハウスに読み込む必要がありました

00:08:28.240 --> 00:08:30.460
そのジョブが停止すれば誰かが修正しなければならず

00:08:30.460 --> 00:08:32.640
データは常に少なくとも1日古い状態でした

00:08:32.640 --> 00:08:34.840
ミラーリングを使えば一度有効にするだけで

00:08:34.840 --> 00:08:37.240
ファブリックがデータをワンレークに継続的にレプリケートします

00:08:37.240 --> 00:08:39.100
Power BIレポートはワンレークから直接読み取るため

00:08:39.100 --> 00:08:40.480
データは数時間や数日ではなく

00:08:40.480 --> 00:08:42.020
わずか数分前の最新状態となり

00:08:42.020 --> 00:08:43.260
パイプラインに触れる必要すらありません

00:08:43.260 --> 00:08:45.940
さてショートカット、ミラーリング、そして直接アップロードを通じて

00:08:45.940 --> 00:08:47.180
ワンレークにはデータが蓄積されました

00:08:47.180 --> 00:08:49.300
では実際にどう活用すれば良いのでしょうか

00:08:49.300 --> 00:08:51.200
ワンレークと3つのデータストアについてです

00:08:51.200 --> 00:08:52.520
ワンレークはストレージ層であり

00:08:52.520 --> 00:08:54.120
全てのファイルが存在する場所です

00:08:54.120 --> 00:08:55.180
しかし重要なのは

00:08:55.180 --> 00:08:57.480
実際に直接ワンレークを操作するわけではないという点です

00:08:57.480 --> 00:09:00.880
その代わりにデータストアと呼ばれるインターフェースを介してやり取りします

00:09:00.880 --> 00:09:04.240
これにより同じ基礎データに対して異なる方法でアプローチできます

00:09:04.240 --> 00:09:07.120
パブリックにはレークハウス、ウェアハウス、エベンテヨーセという

00:09:07.120 --> 00:09:08.440
3つの主要なデータストアがあります

00:09:08.440 --> 00:09:10.900
これらは全て同じワンレークにデータを格納しますが

00:09:10.900 --> 00:09:12.240
それぞれ目的が異なります

00:09:12.240 --> 00:09:14.100
まずはレークハウスから始めましょう

00:09:14.100 --> 00:09:15.320
これは柔軟なデータストアで

00:09:15.320 --> 00:09:17.640
CSV、JSON、画像などのファイルに加え

00:09:17.640 --> 00:09:18.640
デルタテーブルも受け入れます

00:09:18.640 --> 00:09:20.600
データエンジニアリングや機械学習を行う際

00:09:20.600 --> 00:09:23.100
あるいはソースシステムから正のデータを読み込む際に使用します

00:09:23.100 --> 00:09:26.400
データのクリーニング、変換、準備を行うためのワークベンチのような場所です

00:09:26.400 --> 00:09:29.660
メダリオンアーキテクチャのブロンズ、シルバー、ゴールド層を構築する場合

00:09:29.660 --> 00:09:31.180
その舞台となるのがレークハウスです

00:09:31.180 --> 00:09:33.060
スパークノートブック経由でアクセスすることも

00:09:33.060 --> 00:09:36.660
SQL分析エンドポイント経由で読み取り専用クエリを実行することも可能です

00:09:36.660 --> 00:09:39.540
次は構造化データストアであるウェアハウスです

00:09:39.540 --> 00:09:41.900
完全なTSQLの読み書きに対応しているため

00:09:41.900 --> 00:09:45.100
テーブル、ビュー、ストアドプロシージャ、関数の作成や

00:09:45.100 --> 00:09:48.000
インサート、アップデート、デリート分の実行が可能です

00:09:48.000 --> 00:09:50.160
SQLで試行するユーザー向けに設計されているため

00:09:50.160 --> 00:09:52.640
従来のスクルサーバーデータベースのような感覚で操作できます

00:09:52.640 --> 00:09:54.980
BIレポートの構築や複雑な集計の実行

00:09:54.980 --> 00:09:58.180
既存のデータウェアハウスからの移行を行う際にウェアハウスを使用します

00:09:58.180 --> 00:10:00.920
エンタープライズレポートにおけるゴールド層と考えてください

00:10:00.920 --> 00:10:03.400
そして、Azure Data Explorerの技術基盤である

00:10:03.400 --> 00:10:05.180
クストエンジンをベースとしたリアルタイムデータストア

00:10:05.180 --> 00:10:06.220
エベンテ要請があります

00:10:06.220 --> 00:10:09.340
ストリーミングデータ、ログ、IoTテレメトリ、クリックストリームなど

00:10:09.340 --> 00:10:11.980
高速で到着し、即座にクエリが必要なデータを処理します

00:10:11.980 --> 00:10:14.880
クエリにはクストクエリ言語であるKQLを使用します

00:10:14.880 --> 00:10:16.680
ワンレークの可用性を有効にすると

00:10:16.680 --> 00:10:18.480
そのイベントデータはデルタテーブルとして

00:10:18.480 --> 00:10:20.360
レイクハウスやウェアハウスからアクセス可能になります

00:10:20.360 --> 00:10:22.600
そこで、知っておくべきポイントを説明します

00:10:22.600 --> 00:10:24.760
3つとも同じワンレークにデータを格納します

00:10:24.760 --> 00:10:26.180
レイクハウスで作成したテーブルは

00:10:26.180 --> 00:10:27.840
ウェアハウスのクエリから読み取ることができます

00:10:27.840 --> 00:10:29.020
ウェアハウス内のテーブルには

00:10:29.020 --> 00:10:30.640
スパークノートブックからアクセスできます

00:10:30.640 --> 00:10:32.080
イベントハウスに取り込まれたデータは

00:10:32.080 --> 00:10:34.180
Power BI向けのデルタテーブルとして公開可能です

00:10:34.180 --> 00:10:35.520
これらは別のデータベースではなく

00:10:35.520 --> 00:10:37.320
同じデータレイクに対する異なるビューです

00:10:37.320 --> 00:10:39.040
多くの人がこの点を誤解しています

00:10:39.040 --> 00:10:40.800
レイクハウス、ウェアハウス、イベントハウスを

00:10:40.800 --> 00:10:41.980
競合製品だと思っているようですが

00:10:41.980 --> 00:10:42.640
そうではありません

00:10:42.640 --> 00:10:44.120
それぞれが異なる問題を解決するため

00:10:44.120 --> 00:10:45.900
実際にはこれら3つ全てを使用します

00:10:45.900 --> 00:10:47.180
データエンジニアリングにはレイクハウス

00:10:47.180 --> 00:10:48.060
BIにはウェアハウス

00:10:48.060 --> 00:10:49.580
リアルタイム処理にはイベントハウスと使い分け

00:10:49.580 --> 00:10:50.860
全て同じストレージを共有します

00:10:50.860 --> 00:10:52.320
ワンレークがストレージを管理し

00:10:52.320 --> 00:10:54.060
各データストアがアクセスを制御します

00:10:54.060 --> 00:10:56.260
では誰が何を見ることができるのでしょうか

00:10:56.260 --> 00:10:58.440
ワンレークにおけるセキュリティとガバナンスについてです

00:10:58.440 --> 00:11:00.200
全てのデータが一箇所に集約されるため

00:11:00.200 --> 00:11:01.700
セキュリティはよりシンプルになります

00:11:01.700 --> 00:11:03.540
重物異なるシステムにまたがる必要はなく

00:11:03.540 --> 00:11:05.200
一箇所でアクセス管理が完結します

00:11:05.200 --> 00:11:06.600
CRMで権限を設定し

00:11:06.600 --> 00:11:07.380
次にウェアハウスで

00:11:07.380 --> 00:11:09.500
さらにパワーBIで設定するといった手間はもう不要です

00:11:09.500 --> 00:11:10.080
ワンレークなら

00:11:10.080 --> 00:11:12.520
全てに対して単一のセキュリティモデルが適用されます

00:11:12.520 --> 00:11:13.440
最上位レベルには

00:11:13.440 --> 00:11:16.800
管理者、メンバー、投稿者、閲覧者というワークスペースロールがあります

00:11:16.800 --> 00:11:19.540
これらは特定のワークスペースで誰が作業できるかを制御します

00:11:19.540 --> 00:11:20.340
閲覧者の場合

00:11:20.340 --> 00:11:22.480
アイテムの表示は可能ですが変更はできません

00:11:22.480 --> 00:11:24.580
管理者の場合は全てをコントロールできます

00:11:24.580 --> 00:11:25.840
非常にシンプルです

00:11:25.840 --> 00:11:27.820
しかしさらに高度な制御も可能です

00:11:27.820 --> 00:11:29.520
ワンレークのセキュリティロールを使用すると

00:11:29.520 --> 00:11:32.940
ホルダー、テーブル、列、さらに派行レベルでのアクセス制御が可能です

00:11:32.940 --> 00:11:34.660
例えば列レベルのセキュリティなら

00:11:34.660 --> 00:11:37.400
人事部以外には給与情報を隠すといったことができます

00:11:37.400 --> 00:11:38.480
業レベルのセキュリティなら

00:11:38.480 --> 00:11:41.300
営業マネージャーは自分の担当地域のデータのみを表示可能です

00:11:41.300 --> 00:11:43.320
全てのデータストアが同じワンレーク上にあるため

00:11:43.320 --> 00:11:45.060
この仕組みは全て共通で機能します

00:11:45.060 --> 00:11:48.280
また全てのワークスペースに渡るデータを一括で表示できる中央ビューである

00:11:48.280 --> 00:11:49.400
ワンレークカタログもあります

00:11:49.400 --> 00:11:54.020
認定データセットの検索、所有者の確認、ガバナンス管理を一箇所で行えます

00:11:54.020 --> 00:11:56.280
マイクロソフトパービューと統合されており

00:11:56.280 --> 00:11:59.520
分類、秘密度ラベル付け、データ損失防止が可能です

00:11:59.520 --> 00:12:03.300
そのため特定のデータを機密や極秘としてマークする必要がある場合

00:12:03.300 --> 00:12:05.840
レークレベルで設定すればどこにでも適用されます

00:12:05.840 --> 00:12:09.540
さらに誰がいつ何にアクセスしたかを記録するワンレーク診断機能もあります

00:12:09.540 --> 00:12:11.260
これは監査やコンプライアンスチェック

00:12:11.260 --> 00:12:14.640
先週誰がこのデータに触れたか?といった問いへの回答に役立ちます

00:12:14.640 --> 00:12:16.800
読み取りと書き込みのすべての操作をログに記録し

00:12:16.800 --> 00:12:19.060
それらをJSONファイルとしてレークハウス内に保存します

00:12:19.060 --> 00:12:22.280
スパーク、SQL、パワーBIのいずれでも分析可能です

00:12:22.280 --> 00:12:23.640
全体像はこうです

00:12:23.640 --> 00:12:25.520
ツールごとにルールを管理するのではなく

00:12:25.520 --> 00:12:28.200
すべてのデータに単一のセキュリティモデルを適用します

00:12:28.200 --> 00:12:31.360
これはどのような組織にとっても大幅な簡素化につながります

00:12:31.360 --> 00:12:32.880
実践的なポイントです

00:12:32.880 --> 00:12:34.320
これが何を意味するのか

00:12:34.320 --> 00:12:35.880
では今日からファブリックを始める場合

00:12:35.880 --> 00:12:37.540
これは具体的に何を意味するのでしょうか

00:12:37.540 --> 00:12:38.960
順を追って説明しましょう

00:12:38.960 --> 00:12:41.000
新しいデータプラットフォームを構築する場合

00:12:41.000 --> 00:12:43.500
ワンレークがあれば複雑なデータ移動の設計は不要です

00:12:43.500 --> 00:12:46.100
レークからウェアハウス、そしてセマンティックモデルへと

00:12:46.100 --> 00:12:48.300
データの流れを計画する必要はありません

00:12:48.300 --> 00:12:49.360
ワンレークに入れるだけで

00:12:49.360 --> 00:12:50.880
あらゆるツールがそこからデータを読み取れます

00:12:50.880 --> 00:12:52.620
ワンレーク、データはコピーを一つに

00:12:52.620 --> 00:12:54.180
アーキテクチャはこれで完結です

00:12:54.180 --> 00:12:55.420
古いシステムからの移行なら

00:12:55.420 --> 00:12:57.740
ショートカットとミラーリング機能でデータをそのままに

00:12:57.740 --> 00:12:59.460
段階的にワークロードを移行できます

00:12:59.460 --> 00:13:01.680
一度にすべてを移行する必要はありません

00:13:01.680 --> 00:13:03.480
既存のデータレークにショートカットを設定し

00:13:03.480 --> 00:13:05.160
スクールサーバーデータベースをミラーリングして

00:13:05.160 --> 00:13:07.480
古いシステムを動かしたままファブリックを使い始められます

00:13:07.480 --> 00:13:09.140
自分のペースで進められるのです

00:13:09.140 --> 00:13:10.780
ここで考え方を切り替えましょう

00:13:10.780 --> 00:13:12.880
プロジェクトごとにストレージを考えるのはやめましょう

00:13:12.880 --> 00:13:15.320
新しい取り組みの度にデータレークを作るのもやめましょう

00:13:15.320 --> 00:13:16.700
すべてのプロジェクトがアクセスする

00:13:16.700 --> 00:13:18.720
一つの共有レークについて考えてみてください

00:13:18.720 --> 00:13:21.540
営業チーム、財務チーム、エンジニアリングチームのデータ

00:13:21.540 --> 00:13:23.220
すべてが一箇所に集約されます

00:13:23.220 --> 00:13:24.980
各自が必要な部分を見るだけです

00:13:24.980 --> 00:13:27.700
Power BIユーザーにとってレポートはワンレークから直接読み込まれます

00:13:27.700 --> 00:13:30.280
個別のインポートや重複したセマンティックモデルは不要です

00:13:30.280 --> 00:13:33.260
データエンジニアが扱うのと同じデータなので常に最新です

00:13:33.260 --> 00:13:37.080
データエンジニアにとっても構築、保守、デバッグが必要なパイプラインの削減につながります

00:13:37.080 --> 00:13:38.480
データを一度取り込むだけ

00:13:38.480 --> 00:13:40.360
あとは全員がそれを参照するのです

00:13:40.360 --> 00:13:42.980
結論としてワンレークは単なるデータレークではありません

00:13:42.980 --> 00:13:45.940
ファブリックをこれまでのものとは違うものにするその基盤なのです

00:13:45.940 --> 00:13:49.260
データをコピーするのをやめ信頼できるようになる理由がそこにあります

00:13:49.260 --> 00:13:50.100
以上です

00:13:50.100 --> 00:13:54.680
ワンレークはデータはコピーを一つにという原則に基づいた組織のための唯一のデータレークです

00:13:54.680 --> 00:13:58.580
物理的なコピーは一つあらゆるツールチームワークロードからアクセス可能です

00:13:58.580 --> 00:14:01.860
重複もどのバージョンが正しいのかという混乱ももうありません

00:14:01.860 --> 00:14:03.380
やるべきことはシンプルです

00:14:03.380 --> 00:14:06.840
まずは外部ソースからのショートカットやデータベースのミラーリングから始めてください

00:14:06.840 --> 00:14:10.800
データを移動するためだけのパイプライン構築が不要になるとどれほどシンプルになるか実感できるはずです

00:14:10.800 --> 00:14:13.380
多くの組織はすぐにはこの移行を行わないでしょう

00:14:13.380 --> 00:14:14.880
あなたが先駆者になりましょう

00:14:14.880 --> 00:14:16.900
このエピソードがワンレークの理解に役立ったなら

00:14:16.900 --> 00:14:20.580
マイクロソフトナレッジナゲッツを登録してファブリックの情報をさらにチェックしてください

00:14:20.580 --> 00:14:23.740
そしてまだ5つものデータレークを管理している人にこの動画をシェアしてあげてください

00:14:23.740 --> 00:14:25.240
きっと後で感謝されるはずです
