הנושא של היום הוא כזה שכמעט כל מי שעובד עם נתונים שמע עליו, אך מעטים באמת מבינים אותו. Microsoft Fabric One Lake. בטח ראיתם את זה בשיווק של Microsoft או שמעתם מי שהוא מכנה את זה אגם הנתונים המאוחד עבור כל הארגון שלכם. אבל מה זה באמת אומר? האם זו סתם עוד קופסה תכסון או שזה משהו שונה מהותית? הנה ההגדרה הפשוטה ביותר. One Lake הוא אגם נתונים לוגי יחיד שנמצא במרכז של Microsoft Fabric. כל שירות Fabric, אגם נתונים, Lake House, מחסן נתונים, בית אירועים או Power Buy מאחסנים את הנתונים שלהם כאן. והכלל המרכזי פשוט. עותק פיזי אחד של נתונים שנגיש על ידי מנועים רבים ושונים. אין יותר צורך להעתיק נתונים מקלי אחד לשני. אין יותר תהיות איזו גרסה של דוחי הנכונה. עד סוף הפרק הזה תבינו מה זה One Lake באמת, איך הוא מבטל כפילות נתונים ולמה הוא משנה את חוקי המשחק עבור Power Buy, הנדסת נתונים ואיי. אז בואו נתחיל עם הבעיה שאון לייק נבנה כדי לפתור. הבעיה לכל מחלקה יש אגם משלה. דמיינו שאתם עובדים בחברה בגודל בינוני. צוות המחירות שלכם משתמש במערכת CRM כדי לעקוב אחר עסקאות. צוות הכספים שלכם מריץ את ה-ERP לחיוב וחשבוניות. צוות השיווק שלכם מושך נתונים מקלי הקמפיינים שלהם. וצוות הנדסת הנתונים שלכם מנהל מחסן נתונים עבור דיווח. אז הנה מה שאני רוצה שתחשבו עליו. כמה עותקים של אותם נתוני לקוח קיימים ברחבי המערכות האלה? ברוב החברות, התשובה היא ארבעה או חמישה. ה-CRM מאחסן אותם. ה-ERP מאחסן אותם. השיווק מייצא אותם לכלי הניתוח שלהם. מי שהוא בכספים בונה גיליון אלקטרוני מה-ERP. וצוות הנדסת הנתונים מעתיק אותם למחסן הנתונים כדי ש-Power Buy יוכל לקרוא אותם. זה אותו מזהה לקוח, אותו סכום מחירה, אותו תאריך חשבונית שמאוכסנים בחמישה מקומות שונים. זה לא בגלל שאנשים לא זהירים, זה בגלל שהכלים הישנים לא דיברו זה עם זה. אם רציתם להריץ דוח שמשלב נתוני מחירות מה-CRM עם נתונים פיננסיים מה-ERP, הייתם צריכים להעתיק את שניהם למשהו שיכול לקרוא אותם יחד. זה אמר לבנות צינורות, לתזמן עבודות ולקוות ששום דבר לא ישתבש במהלך הלילה. העלויות הנסתרות מצטברות מהר. חשבונות ההכסון גדלים כי אתם משלמים על אותם נתונים חמש פעמים. דוחות הופכים למיושנים כי אותק אחד מתעדכן בעוד אחר לו. ואז מישהו שואל את השאלה שאף אחד לא רוצה לענות עליה. איזו גרסה היא הנכונה? הבלבול הזה שוחק את האמון בנתונים, וברגע שהאמון נעלם, אנשים מפסיקים להשתמש בפלטפורמת הניתוח כליל. אז מייקרוסופט הסתכלה על הבלגן הזה ושאלה שאלה פשוטה, מה אם תוכלו להחזיק אותק אחד של הנתונים שלכם שכל כלי יוכל לקרוא? ללא כפילויות, ללא בלבול, מקור אמת אחד. מהו בעצם One Lake? One Lake הוא התשובה של מייקרוסופט לשאלה הזו. זהו אגם נתונים לוגי יחיד עבור כל הארגון שלכם. ביטוי המפתח שיש לזכור הוא זה, אגם אחד לכל דייר, טננט, לא אגם אחד לכל צוות. מתחת למכסה המנוע, One Lake בנוי על Azure Data Lake Storage Genge Time. אותה טכנולוגיה, אותה ממשקי API, אבל מייקרוסופט הרזה אותו מחדש כשהירות סס מנוהל במלואו. אתם לא צריכים ליצור חשבונות תכסון, לא לנהל מקולות, containers, ולא להגדיר מפתחות פגישה, אתם פשוט משתמשים בו. תחשבו על זה כמו One Drive עבור הנתונים של החברה שלכם. One Drive מעניק לכם מקום אחד לקבצים האישיים, למסמכים, לתמונות ולגיליונות האלקטרוניים שלכם. אתם לא חושבים על איפה הם מאוחסנים פיזית, אתם פשוט פותחים אותם ועובדים. One Lake עושה את אותו הדבר, אבל עבור הנתונים של הארגון שלכם. הוא מעניק לכל צוות, לכל פרויקט ולכל אומס עבודה מאגר יחסון משותף אחד. עכשיו, הנה הבחנה חשובה. One Lake הוא לוגי, לא פיזי. מתחת למכסה המנוע, הוא יכול להסתרע על פני מספר חשבונות יחסון באזורים שונים, אבל עבורכם זה נראה כמו מאגר ענק אחד. לא אכפת לכם איזה שרת מחזיק את הקבצים, אתם פשוט רואים את הנתונים שלכם. כל שירות פבריק מאחסן את הנתונים שלו כאן. כשאתם יוצרים Lake House, הנתונים נמצאים ב-Oone Lake. כשאתם בונים מחסן נתונים, Warehouse, הטבלעות נמצאות ב-Oone Lake. כשאתם מריצים דוח Power Buy, אם הוא משתמש במצב Direct Lake, הוא קורא ישירות מ-Oone Lake. אפילו Event House, מחסן הניתוח בזמן אמת, יכול לחשוף את הנתונים שלו לתוך One Lake. הכל מצביע לאותו מקום, ופורמט הנתונים המוגדר כברירת מחדל הוא Delta Parquet. זהו פורמט פתוח, לא כזה שנועל אתכם בתוך מייקרוסופט. דייטאברקס משתמשת בו, ומנועי ספרק קוראים אותו. כלים כמו פנדאז ופולארס יכולים לעבוד איתו. אז הנתונים שלכם לא כלואים בתוך העולם של מייקרוסופט. זה פתוח ונייד, אבל הקסם האמיתי הוא לא היחסון, אלא הדרך שבה One Lake מבטל את הצורך להעתיק נתונים מלכתחילה. עקרון העותק האחד עכשיו, הנה הרעיון המרכזי שהופך את One Lake לשונה מכל מה שהיה לפניו. זה נקרא עקרון העותק האחד, וזה פשוט. עותק פיזי אחד של נתונים נגיש על ידי מנועים שונים רבים. הרשו לי להראות לכם מה זה אומר. נניח שיש לכם טבלה של נתוני מחירות שיושבת ב-One Lake. מהנדס נתונים מריץ מחברת ספרק כדי לנקות אותם. אנליסט עסקי כותב שאילתטי סיכואל כדי לבצע האגרגציה שלהם. ודוח PowerBuy קורא אותם עבור לוח מכוונים, דשבורד. שלושתם קוראים בו זמנית. שלושתם קוראים את אותו הקובץ. איש לא העתיק דבר. בעולם הישן, זה מעולם לא קרה. היית מעתיק נתונים מאגם הנתונים לתוך מחסן נתונים. ואז היית מעתיק אותם מהמחסן למודל סמנטי. ואז הייתה מרענן את הדוח. אלו שלושה עותקים של אותם הנתונים. כל אחד מהם גוזל זמן ושטח יחסון. ואם שלב כלשהו נכשל, המספרים שלך היו שגועים. עותק אחד מבטל את כל זה. הנתונים נמצאים ב-One Lake פעם אחת. המנועים, ספרק, סיכואל ופאור ביי, כולם קוראים אותם ישירות. ללא תנועה, ללא כפילות, ללא בעיות סינקרון. החיסכון בעלויות הוא אמיתי. פחות תחסון כי אתה לא משלם על אותם נתונים חמש פעמים. פחות ETL כי אתה לא בונה צינורות רק כדי להעביר נתונים בין כלים. פחות דברים לתחזק כי אין מה שישבר בין עותקים. והיתרון של רעננות הנתונים הוא עצום. עותק אחד פירושו מקור אמת אחד. כשהנתונים מתעדכנים, כל דוח רואה את העדכון מיד. די לשאול, האם הדוח הזה משתמש בנתונים מהשבוע שעבר או מהשבוע הזה? אלו תמיד אותם הנתונים בכל מקום. עכשיו, אולי אתה חושב, ובכן, האם זה לא פשוט Azure Data Lake Storage? לא בדיוק. ADLS הוא שירות PAS. אתה יוצר חשבונות תחסון. אתה מנהל קונטיינרים. אתה מגדיר מפתחות גישה. אתה מחליט איזה אזור יחזיק מה. זה גמיש, אבל זו גם עבודה. One Lake הוא שירות SES. אתה לא יוצר חשבונות תחסון. אתה לא מנהל קונטיינרים. אתה פשוט משתמש בו. התשתית שמתחת מטופלת עבורך. עותק אחד הוא מצוין עבור נתונים שחיים בתוך פבריק. אבל מה לגבי נתונים שחיים במקום אחר? קיצורי דרך. אשאר את הנתונים במקום שבו הם חיים. אז, כאן נכנסים לתמונה קיצורי הדרך. קיצור דרך הוא מצביע וירטואלי. חשוב עליו כעל קישור סימבולי עבור אגם הנתונים שלך. הוא מאפשר לך לגשת לנתונים שחיים פיזית מחוץ לאון לייק מבלי להעביר או להעתיק אותם. הנה איך זה עובד. אתה יוצר קיצור דרך בתוך לייקאוס או מחסן נתונים. או אפילו סביבת עבודה אחרת בפבריק. הנתונים נשארים איפה שהם. אבל מתוך פבריק זה נראה כאילו הם נמצאים ממש שם באוואן לייק. תן לי לתת לך תרחיש אמיתי. צוות המחירות שלך מריץ את הניתוחים שלו ב-AWS כבר שנים. לכן, כל הנתונים שלהם יושבים בדלי S3. צוות הכספים שלך משתמש בפבריק ובאהור ביי. והם צריכים לשלב נתוני מחירות עם נתונים פיננסיים. בעולם הישן, היית מייצא הכל מ-S3. מעלה ל-Azure בונה צינור נתונים כדי לשמור על סמכירון ומקווה ששום דבר לא יישבר. עם קיצורי דרך, שורטקאץ. אתה יוצר קיצור מהלייקהוס שלך אל ה-S3 בקט. הנתונים נשארים ב-AWS. אבל צוות הכספים יכול לבצע שאילטות בפאור ביי כאילו הם נמצאים ב-Awn Lay. בלי ייצוא, בלי העלאה ובלי צורך לדאוג לצינורות נתונים. קיצורי דרך עובדים גם באופן פנימי. אם לצוות אחד יש סט נתונים מעובד בסביבת העבודה שלו, צוות אחר יכול ליצור אליו קיצור דרך. ללא העתקה, ללא כפילויות. הנתונים נשארים בסביבת העבודה המקורית, וכל השאר רק מפנים עליהם. יש מגבלה אחת שחשוב להבין. קיצורי דרך לא מעתיקים נתונים, לכן ביצועי השאילטות תלויים במהירות של מערכת המקור. אם אתה יוצר קיצור ל-S3 בקט שנמצא בצד השני של העולם, השאילטות יהיו איטיות יותר מאשר אם הנתונים היו מקומיים. עבור נתונים בגישת תדירה, שקול להשתמש בשיקוף, מיררינג, במקום זאת. וזה מוביל אותנו לנושא הבא שלנו, שיקוף. ייבור אוטומטי של נתונים מבסיסי נתונים. קיצורי דרך מצוינים להיחסון קבצים חיצוני, אבל מה לגבי בסיסי הנתונים הקיימים שלך? אלו שמריצים את ה-ERP, ה-CRM, והיישומים הטיפוליים שלך. כאן נכנס לתמונה השיקוף. שיקוף הוא דרך להעביר נתונים מבסיסי נתונים לאון לייק בזמן אמת כמעט, בלי לבנות אף צינור נתונים. אתה מפנה את פבריק לבסיס הנתונים שלך, והוא עושה את השאר על ידי יצירת עותק מצטבר אוטומטי בפורמט דלטה פרקי בתוך וואן לייק, ושומר על העותק מעודכן ככל שמתרחשים שינויים במקור. המקורות הנתמכים כוללים Azure SQL Database, SQL Server מקומי, Cosmos DB ואחרים, ומייקרוסופט מוסיפה עוד עם הזמן. אך התרחיש הנפוץ ביותר הוא בסיס הנתונים העסקי הקריטי שלך, זה שעליו רץ ה-ERP או יישום הליבה העסקי. הנה איך זה עובד. אתה מפעיל שיקוף על בסיס נתונים, ופבריק קורא את זרם השינויים הוספות, עדכונים, מחיקות ומשכפל את השינויים האלו לאון לייק. הסינקרון הראשון מעתיק את סט הנתונים המלא. לאחר מכן, זה תהליך מצטבר שמעביר רק את השורות שהשתנו. הנתונים מגיעים בפורמט דלטה פרקי, מוכנים לשאילתות על ידי כל מנוע של פבריק. כעת, הנה ההבדל המרכזי מקיצורי דרך. קיצורי דרך לא מעתיקים נתונים, הם רק מפנים עליהם. שיקוף אכן מעתיק את הנתונים, כך שהם נמצאים באוואן לייק פיזית, וביצועי השאילתות מהירים ללא קשר למהירות בסיס הנתונים המקורי. הפשרה היא שאתה מאכסן עותק, אבל היתרון הוגישה בזמן אמת כמעט ללא צורך בבניית צינורות, ללא ניהול תזמונים וללא תחזוקה. הרשו לי להציג לכם מקרה בוחן מוחשי. החברה שלכם מריצה מערכת ERP על SQL Server, והיא מחזיקה את כל הנתונים הפיננסיים שלכם, חשבוניות, תשלומים וספר ראשי. בעולם הישן, הייתם בונים משימת ETL שרצה מדי לילה, מחלצת את הנתונים, מאבדת אותם וטוענת אותם למחסן נתונים. המשימה הזו נתקעת מי שהוא צריך לתקן אותה, והנתונים תמיד בני יום לפחות. עם שיקוף, מיררינג, אתם מפעילים אותו פעם אחת, ופבריק משכפל את הנתונים לאוואן לייק באופן רציף. דוחות ה-Power Buy שלכם קוראים ישירות מ-One Lake ורואים נתונים בני דקות, לא שעות או ימים, ואתם לעולם לא נוגעים בצינור הנתונים. כעת, יש לכם נתונים ב-One Lake מכיצורי דרך, משיקוף ומתאינות ישירות. איך באמת משתמשים בזה? One Lake הוא שלושת מאגרי הנתונים. אז, One Lake הוא שכבת ההכסון, המקום שבו כל הקבצים שלכם נמצאים. אבל הנה העניין, אתם לא באמת עובדים עם One Lake ישירות. במקום זאת, אתם מתקשרים איתו דרך מה שאנחנו מכנים מאגרי נתונים, שהם ממשקים המציעים דרכים שונות לעבודה עם אותם נתוני בסיס. ישנם שלושה מאגרי נתונים עיקריים ב-Fabric, Lakehouse, Warehouse ו-Eventus. כולם מאחסנים את הנתונים שלהם באותו One Lake, אך כל אחד מהם משרת מטרה שונה. נתחיל עם Lakehouse, מאגר הנתונים הגמיש שמקבל קבצים כמו CSV, JSON ותמונות לצד טבלאות Delta. משתמשים בו כשעוסקים בהנדסת נתונים, למידת מכונה או הנחת נתונים גולמיים ממערכות מקור. זוהי סביבת עבודה שבה מנקים, מאבדים ומכינים נתונים. אם אתם בונים ארכיטקטורת, מדליון עם שכבות ברונזה, כסף וזהב, ה-Lakehouse הוא המקום שבו זה קורה. ניתן לגשת אליו דרך מחברות Spark או דרך נקודת הקצה של SQL Analytics לשאילתות לקריאה בלבד. הבא בתור הוא Warehouse, מאגר הנתונים המובנה. הוא מעניק לכם תמיכה מלאה בקריאה וכתיבה של T-SQL, כך שתוכלו ליצור טבלאות, תצוגות, פרוצדורות מאוחסנות ופונקציות, ולהריץ פקודות Insert, Update ו Delete. זה מרגיש כמו מסד נתונים מסורתי של SQL Server, כי הוא תוכנן עבור אנשים שחושבים ב-SQL. השתמשו ב-Worry House כשאתם בונים דוחות ביי, מריצים חישובים מורכבים או מבצעים הגירה ממחסן נתונים קיים. תחשבו עליו כשכבת הזהב עבור דיווח ארגוני. ואז יש את ה-Eventus, מאגר נתונים בזמן אמת המבוסס על מנוע קסטו, אותה טכנולוגיה שמאחורי Azure Data Explorer. הוא מטפל בנתוני סטרימינג, לוגים, טלמטריה של IoT וזרמי קליק עם כל מה שמגיע מהר ודורש תישול מיידי. אתם מתשאלים אותו באמצעות KQL, שפת השאילתות של קסטו, וכאשר מפעילים את הזמינות ב-One Lake, נתוני האירועים הללו הופכים לנגישים ל-Lake House ול-Worry House כתבלאות דלטה. אז הנה מה שאתם צריכים להבין. שלושתה מאחסנים את הנתונים שלהם באותו One Lake. טבלה שנוצרה ב-Lake House יכולה להיקרא על ידי שאילת ב-Worry House. ניתן לגשת לטבלה ב-Worry House מתוך מחברת Spark. ניתן לחשוף נתונים שהותענו ל-Eventus כטבלאות דלטה עבור Power Buy. הם לא מסדי נתונים נפרדים, אלא תצוגות שונות של אותו אגם נתונים Data Lake. הרבה אנשים מבינים זאת לא נכון. הם חושבים ש-Lake House, Warehouse ו-Eventus הם מוצרים מתחרים, אבל זה לא המצב. למעשה משתמשים בשלושתם כי כל אחד פותר בעיה אחרת. Lake House להנדסת נתונים, Warehouse לבי, ו-Eventus לזמן אמת, וכולם חולקים את אותו איחסון. One Lake מטפל באיחסון ומעגרי הנתונים מטפלים בגישה. אבל מי רשאי לראות מה? הבטחה וממשל ב-O-One Lake. מכיוון שכל הנתונים שלכם נמצאים במקום אחד, ההבטחה הופכת לפשוטה יותר. אתם מנהלים את הגישה בנקודה אחת במקום ב-10 מערכות שונות. אין יותר צורך להגדיר הרשאות ב-CRM, אחר כך שוב ב-Worry House ושוב ב-Power Buy. One Lake מעניק לכם מודל אבטחה אחד עבור הכל. ברמה העליונה יש לכם תפקידי סביבת עבודה, מנהל, חבר, תורם וצופה. אלו קובעים מי יכול לעבוד בסביבת עבודה נתונה. אם מישהו הוא צופה, הוא יכול לראות פריטים אך לא לשנות אותם. אם הוא מנהל, הוא שולט בהכל. פשוט מספיק, אבל אפשר לקחת את זה רחוק יותר. תפקידי אבטחה ב-One Lake מאפשרים לכם לשלוט בגישה ברמת התיקייה, הטבלה, העמודה ואפילו השורה. למשל, אבטחה ברמת עמודה אומרת שניתן להסתיר מידע שחר מכולם מלבד ממשאבי אנוש. אבטחה ברמת שורה אומרת שמנהל מחירות רואה רק את הנתונים של האזור שלו. וזה עובד באותו אופן בכל מעגרי הנתונים כי כולם יושבים על אותו One Lake. יש גם את קטלוג One Lake, תצוגה מרכזית שבה ניתן לראות את כל הנתונים בכל סביבות העבודה. ניתן למצוא מערכי נתונים מאושרים, לבדוק למי שייך מה ולנהל ממשל ממקום אחד. הוא משתלב עם Microsoft Purview לסיווג, תוויות רגישות ומניעת אובדן נתונים. אז אם אתם צריכים לסמן נתונים מסוימים כחסויים או מוגבלים מאוד, ניתן לעשות זאת ברמת האגם וזה חל על הכל. ויש את ההבחונים של One Lake שמתעדים מי ניגש למה ומתי. זה שימושי לביקורות, בדיקות תאימות ומענה על השאלה, מין אגב הנתונים האלה בשבוע שעבר. הוא מתעד כל פעולת קריאה וכתיבה ושומר את היומנים האלה כקבצי ג'ייסן בתוך לייקהוס. ניתן לנתח אותם באמצעות ספארק, סיקוואל או פאוור ביי. התמונה הגדולה היא זו, מודל הבטחה אחד לכל הנתונים שלך במקום ניהול חוקים נפרדים לכל כלי. זוהי פישוט משמעותי עבור כל ארגון. תובנות מעשיות מה זה אומר עבורך? אז, מה כל זה אומר בפועל אם אתה מתחיל היום את המסע שלך בפבריק? בוא נפרק את זה. אם אתה בונה פלטפורמת נתונים חדשה, One Lake מסיר את הצורך בתכנון העברת נתונים מורכבת. אתה לא צריך לתכנן איך נתונים זורמים מאגם למחסן למודל סמנטי. פשוט שים אותם ב-O One Lake וכל כלי יקרה משם. One Lake, עותק אחד. זו כל הארכיטקטורה. אם אתה עובר ממערכת ישנה, קיצורי דרך ושיקוף מאפשרים לך להשאיר נתונים במקומם תוך העברת עומסי עבודה בהדרגה. אין צורך בהגירה גדולה בבת אחת. הפני קיצור דרך לאגם הנתונים הקיים שלך, שקף את מסעד הנתונים של SQL Server, והתחל להשתמש בפבריק בזמן שהמערכות הישנות ממשיכות לעבוד. אתה מתקדם בקצב שלך. הנה השינוי התפיסתי. תפסיק לחשוב על יחסון לפי פרויקט. תפסיק ליצור אגם נתונים חדש לכל יוזמה חדשה. תתחיל לחשוב על אגם משותף אחד שכל פרויקט ניגש אליו. הנתונים של צוות המחירות, הנתונים של צוות הכספים, הנתונים של צוות ההנדסה. הכל חי באותו מקום. הם פשוט רואים חלקים שונים ממנו. עבור משתמשי פאוור ביי, דוחות קוראים ישירות מיון לייק. אין ייבון נפרד, אין מודלים סמנטיים משוכפלים. הנתונים טאריים כי אלו אותם נתונים שמאנדסי הנתונים עובדים איתם. עבור מאנדסי נתונים, זה אומר פחות צינורות לבנות, לתחזק ולנפות שגיאות. אתה מתאין את הנתונים פעם אחת. כל השאר פשוט מתייחסים עליהם. השורה התחתונה היא זו, One Lake הוא לא סתם עוד אגם נתונים. זו התשתית שהופכת את פאבריק לשונה מכל מה שהיה לפניה. זו הסיבה שאתה יכול להפסיק להעתיק נתונים ולהתחיל לסמוך עליהם. אז, הנה זה. One Lake הוא אגם הנתונים היחיד של הארגון שלך, הבנוי על עקרון העותק האחד. עותק פיזי אחד של נתונים הנגיש לכל כלי, לכל צוות ולכל אומס עבודה. אין יותר שכפול, אין יותר בלבול לגבי איזו גרסה היא הנכונה. שיעורי הבית שלך פשוטים. התחל עם קיצור דרך ממקור חיצוני או שקף מסד נתונים. ראה כמה זה הופך לפשוט כשאתה לא צריך לבנות צינורות רק כדי להזיז נתונים. רוב הארגונים לא יבצעו את המעבר הזה במהירות. תהיה זה שכן עושה זאת. אם הפרק הזה עזר לך להבין את One Lake, הרשם לMicrosoft Knowledge Nuggets לעוד תוכן על פבריק בשפה פשוטה, ושתף את זה עם מישהו שעדיין מנהל חמישה אגמי נתונים נפרדים. הם יודו לך על כך אחר כך.