ברוכים הבאים לפרק נוסף. נושא היום הוא משהו שבטח שמעתם עליו בפגישות או במאמרים טכנולוגיים, Microsoft Fabric. אבל אם אתם כמו רוב האנשים, אתם לא לגמרי בטוחים מה זה בעצם. האם זה סתם עוד מוצר של Microsoft, מיתוג מחדש של משהו ישן, או שמדובר במה שהוא שונה לחלוטין? הרשו לי לתת לכם את התשובה הקצרה. Microsoft Fabric הוא לא סתם עוד מוצר. זוהי פלטפורמת נתונים מלאה, מקום אחד שבו ניתן לבצע את כל עבודת הנתונים, איכסון, פרנספורמציה, ניתוח ודיווח, הכל במקום אחד. עד סוף הפרק הזה, תבינו מה זה Fabric, למה מייקרוסופט בנתה אותו, ואיך החלקים העיקריים מתחברים יחד. קחו את הקפה שלכם ובואו נצלול פנימה. הדרך הישנה, למה נתונים היו מפוצלים. כדי להבין למה Fabric קיים, צריך להבין את הבעיה שהוא פותר. לפני 20 שנה, אם ניהלתם חברה, הייתם קונים שרת לאיכסון נתונים, כלי נפרד להפקת דוחות, ועוד מוצר לניתוח בזמן אמת. לפני ששמתם לב, היו לכם חמש מערכות שונות, כל אחת עם התחברות משלה, דרך עבודה משלה וצוות משלה שמנהל אותה. במשך זמן רב, נתונים חיו בסילו, ממגורות. נתוני מחירות יישבו במערכת אחת, נתוני לקוחות באחרת, ונתונים פיננסיים במקום אחר לגמרי. אם רציתם לשאול שאלה שחצתה את המערכות האלה, כמו אילו לקוחות קונים את המוצרים הרווחיים ביותר, הייתם צריכים להעביר נתונים ממקום למקום, לייצא ממערכת אחת, לבצע טרנספורמציה, לטעון לאחרת, ואז לעשות את זה שוב כשהנתונים השתנו. יותר זמן הושקע בהעברת נתונים בין מערכות, מאשר בניתוח שלהם בפועל. אינטגרציית נתונים הפכה למשרה מלאה עבור צוותים שלמים. החלק הגרוע ביותר היה שבכל פעם שהעברתם נתונים, יצרתם עוד עותק, עוד גרסה של האמת, ומהר מאוד, אף אחד לא ידע איזה עותק הוא הנכון. מייקרוסופט הסתכלה על הפיצול הזה ושאלה שאלה פשוטה. מה אם כל השירותים האלה יעבדו יחד? מה אם במקום לטפור יחד מוצרים נפרדים, הייתה לכם פלטפורמה אחת שעושה הכל? השאלה הזו היא מה שהוביל למיקרוסופט פבריק. מה מייקרוסופט פבריק הוא בפועל? אז, מה זה בעצם פבריק? הנה ההגדרה הפשוטה ביותר. מייקרוסופט פבריק היא פלטפורמה מאוחדת לנתונים וניתוח אין לי תיקה, אבל כולם חלק מאותו מבנה. אתם לא צריכים לצאת החוצה כדי לעבור מחדר אחד לשני. הם מחוברים. זה מה שפבריק עושה. היא מאגדת הנדסת נתונים, אינטגרציית נתונים, מחסני נתונים, ניתוח בזמן אמת ובינה עסקית בפלטפורמה אחת. הכל רץ על פלטפורמת סס אחת. מה שאומר שאין תשתית נפרדת לנהל, אין שרתים להקצות או רשתות להגדיר. מייקרוסופט מטפלת בכל זה עבורך. מאז השקטה בית מינוס 2023, פבריק הפכה למוצר הנתונים הצומח ביותר בהיסטוריה של מייקרוסופט. כיום, למעלה מממ מינוס 25 אלף לקוחות משתמשים בה, כולל 80% מהפורצ'ן 500. זה הרבה אימוץ בזמן קצר מאוד. ההבדל המרכזי הוא זה, בעולם הישן, קנית מוצרים נפרדים וניסית לגרום להם לדבר זה עם זה. עם פבריק, אתה לא צריך לחבר יותר שירותים שונים יחד. זו חוויה אחת, התחברות אחת, דרך עבודה אחת, וזה משנה הכל. וואן לי, הבסיס. כעת, בואו נדבר על הבסיס שגורם לכל זה לעבוד. בליבה של פבריק נמצא משהו שנקרא וואן לייק. הדרך הקלה ביותר לחשוב על וואן לייק היא כמו וואן דרייב עבור הנתונים שלך. אתה יודע איך וואן דרייב נותן לך מקום אחד להחסן את כל הקבצים האישיים שלך, וכל אפליקציה במחשב שלך יכולה לגשת לקבצים האלה. וואן לייק עושה את אותו הדבר, אבל עבור הנתונים של הארגון שלך. הנה מה שהופך את זה לעוצמתי. כל עומס עבודה בפבריק, בין אם זה לייקהוס, מחסן נתונים או עבודת ניתוח בזמן אמת, מאחסן אוטומטית את הנתונים שלו באון לייק. אתה לא צריך להעתיק שום דבר ידנית או להגדיר חיבורים. זה פשוט קורה. ויש רק וואן לייק אחד לכל דייר, טננט, מקור אמת אחד עבור כל הארגון שלך. עכשיו, אולי אתה חושב, מה אם ארצה להחליף פלטפורמות מאוחר יותר? האם אני נעול? גרשיים. התשובה היא לא. וואן לייק, מאחסן נתונים בפורמטים פתוחים כמו דלטה פרקי, פורמט סטנדרטי בתעשייה המשמש את דייטאבריקס ואפ אש ספרק. אתה אף פעם לא נעול למייקרוסופט. אם אתה רוצה להעביר את הנתונים שלך למקום אחר, אתה יכול. אלו הנתונים שלך. אבל כאן וואן לייק הופך למעניין באמת, קיצורי דרך. קיצור דרך הוא מצביע וירטואלי לנתונים שנמצאים במקום אחר. אתה יכול ליצור קיצור דרך לנתונים המאוחסנים ב-AWSS3, גוגל קלאוד, או אפילו יחסון מקומי, און פרמיסס, וזה מופיע באון לייק כאילו היה מאוחסן שם. אין צורך בהעברת נתונים, אין כפילות. אתה רק מצביע עליו, והוא מופיע. וואן לייק בנוי על גבי Azure Data Lake Storage, יחסון הענן ברמה הארגונית של מייקרוסופט, אבל אתה לא מנהל את התשתית הזו כי הכל מטופל כשהירות סס. אתה לא מקצה שרתים או מגדיר רשתות, אתה פשוט משתמש בזה. מה זה אומר מבחינתך? זה אומר שניתן לרכז נתונים ממקורות שונים, יחסון בענן, מסדי נתונים מקומיים, ופלטפורמות צד שלישי, כולם במקום אחד ללא כפילויות. ומה הכוח האמיתי כאן? כל נתון שנכתב לאון לייק, זמין לשימוש מיידי עבור כל עומס עבודה בפבריק. כותבים פעם אחת, וכל כלי בפבריק יכול לראות את זה. זה הקסם של One Lake Lake House, המרכז להנדסת נתונים. אז הנתונים שלך כבר נמצאים באון לייק. עכשיו, צריך לעבוד איתם. כאן נכנס ה-Lake House לתמונה. הנה ההגדרה הפשוטה ביותר. Lake House הוא מאגר נתונים המשלב את הגמישות של Data Lake עם המבנה של מסד נתונים. בדאטה Lake מסורתי, אפשר להכסן הכל, קבצי CSV גולמיים, מסמכי ג'ייסן, תמונות וסרטונים, אבל הכל מבולגן ללא מבנה או סכימה, כך שקשה לבצע שאילתות. במסד נתונים מסורתי, הכל מובנה וניתן לשאילת, אך ניתן להכסן רק סוגים מסוימים של נתונים. Lake House נותן לך את שניהם. אפשר לשמור קבצים גולמיים כמו CSV, ג'ייסן או אפילו תמונות ב-Lake House. ואפשר גם להכסן טבלעות מובנות שניתן לתשאל באמצעות SQL. שניהם נמצאים באותו המקום. הטבלעות האלו משתמשות בפורמט Delta Parquet. אותו פורמט פתוח ומהיר שמשמש את Databricks ופלטפורמות מרכזיות אחרות, ומיועד לטיפול בחמויות עתק של נתונים. Lake House תומכים בחלים מרובים. ניתן להשתמש בספרק לעיבוד נתונים בהיקף גדול. ניתן להשתמש בפייטן ללמידת מכונה. ניתן להשתמש בסקיואל לשאילתות פשוטות. בכל כלי שתעדיף, ה-Lake House יודע לטפל. תחשוב על ה-Lake House כסביבת העבודה שלך לבניית צינורות נתונים. אתה מביא נתונים גולמיים, מאבד אותם, מנקה אותם ומכין אותם לניתוח. ניתן להריץ מודלים של למידת מכונה על הנתונים. ניתן ליצור ערכות נתונים לאימון, הכל במקום אחד. עבור מהנדסי נתונים שמעדיפים סביבה ידידותית לקוד, Lake House תומכים במחברות, נוטבוקס. אלו מסמכים אינטראקטיביים שבהם כותבים קוד, רואים תוצאות ומתעדים את העבודה, כמו מחברת מעבדה לנתונים. ניתן לכתוב קוד ספרק בתא אחד, לראות את הפלט בבה אחריו, ולהסביר מה עשית הבתה שאחריו. ה-Lake House הוא נקודת הכניסה עבור רוב מהנדסי הנתונים שעובדים בפבריק. זה המקום שבו מתבצעת העבודה הקשה, ומכיוון שהוא מאחסן הכל ב-Own Lake, כל נתון שמוכנס ל-Lake House זמין מיד לכל עומס עבודה אחר בפבריק ב-Worry House, מנוע הניתוח של סיקוואל. כעת, אם ה-Lake House הוא המרכז להנדסת נתונים, תחשוב על ה-Worry House כמנוע ניתוח סיקוואל שנבנה עבור סוג אחר של משתמשים. מחסן נתונים בפבריק הוא בסיס נתונים לניתוח סיקוואל בניהול מלא. אם אתם מנהלי בסיסי נתונים או מפתחי סיקוואל, זה המקום שבו תרגישו בבית. ניתן לכתוב שאיל תוצטי סיקוואל, ליצור תצוגות, פרוצדורות מאוכסנות ומדיניות הבטחה. זה נראה ומרגיש כמו מחסן נתונים עשורתי, אבל הנה מה שהופך אותו לשונה. בניגוד למחסן נתונים עשורתי, המחסן של פבריק מאחסן נתונים ישירות ב-Own Lake. אין שכבת יחסון נפרדת ואין תשתית נוספת לניהול. הנתונים נמצאים ב-Own Lake, והמחסן הוא רק הממשק שבו אתם משתמשים כדי לתשאל אותם. זה חשוב כי המחסן ובית הנתונים חולקים את אותם נתונים, כך שאתם לא משכפלים דבר. אם מהנדס נתונים טוען נתונים לבית נתונים, מפתח סיקוואל יכול לתשאל אותם מהמחסן באופן מיידי. ללא העתקה, ללא העברה. אלו אותם נתונים הנגישים דרך כלים שונים. המחסן בנוי לניתוח נתונים בקנה מידה גדול. מאחורי הקלעים, ומשתמש בעיבוד מקבילים ה-CV כדי לטפל בערכות נתונים ענקיות. ומיקרוסופט משקיעה רבות בביצועים. בית מינוס שישה החודשים האחרונים בלבד, הביצועים ישתפרו בית מינוס 36%. זה הרבה שיפור בפרק זמן קצר. אם אתם עוברים מפלטפורמה אחרת, לפבריק יש עוזר הגירה שעוזר לכם לעבור מסנופלייק או סינפס. הוא מנתח את ההגדרה הקיימת שלכם ומדריך אתכם בתהליך. המטרה היא להפוך את ההגירה לחלקה ככל האפשר. אז מה ההבדל בין בית נתונים למחסן נתונים? זה מסתכם בממשק. מחסני נתונים הם מוכווני SQL. הם בנויים לאנשים שחושבים במונחים של טבלאות, שאילטות ופרוצדורות מאוכסנות. בתי נתונים הם מוכווני מפתחים. הם בנויים לאנשים שרוצים להשתמש בספרק, פייטן ובמחברות, נוטבוקס. אבל מתחת לפני השטח, שניהם מאחסנים נתונים באוואן לייק. אלו שתי דרכים לעבוד עם אותם נתונים. הכנסת נתונים, Data Factory, שיקוף וקיצורי דרך. אז יש לכם וואן רייק להיחסון, בתי נתונים לטרנספורמציה ומחסנים לשאילטות. אבל איך הנתונים נכנסים בפועל? כאן נכנס לתמונה Data Factory. Data Factory הוא שירות אינטגרציית הנתונים המובנה של Fabric, והוא מעניק לכם מעל 200 מחברים לשליפת נתונים מבסיסי נתונים, יחסון בענן, אפליקציות SES ועוד. זהו כלי אינטגרציית הנתונים הנפוץ ביותר בעולם ובצדק. בתוך Data Factory, אתם מקבלים Data Flows Gen 2, המעניק לכם דרך ללא קוד לביצוע טרנספורמציות נתונים באמצעות Power Query. אם השתמשתם אי פעם בפאור קוירי, באקססל או בפאור ביי, אתם כבר מכירים את התהליך. אתם לוחצים דרך ממשק ויזואלי כדי לנקות, לעצב מחדש ולשלב נתונים. אין צורך בכתיבת קוד, והוא ברמה ארגונית ניתן להרחבה לטיפול בערכות נתונים הסיביות. למעלה מממינוס 22 מיליארד הרצות מתבצעות בדאטה פקטורי מדי חודש, מה שאומר שמיליארדי העברות נתונים קורות באופן אוטומטי, מה שהופך אותה לתשתית רצינית. אבל יש דרך פשוטה עוד יותר להכניס נתונים לאון לייק, שיקוף Mirroring. שיקוף מעתיק נתונים ממסדי נתונים חיצוניים כמו Azure SQL, Oracle או Google BigQuery לתוך One Lake כמעט בזמן אמת, והנה החלק הכי טוב. זה בחינם, כלול בשירות ללא עלות נוספת. אתה רק מצביע על מסד הנתונים של המקור שלך, ופאבריק מטפל בכל השאר. אחר כך יש את הקיצורים, Shortcuts, שנגענו בהם קודם, אבל מגיע להם יותר תשומת לב. קיצורים הם מצביעים וירטואליים לנתונים המאוכסנים במקום אחר, ללא צורך בהעברת נתונים. אתה יוצר קיצור לבקט ב-AWSS3, והוא מופיע באוואן לייק כאילו הוכסן שם, בעוד הנתונים נשארים במקומם. אתה רק מצביע עליו, ועכשיו קיצורים יכולים לעשות יותר מאשר רק להצביע. טרנספורמציות קיצור מאפשרות לך להכיל שינויים מבוססי בינה מלאכותית תוך כדי תנועה. ניתן להריץ ניתוח סנטימנט על נתוני טקסט, לתרגם תוכן או לזהות מידע אישי מזהה, והכל מבלי להזיז את הנתונים או לבנות צינור עיבוד. הטרנספורמציה מתרחשת בזמן שאתה ניגש לנתונים. המטרה של כל הכלים האלה פשוטה, להביא את כל הנתונים שלך לאוואן לייק מבלי לבנות צינורות מורכבים. בין אם אתה משתמש בדאטה פקטורי ל-ETL מסורתי, בשיקוף לשכפול כמעט בזמן אמת, או בקיצורים לגישה וירטואלית, התוצאה זהה. הנתונים שלך מגיעים לאוואן לייק, מוכנים לכל עומס עבודה של פבריק. בינה בזמן אמת, מסדי נתונים ובינה מלאכותית. עד כה דיברנו על העברת נתונים ואיחסונם, אבל מה עם נתונים שלעולם לא מפסיקים לזוז? הזרמת נתונים מחיישני IOT, קליקים באתרים, טלמטריה ממכשירים. כאן נכנסת לתמונה הבינה בזמן אמת. פבריק מטפל בהזרמת נתונים דרך משהו שנקרא Event House, שמאחסן ושואל נתוני סדרות איטיות בנפח גבוה באמצעות KQL, שפת השאילתות של קאסטו. זה אותו מנוע שמפעיל את Azure Data Explorer, בנוי למהירות, כך שניתן לקלוט מיליוני אירועים בשנייה ולשאול אותם במילי שניות. זה חשוב, והנה הסיבה. 46% מלקוחות פבריק כבר משתמשים בבינה בזמן אמת. זה כמעט חצי. מקרי השימוש נמצאים בכל מקום. חברת לוגיסטיקה שעוקבת אחרי מסעיות משלוחים, כמעוני שמנטר תנועת לקוחות בחנות, יצרן שצופה בנתוני חיישנים מציוד מפעל, הכל קורה בזמן אמת. אבל פבריק הוא לא רק ניתוח נתונים. הוא כולל גם מסדי נתונים טיפוליים כמו SQL Database, לנתונים יחסיים וCosmos DB לאומסי עבודה של NoSQL. אלו אותם מסדי נתונים שבהם היית משתמש כדי להריץ את היישומים שלך. ומכיוון שהם מובנים בתוך פבריק, הם מאחסנים את הנתונים שלהם באוואן לייק באופן אוטומטי. ללא צינורות נוספים, ללא העתקה ידנית. הנתונים העסקיים והנתונים האנליטיים שלך נמצאים באותו המקום. עכשיו בואו נדבר על בינה מלאכותית, כי כאן פבריק הופכת למעניינת באמת. האינטגרציה של AI עמוקה בכל הפלטפורמה, ואתה מקבל מודלים מוכנים לניתוח טקסט, תרגום וניתוח סנטימן. ניתן להשתמש בהם ישירות בתהליכי הנתונים שלך ללא כתיבת קוד. פשוט מצביעים על הנתונים, בוחרים את המודל, והוא מופעל. ויש גם את קופה אילות, שמוטמע בכל רחבי פבריק. הוא עוזר לך לכתוב שאילטות, לבנות דוחות וליצור צינורות נתונים. אתה רק מתאר מה אתה רוצה בשפה פשוטה, וקופילות יוצר את הקוד. זה כמו שיש מהנדס נתונים זוטר שיושב לידך, מוכן לעזור בכל רגע. החזון כאן הוא פשוט. ה-AI עובד על הנתונים שלך בלי להזיז אותם לשום מקום. הנתונים שלך נשארים באוואן לייק, ומודלי ה-AI מגיעים אל הנתונים. ללא העתקה, ללא ייצוא, ללא סיכוני הבטחה. הנתונים לעולם לא עוזבים את הסביבה המנוהלת שלך. פאוור ביי, ממשל וערך עסקי. כעת, נגיע לחלק שרוב האנשים באמת רואים דלת הכניסה לתובנות, פאוור ביי. הוא נמצא בשימוש בית מינוס 550 אלף ארגונים ובקרב 34 מיליון משתמשים מדי חודש, מה שהופך אותו לכלי הבי הנפוץ בעולם. ובתוך פבריק, הוא הופך למה שהוא עוצמתי אפילו יותר. הנה המפתח. בפבריק, פאוור ביי מתחבר ישירות לאוואן לייק באמצעות משהו שנקרא מצב דיירקט לייק. זה שונה ממצב האיבו המסורתי שבו מעתיקים נתונים להיחסון הפנימי של פאוור ביי. במקום זאת, דיירקט לייק תוקף את הנתונים היכן שהם נמצאים באוואן לייק ללא צורך בריינון, ללא כפילויות, והנתונים תמיד מעודכנים ומהירים להפליט. מתחת לכל דוח פאוור ביי נמצא מודל סמנטי, המוח של הדוח שבו מגדירים לוגיקה עסקית, מדדים וקשרים. וכעת ניתן לבנות את המודלים הללו לחלוטין בדפדפן אינטרנט. מידול באינטרנט זמין כעת, כך שניתן ליצור מודל סמנטי, לבנות קשרים ולכתוב מדדי דקס מהדפדפן, אפילו במק. אין צורך באפליקציית שולחן עבודה, אבל כל כוח הנתונים הזה לא שווה כלום ללא ממשל, ולפבריק יש ממשל מובנה מההתחלה. מייקרוסופט פורוו מספק תוויות רגישות שעוקבות אחרי הנתונים שלך לכל מקום. אם דוח מכיל מידע רגיש, התווית נשארת איתו גם בעת ייצוא. מדיניות מניעת אובדן נתונים מזהה אוטומטית נתונים רגישים וחוסמת שיתוף לא מורשה, ובקרות גישה מבטיחות שרק האנשים הנכונים יראו את הנתונים הנכונים. תחומים, דומיינז, עוזרים לארגן נתונים לפי תחום עסקי עם כללי ממשל נפרדים, כך שלנתוני הכספים שלך יכולות להיות בקרות מחמירות יותר מאשר לנתוני השיווק. כל תחום ניתן לניהול על ידי צוות משלו, מה שהופך את הממשל לחזה שגדל יחד עם הארגון שלך. עכשיו, בואו נדבר על תוצאות אמיתיות. זו לא רק תיאוריה. איסטמן כימיקלים השתמשה בפבריק כדי לצמצם את זמן הכנת המחירות ב-83%. מה שלקח פעם 4 שעות, לוקח כעת קף מינוס 40 דקות. עיתון סולושנז הפחיתה את העבודה הידנית בית מינוס 75% עם תהליכים שדרשו 10 עד 15 שלבים וכעת דורשים שניים בלבד. ושונת התוכנה חסכה 30 אלף שעות של התאמות ידניות בכל שנה, והפנתה את המאמץ האנושי הזה לעבודה בעלת ערך גבוה יותר. מודל העלות פשוט וישיר. אתה משלם עבור קיבולת, כוח המחשוב שמריץ את עומסי העבודה שלך. למייקרוסופט יש מנגנוני החלקה והגנה מפני עומסים מובנים לניהול סיים. ההחלקה פורסת את עלות פעולות הרקע לאורך 24 שעות, כך שלא תופתה מזינוקים פתאומיים, והגנה מפני עומסים מגבילה עבודות רקע בתקופות עמוסות כדי לשמור על ביצועים אינטראקטיביים יציבים. אתה משלם על מה שאתה צורך ולא מקבל הפתעות. בואו נסכם את כל זה. פבריק הוא לא סתם עוד מוצר של מייקרוסופט. זו חשיבה מחודשת לחלוטין על האופן שבו פלטפורמות נתונים צריכות לעבוד. פלטפורמה אחת, אגם אחד, עותק אחד של נתונים ואפשרויות אינסופיות. ואם AI וקופילות מובנים, הוא נגיש לכולם. לא רק לאנשי נתונים, אלא לאנליסטים עסקיים, צוותי מחירות, מנהלי תפעול, וכל מי שזקוק לתשובות מתוך נתונים. הנה שיעורי הבית שלכם. גשו fabric.microsoft.com, התחילו תקופת ניסיון בחינם, עוצרו את סביבת העבודה הראשונה שלכם. פשוט נעשו את זה. תראו איך החלקים מתחברים בצורה ששום כמות של קריאה לא יכולה להחליף. אם הפרק הזה עזר לכם להבין את פבריק טוב יותר, הרשמו בפלטפורמת הפודקסטים המועדפת עליכם ושתפו אותו עם מישהו שמתחיל את מסע הנתונים שלו. הם יודו לכם על כך. בפעם הבאה, נפרק את קיצורי הדרך של One Lake בשפה פשוטה. איך הם עובדים, למה הם חשובים ואיך להשתמש בהם בלי להעביר נתונים ממקום למקום. זה פרק שלא תרצו לפספס. עד אז, המשיכו ללמוד.