משבר הזהות של Microsoft Fabric נגמר: איך הפלטפורמה התבגרה
By Mirko Peters ·
ניתן לדעת שמדובר בעדכון טכנולוגי גדול כשאתם מאבדים את תחושת הזמן, ופתאום השעה 2 לפנות בוקר, הקפה התקרר, ויש לכם חמש לשוניות של Fabric פתוחות. זה קרה לי ביום שלישי שעבר, כשרדפתי אחרי כל תכונה חדשה שהוסתרה בעדכון האחרון של Microsoft Fabric. במקום רשימת התכונות הרגילה, הפוסט הזה מציג תקלות אישיות, תועלות מהעולם האמיתי, וכמה תובנות שהתגבשו תוך כדי ההתעמקות בזינוק האחרון של Fabric. שלבו חגורות: יש כאן
Automatically translated with AI from the original post. Read the English original
ניתן לדעת שמדובר בעדכון טכנולוגי גדול כשאתם מאבדים את תחושת הזמן, ופתאום השעה 2 לפנות בוקר, הקפה התקרר, ויש לכם חמש לשוניות של Fabric פתוחות. זה קרה לי ביום שלישי שעבר, כשרדפתי אחרי כל תכונה חדשה שהוסתרה בעדכון האחרון של Microsoft Fabric. במקום רשימת התכונות הרגילה, הפוסט הזה מציג תקלות אישיות, תועלות מהעולם האמיתי, וכמה תובנות שהתגבשו תוך כדי ההתעמקות בזינוק האחרון של Fabric. שלבו חגורות: יש כאן התרגשות, ספקנות והרבה קפאין.
משבר הזהות של Fabric? הפלטפורמה סוף סוף מתבגרת
אני זוכר את הימים הראשונים של Microsoft Fabric. זה הרגיש כמו נער שמנסה להבין את מקומו בעולם: אוסף של כלים מבטיחים אבל לא מחוברים, בלי זהות אחידה.
מחלקים מפוזרים לשלם מאוחד
העדכון האחרון מרגיש אחרת. באמת אחרת. אחרי שנים של מעקב אחרי ההתפתחות של Fabric צעד אחר צעד, אני סוף סוף רואה את הפלטפורמה מתבגרת למה שMicrosoft תמיד הבטיחה.
"מה שאנחנו רואים כאן אינו רק פיתוח הדרגתי. אנחנו עדים להבשלה של פלטפורמה שמציבה את עצמה כעמוד השדרה של אסטרטגיית הנתונים הארגונית."
זו לא הגזמה. המעבר מסט כלים מפוזר למערכת אחודה הוא מרשים. התכונות נבנו כעת במכוון כך שיתמכו בתהליכי עבודה חוצי תחומים, ולא רק יתקיימו זו לצד זו.
הקשר ההיסטורי
איך הגענו לכאן? אם מסתכלים לאחור, הזרעים נזרעו לפני שנים, כש-Microsoft התחילה לחבר בין מושגים של Power BI ל-Synapse. מה שהתחיל כשילוב זהיר האיץ לכדי מה שהם מכנים "קוהרנטיות של הפלטפורמה". כבר הגיע הזמן, לדעתי.
העימות הגדול על הגיליונות
זה מוכר לי מאוד. בשנה שעברה, צוות ההנדסה שלי ב-Spark וצוות האנליסטים שלנו ל-BI נקלעו למה שאני קורא לו היום "העימות הגדול על הגיליונות". בזבזנו שלושה ימים שלמים בניסיון ליישב אי-התאמות בנתונים בין המערכות.
למה? כי היו לנו:
- מחסן נתונים שנמצא במקום אחד
- אגם נתונים שצף במקום אחר
- כללי גישה מפוזרים בכל מקום
- היעדר מקור אמת מאוחד
עם Fabric של היום? הסיוט של שלושה ימים היה הופך לפגישה של 30 דקות. אולי פחות.
מתיאוריה ארגונית למציאות תפעולית
מה שמרשים אותי ביותר אינו רק מספר התכונות (שהוא לא מבוטל). זו המכוונות שמאחוריהן. ברור ש-Microsoft מקשיבה למשתמשים הארגוניים, ומטפלת בבת אחת בנקודות כאב בתחומי הממשל, מהירות הפיתוח, בטיחות הפריסה והשיתוף בין צוותים.
מוכנות ארגונית היא כבר לא הבטחה רחוקה, אלא מציאות תפעולית.
למי שבילה למעלה מעשור במאבק עם מערכות נתונים ארגוניות מפוצלות, ההתכנסות הזו מרעננת. DevOps, הנדסת נתונים, אנליטיקה ולמידת מכונה: התחומים האלה החזיקו היסטורית בכלים, בצינורות ואף בתרבויות נפרדות.
Fabric סוף סוף בונה את הקנבס המשותף הזה, שבו העולמות האלה לא רק מתקיימים זה לצד זה, אלא מתשתפים פעולה באופן טבעי.
נראה שמשבר הזהות נגמר. Microsoft Fabric התבגרה.
Variable Libraries: סוף לכאוס בהגדרות (ועוד כמה ניסים קטנים)
הו. אלוהים. אם אי פעם בילית שעות בחיפוש אחר פרמטרי תצורה שמפוזרים על פני עשרות קבצים, כדאי לך לשבת לקריאת הפוסט הזה.
Microsoft סוף סוף הציגה את Variable Libraries בתצוגה מקדימה, ואני עדיין מנסה לעכל כמה זמן זה היה חוסך לי בפרויקטים קודמים.
הגדירו פעם אחת, השתמשו בכל מקום
הרעיון פשוט להפליא: מגדירים את המשתנים בספרייה מרכזית אחת ברמת סביבת העבודה, ואז משתמשים בהם שוב בצינורות, במחברות ובקיצורי דרך ב-Lakehouse. אין יותר הגדרות כפולות!
"ספריית המשתנים מאפשרת להגדיר משתנים ברמת סביבת העבודה ולהשתמש בהם בצינורות, במחברות ובקיצורי דרך ב-lakehouse."
יש לי פלאשבקים לפרויקט אנליטיקה קמעונאית שעבדתי עליו בשנה שעברה. נאלצתי לערוך ידנית 12 קובצי פרמטרים נפרדים על פני 3 אזורים שונים, רק כדי לפרוס פתרון אחד. בכל פעם שביצענו שינוי, הייתי צריך לזכור בכל מקום היכן נמצאים הערכים האלה. זה היה סיוט.
אילו הייתה לי את העדכון הזה אז, כנראה הייתי בוכה מדמעות של שמחה.
למה זה באמת מהפכני
- נגמר החיפוש אחר פרמטרים מוסתרים שקבורים בשורות סקריפט
- עקיפות ספציפיות לסביבה שהופכות את המעבר מפיתוח לייצור לחלק
- אינטגרציה עם Git למעקב נכון אחר שינויים ובקרת גרסאות
- ריכוז של ערכי תצורה התואם דרישות ציות
פיזור תצורה הוא מה שאני קורא לו "הרוצח השקט" בפרויקטים של נתונים. הכול עובד מצוין עד שפתאום הפרויקט גדל מעבר למפתח אחד, ואז מתחילה הכאוס. מוצאים את עצמנו עם ערכים קשיחים (hard-coded) מוסתרים בפינות אקראיות של בסיס הקוד.
עם Variable Libraries, Fabric התמודדה ישירות עם הבעיה הוותיקה של פיזור תצורה. אנחנו מקבלים משתנים מרוכזים ומאומתים, שיכולים להתאים את עצמם לסביבות שונות ללא התערבות ידנית.
האם זה מושלם? עדיין לא, הפיצ'ר עדיין בתצוגה מקדימה. אבל זה אחד מאותם פיצ'רים יסודיים שמשנים מן היסוד את הדרך שבה אנחנו עובדים.
למי שמנהל פריסות מורכבות או עובד בסביבות צוות, זו לא רק תוספת נחמדה. זה ההבדל בין לבלות את סוף השבוע בחיפוש אחר משתני סביבה לבין פשוט ליהנות מסוף השבוע.
עכשיו, אם תסלחו לי, אני צריך ללכת לעדכן את כל סקריפטי הפריסה שלי כדי לנצל את הנס הקטן הזה.
Copilot לא רק צופה, הוא כותב את הקוד שלי (בעיקר נכון)
זוכרים את הימים שבהם עוזרי AI היו רק מתקני איות משוכללים? הימים האלה חלפו. Microsoft שינתה בשקט את Copilot ממסייע נחמד למשהו שמרגיש להפליא כמו... עמית לעבודה?
עכשיו הוא בכל מקום
הדבר הראשון שהבחנתי בו בעדכון הזה: Copilot כבר אינו תוספת נוספת. הוא משולב בליבת Fabric. ברצינות, הוא נמצא בכל מקום עכשיו:
- לוחות מחוונים של Power BI
- מחברות נתונים
- צינורות Data Factory
- ובעצם בכל מקום אחר שבו אתם כותבים קוד
זו לא סתם תכונה חדשנית. הסיוע המודע להקשר מרגיש כמו שמישהו עומד מאחוריך ורואה מה אתה עושה, ומבין בדיוק מה הוא עושה.
אתגר ה-PySpark שלי בהשראת קפאין
תראו, אני ספקן כלפי ההייפ סביב AI. אז החלטתי לבחון את Copilot במבחן מהחיים האמיתיים בשעה 23:00 בלילה, אחרי הספרסו השלישי שלי.
ביקשתי ממנו לכתוב שאילתת צבירה ב-PySpark. לא פשוטה, מדובר ב-חמישה joins עם סינון מקונן. מהסוג שבדרך כלל היה מכניס אותי לעשרות לשוניות של תיעוד.
"זה שותף כתיבה מלא. ביקשתי ממנו לכתוב שאילתת צבירה ב-PySpark עם חמישה joins וסינון מקונן, והוא צדק בתשעים אחוז מהמקרים בניסיון הראשון."
תשעים. אחוז. ניסיון ראשון.
כלומר, עדיין הייתי צריך לתקן את ה-10% הנותרים, אבל נו, זה מרשים.
ממעוזר לשותף כתיבה
השיפורים במחברות הם במיוחד נחמדים. Copilot עכשיו:
- שומר על ההקשר בין אינטראקציות
- מספק פלט צ'אט נקי יותר
- מציע סיכומים חכמים של קוד
- מאתר ומתקן שגיאות (לפעמים טוב יותר ממני)
ומה לגבי פעולות המהירות? אני קצת מכור לכפתור "הסבר את הקוד הזה". לחיצה אחת, והבלוק המסתורי שמישהו אחר כתב פתאום הגיוני.
לא טייס אוטומטי, אלא טיסה משותפת
מה שהופך את זה לשונה: זה לא מרגיש כמו "AI שעושה לי את העבודה". זה מרגיש כמו תכנות בזוגות עם מישהו שאף פעם לא מתעייף או מתרגז מהשאלות שלי.
העלייה בפרודוקטיביות אמיתית, במיוחד בימים שבהם אני קופץ בין בסיסי קוד ושפות שונות. זה כמו מתרגם אוניברסלי לכל דבר שקשור לקוד.
האם זה מושלם? לא. אבל האינטגרציה של Fabric Data Agent עם Azure AI הופכת אותו לחכם יותר בנוגע לנתונים ארגוניים מכל גרסה קודמת. וזה מה שחשוב לעבודה אמיתית.
אני חושב שסוף סוף הגענו לשלב ה"שימושי באמת" של עזרה מבוססת AI. וחשבון הקפאין שלי מודה ל-Microsoft על כך.
אבטחה ופריסה: תמיכה ב-Service Principal וסוף סוף DevOps אמיתי
אני זוכר את זה כאילו זה היה אתמול. השעה 17:00 ביום שישי, הייתי מוכן לצאת הביתה כשהטלפון שלי רטט. פריסות הייצור שלנו נכשלו שוב, כי אישור הגישה של מישהו פג תוקף. בשלוש השעות הבאות תיקנתי ידנית דבר שהיה צריך להיות אוטומטי. אם גם אתם הייתם שם, אתם מכירים את סוג התסכול המיוחד הזה.
ובכן, הימים האלה נגמרו רשמית.
Service Principals: גיבור ה-DevOps שחיכינו לו
Microsoft Fabric תומכת כעת ב-service principals לכל צרכי ה-DevOps שלכם, ואני באמת נרגש מזה. למה? כי זה מאפשר CI/CD אמיתי עם פריסות מאובטחות ואוטומטיות.
"זה מאפשר לצוותים להשתמש בזהויות מאובטחות באוטומציה בלי להסתמך על פרטי משתמש. סוף סוף."
אין יותר תלות בחשבונות משתמש אישיים שפגים בזמנים הגרועים ביותר. אין יותר פרטי גישה משותפים שמסתובבים בקובצי הגדרות. פשוט אוטומציה נקייה ומאובטחת שעובדת גם כשאתם מנותקים ונהנים מסוף השבוע.
מה אפשר לאטמט עכשיו?
- תצורות של סביבות עבודה
- צינורות פריסה
- תהליכי קליטת נתונים
- ניהול בקרת גישה
זה פותח אוטומציה מקצה לקצה אמיתית עם כלים כמו Azure DevOps או GitHub Actions. והחלק הטוב ביותר? אתם שומרים על גבולות אבטחה הדוקים ומעניקים רק את ההרשאות הספציפיות הנדרשות.
יותר שליטה, פחות סיכון. win-win.
הסתעפות לסביבות עבודה קיימות
שינוי משחק נוסף הוא התכונה "branch-out-to-existing-workspace". זה נשמע משני, אבל האמינו לי, זה לא.
עכשיו אפשר לשמור על סביבת העבודה הקיימת ופשוט לחבר אותה לענף Git חדש. בקרת מקור בלי כאבי ראש. אין יותר יצירה מחדש של סביבות עבודה מאפס או ניהול של סביבות מרובות רק כדי ליישם בקרת גרסאות.
זה אחד משיפורי איכות החיים האלה שגורמים לך לתהות איך חיינו בלעדיו.
המציאות החדשה שלי בפריסה
רק בשבוע שעבר הגדרתי צינור פריסה אוטומטי לגמרי באמצעות service principals. כשעמית לצוות שאל, "אבל מה אם אתה לא זמין להזין פרטי גישה?", פשוט חייכתי.
זו בדיוק הנקודה. אני כבר לא צריך להיות זמין.
עם העדכונים האלה, Fabric התפתח מעבר לפלטפורמת נתונים בלבד – זו עכשיו סביבה שבה מהנדסי נתונים, אנליסטים ואנשי אבטחת מידע יכולים לתרום בביטחון בלי לדרוך על הבהונות של אחרים.
DevOps אמיתי סוף סוף. וסוף השבוע שלי שוב שלי.
AI בכל מקום, זמן אמת עכשיו, והעתיד הבלתי צפוי של תמיכה בקבלת החלטות
ביליתי שלושה ספלי קפה בצלילה לעדכון האחרון של Microsoft Fabric, ותנו לי לומר לכם – זה לא שיפור מדורג רגיל. זו תזוזה של אווירה שלמה.
היקום המתרחב של EventStream
שינוי המשחק הגדול? EventStream מתחבר עכשיו ל-Kafka, Solis ו-Kinesis. אני לא מגזים כשאני אומר שזה פותח את הדלת לצינורות נתונים חוצי פלטפורמות שלא יכולתי לדמיין לפני שנה.
חשבו על זה: זרמי AWS Kinesis שלכם מזינים ישירות את מחסנית האנליטיקה של Microsoft שלכם בלי middleware מביך. זה לא רק נוח – זה מהפכני לארגונים היברידיים בענן.
כמו שמנהל מוצר אחד ניסח זאת:
"לאחד נתוני מחסן מובנים, אירועים בזמן אמת ויכולות AI בצינור מאובטח ומגובה זהות היא משהו שהלקוחות מבקשים כבר שנים."
והם לא הגזימו. EventStream תומך עכשיו באימות Microsoft Intra ID ובממשקי REST API, וזה הופך אותו גם למאובטח יותר וגם לניתן לתכנות יותר.
עמוד השדרה של מודיעין בזמן אמת
שיפורי אבטחת OneLake בשילוב כלי ממשל חדשים יוצרים מה שמרגיש כמו מערכת עצבים ברמה ארגונית. וה-AI המשובץ? הוא לא רק מודבק בצד – הוא שזור בכל חוויית העבודה.
זהו עמוד השדרה שארגונים צריכים לפעולות נתונים בזמן אמת, מאובטחות ותבוניות. נקודה.
בדיקת המהירות הכושלת שלי
הערת אגב: למעשה ניסיתי "לשבור" את EventStream עם אירועי בדיקה מהירים במיוחד ממקורות מרובים. ספוילר – נכשלתי. המערכת המשיכה לעמוד בקצב בלי מאמץ בזמן שאני התקשיתי בחלונות הטרמינל שלי כדי לשלוח עוד אירועים.
זה היה מענה. ומרשים.
תובנות חכמות יותר באמצעות אינטגרציה
Fabric Data Agent ואינטגרציה משופרת עם Azure משלימים את התמונה. אנחנו מדברים על אנליטיקה מודעת הקשר, עמידה בדרישות תאימות מובנית בכל רמה, ותובנות שמרגישות באמת חכמות ולא רק אוטומטיות.
בין חיבורים מתקדמים יותר בזמן אמת, אימות מתקדם, תמיכה בקבלת החלטות מבוססת AI ויכולות ממשל מורחבות, Fabric לא רק מדביק את העתיד של האנליטיקה – הוא פעיל בעיצובו.
לכל מי שבונה מערכות לתמיכה בקבלת החלטות, המסר ברור: זמן אמת הוא כבר לא אופציונלי, ו-AI הוא הסטנדרט הצפוי, לא תוספת פרימיום.
מבט קדימה: למה העדכון הזה חשוב, ואתגר לצוותי הנתונים
כבר עשר דקות אני בוהה בספל הקפה שלי, מנסה להבין מה העדכון הזה של Fabric באמת אומר מעבר לתכונות. משהו גדול יותר קורה כאן.
שימו לב: מיקרוסופט לא סתם מתקנת באגים. אנחנו רואים פלטפורמה שמנסה לצמוח מעבר לעצמה (והצליחה). ספריית המשתנים, יכולות הסתעפות ותמיכה ב-service principal אינן תוספות אקראיות. הן סימנים להתפתחות.
"זה לא רק עדכון מוצר. זהו סימן, סימן לכך שמיקרוסופט מחויבת לבניית פלטפורמה בת-קיימא, ניתנת להרחבה ומאובטחת, שיכולה להתפתח יחד עם העסק שלכם, ולא רק לפתור כאב נקודתי וקצר טווח".
אני זוכר פרויקט אנליטיקה לקמעונאות בשנה שעברה, שבו פריסה פירושה עריכה ידנית של שניים-עשר קובצי פרמטרים שונים בשלושה אזורים. התרחיש הסיוטי הזה? נעלם. ספריית המשתנים החדשה הופכת את הכאוס הזה למשתנים מובנים ומאומתים, שמוגדרים פעם אחת ונעשה בהם שימוש בכל מקום.
אתגר לקהילת הנתונים
אז הנה ההזמנה הפתוחה שלי לכל לוחמי הנתונים של Fabric: מה תבנו עם Copilot, הסתעפות ו-EventStream? כי הכלים האלה אינם רק שדרוגים טכניים. הם מאפשרים שיתוף פעולה ויצירתיות.
אני סקרן במיוחד לגבי EventStream המתחבר ל-Kafka ול-Amazon Kinesis. יכולות חוצות פלטפורמות עם אבטחה נוספת דרך Microsoft Entra ID? זה משנה משחק עבור ארגונים עם סביבות היברידיות.
עדכון Fabric from מרץ 2025 פותח דלתות חדשות, אבל הוא דורש אנשי נתונים סקרנים ושיתופיים שיחקרו מה אפשרי. בואו נראה מי ייכנס.
שאלת האופי
הנה מחשבה משוגעת שהחזיקה אותי ערני אתמול בלילה: אם Fabric היה יזם סטארטאפ, האם היה מתכנן זהיר או המצאה נועזת? אני נוטה ל"מהפכן מאופק", כזה שבונה יסודות תוך כדי דחיפת הגבולות.
עם בינה מלאכותית המשולבת בכל עומסי העבודה ויכולות בזמן אמת שמתרחבות, Fabric מציב את עצמו כאמין וגם חדשני. זה נדיר.
העדכון הזה עוסק באנשים ובתהליכים לא פחות מאשר בתכונות. הפלטפורמה לא רק מתבגרת מבחינה טכנית, היא יוצרת מרחב שבו צוותים יכולים לשתף פעולה בלי להפריע זה לזה.
איזה היבט של העדכון הזה ישנה את הפרקטיקה שלכם בנתונים? אתם בצוות ממשל או בצוות חדשנות? ספרו לנו בתגובות!
אני אשאר כאן, אמזוג קפה נוסף, ואדמיין מה מחכה לפלטפורמה המפתיעה הזו. כדי לשמוע עוד על התכונות האלה ולקבל את הפירוט המלא בשמע, הקפידו לצפות בפרק הפודקאסט הקשור, Microsoft Fabric 2025 Updates Explained.