Dataflows Gen1 מול Gen2 ב-Microsoft Fabric: בחירת ארכיטקטורת ה-staging והמחשוב הנכונה

By Mirko Peters · 2026-10-28

השוואה בין Dataflows Gen1 ל-Dataflows Gen2 ב-Microsoft Fabric. למדו כיצד האחסון, שלב ה-staging והקיבולת משפיעים על אסטרטגיית ה-ETL שלכם בענן.

Automatically translated with AI from the original post. Read the English original

בעת העברת עומסי ETL ל-Microsoft Fabric, בחירת ארכיטקטורת ה-staging והמחשוב הנכונה בין Dataflows Gen1 ל-Gen2 משפיעה ישירות על ביצועי הצינור, עלויות המשאבים ואמינות הנתונים. הבנת ההבדלים המהותיים בהקצאת המחשוב ובטיפול באחסון מונעת צווארי בקבוק ארכיטקטוניים יקרים לפני שהצוות שלכם מרחיב את הדוחות.

עיקרי הדברים

• Dataflows Gen2 מציג שילוב מקורי עם OneLake, ומשנה מהיסוד את אופן ה-staging ואחסון הנתונים לעומת Gen1.
• בחירת אפשרות מחשוב שגויה בזמן העריכה עלולה להוביל להאטת קיבולת בלתי צפויה ולירידה בביצועים בסביבת העבודה שלכם ב-Fabric.
• Gen1 הסתמך במידה רבה על מנגנוני אחסון חיצוניים, ואילו Gen2 כותב ישירות לטבלאות Lakehouse של Fabric כיעד ברירת המחדל.
• הגדרת staging נכונה מונעת טרנספורמציות נתונים כפולות ומייעלת את רענוני מודל הסמנטי של Power BI.
• יישור אסטרטגיית ה-ETL שלכם עם יחידות הקיבולת של Fabric מבטיח שהארגון לא ייקלע לעלויות מחשוב בלתי נשלטות.

הבנת השינוי הארכיטקטוני ב-Fabric

המעבר מ-dataflows מסורתיים של Power BI ל-dataflows של Microsoft Fabric אינו רק עניין של שינוי שם; מדובר בשינוי ארכיטקטוני מלא בדרך שבה נתוני ענן נקלטים, מעובדים ונשמרים. בעולם ה-Gen1 המסורתי, dataflows נועדו בעיקר להזין מודלים סמנטיים של Power BI. הם פעלו במערכת אקולוגית מבודדת למדי, שבה טרנספורמציות הנתונים התבצעו ב-Power Query Online, והפלט נשמר באחסון פנימי שמנוהל במלואו על ידי שירות Power BI.

עם הכניסה של Microsoft Fabric, Dataflows Gen2 נבנו מהיסוד כדי להשתמש ב-OneLake כמאגר הנתונים המרכזי. המשמעות היא שכל טרנספורמציה שתחילו דרך Power Query Online כבר אינה כלואה במכולת מודל קנייניים. במקום זאת, Gen2 מגשר על הפער בין הכנת נתונים בשירות עצמי מסורתית להנדסת נתונים ארגונית, וכותב ישירות לטבלאות Delta Parquet בפורמט פתוח בתוך Lakehouse של Fabric. שינוי מהותי זה משנה את האופן שבו ארכיטקטים של ענן ניגשים ל-staging של הנתונים, לניצול המחשוב ולאמינות הדוחות התלויים בהם.

מעבר פרדיגמת האחסון

בתרחישים הישנים, כאשר אנליסט עסקי היה צריך לנקות ייצוא של Excel, להסיר שורות ריקות ולעצב תאריכים, הנתונים נשארו בתוך גבולות האחסון של ה-dataflow. אם מחלקה אחרת רצתה להשתמש באותה מערך נתונים מנוקה, לרוב הייתה צריכה למשוך אותו מתוך הדוח או לבנות מחדש את השאילתה. Dataflows Gen2 פותר זאת בכך שהוא מתייחס ל-Lakehouse כאל היעד המרכזי. לאחר שה-dataflow מורץ, הנתונים המנוקים זמינים מיד כטבלאות Delta, מוכנים לשימוש במחברות Spark, בנקודות קצה של SQL Analytics וב-DirectLake לדיווח, ללא צורך בהעברת נתונים נוספת.

ניהול המשאבים והשלב הביניים: ההחלטה שרוב הצוותות מפספסים

אחת מההחלטות הארכיטקטוניות החשובות ביותר שמהנדסים נדרשים לקבל בבניית Dataflows Gen2 היא ניהול שלבי החישוב וה-staging. בניגוד ל-Gen1, שבו ניהול החישוב היה מופשט במידה רבה ולעיתים אטום, Gen2 פועל על יחידות הקיבולת הבסיסיות של Fabric (CU). אם הארגון שלכם אינו עוקב בקפידה אחר האופן ומועד כתיבת הנתונים ל-staging בשלב הערכת השאילתה, אתם עלולים לצרוך את הקיבולת שלכם מהר מהצפוי.

כאשר מיישמים טרנספורמציות מורכבות, Power Query בודק אם ניתן לדחוף את השלבים חזרה למקור הנתונים, או שיש לבצע אותם מקומית במנוע ה-dataflow. ב-Gen2, אזור ה-staging פועל כאזור נחיתה ביניים. בהגדרה שגויה, מערכי נתונים גדולים עלולים להיטען שוב ושוב לזיכרון, לעבור עיבוד ולהיכתב בחזרה, וכך ליצור עומס חישובי מיותר. על הארכיטקטים להעריך את מערכות המקור, זמן ההשהיה ברשת ומורכבות הטרנספורמציות, כדי להחליט אם לדחוף את העיבוד למסד הנתונים המקורי או לתת ל-Fabric לטפל בעומס הכבד.

אופטימיזציה של יחידות קיבולת לעומסי ETL

קיבולת Fabric היא מאגר משותף לכל הארגון. כאשר dataflow לא מותאם היטב רץ בהרעננות מתוזמנות בשעות העבודה השיא, הוא עלול לצרוך את הקיבולת ולגרום לצמצומים (throttling) שמשפיעים על הצגת דוחות Power BI למנהלים. כדי למנוע זאת, על הצוותות לבודד עבודות ETL כבדות בסביבות עבודה ייעודיות עם הזמנות קיבולת מתאימות, או לתזמן אותן לשעות שפל. הבנה של האופן שבו עבודות חישוב ברקע מקיימות אינטראקציה עם עומסים אינטראקטיביים חיונית לשמירה על סביבת Fabric יציבה.

בניית אמון באמצעות ארכיטקטורה עקבית

המטרה העליונה בשדרוג צינורות הנתונים שלכם היא לבטל את התיקונים הידניים ב-Excel שמציקים לדיווח העסקי. כאשר דוחות נכשלים, זה כמעט אף פעם לא בגלל חוסר בנתונים; כמעט תמיד הסיבה היא חוסר אמון. כשמשתמשים רואים מספרים סותרים, כי דוח אחד נשען על קובץ CSV גולמי ואחר על dataflow מדור קודם, האימוץ צונח.

באמצעות סטנדרטיזציה של Dataflows Gen2 וניצול ארכיטקטורת Lakehouse, ארגונים מבססים מקור אמת יחיד. תאריכים מנוקים, שמות עמודות אחידים ולוגיקה עסקית מאומתת מוגדרים פעם אחת ב-dataflow ומופצים לשלבים הבאים באופן אוטומטי. הדבר מפחית טעויות אנוש, מסיר את התלות במחשבים אישיים ומבטיח שכאשר ההנהלה פותחת דשבורד, המספרים שבבסיסו אמינים וניתנים לביקורת.

סיכום

הגירה ובנייה עם Dataflows Gen2 דורשות שינוי בדרך שבה חושבים על אחסון בענן, תקציבי חישוב וממשל נתונים. בהתחלה בתהליך חוזר אחד של גיליונות אקסל מבולגנים, ומיפוי נכון שלו ל-Fabric Lakehouse, הצוות שלכם יוכל לבנות צינורות מדרגיים שיעמדו במבחן הזמן. כדי להכיר את הרעיונות הבסיסיים שמאחורי התפתחות זו ולשמוע תובנות מומחים על אסטרטגיות ענן מודרניות של Microsoft, הקפידו להאזין לפרק המלא של פודקאסט M365 FM.

שאלות נפוצות

מהו ההבדל העיקרי בין Dataflows Gen1 ל-Gen2 בכל הנוגע לאחסון?

Dataflows Gen1 שומרים את הנתונים המעובדים בתוך גבולות האחסון הפנימיים של Power BI, ואילו Dataflows Gen2 כותבים באופן מקורי לטבלאות Delta Parquet בפורמט פתוח בתוך Lakehouse של Microsoft Fabric, דרך OneLake.

איך Dataflows Gen2 משפיעים על יחידות הקיבולת של Fabric?

Gen2 dataflows צורכים את קיבולת Fabric הבסיסית בשלבי החישוב וה-staging שלהם. טרנספורמציות לא מותאמות או הרצת רעננות כבדות בשעות השיא עלולות לדלל את הקיבולת שהוקצתה ולהאט עומסי עבודה אחרים.

האם Dataflows Gen2 יכולים להחליף צינורות Azure Data Factory מסורתיים?

עבור הכנת נתונים בשירות עצמי, טרנספורמציה קלה של ETL ועיבוד נתונים בקוד נמוך, Dataflows Gen2 הם חלופה מצוינת. עם זאת, לתזמור ארגוני מורכב, לוגיקת הסתעפות ולהנדסת נתונים מתקדמת, Azure Data Factory או Fabric Pipelines נותרים הכלים המועדפים.

מדוע שלב ה-staging חשוב ב-Dataflows Gen2?

שלב ה-staging משמש כאזור נחיתה ביניים לטרנספורמציות נתונים. הגדרה נכונה של ה-staging מונעת עיבוד מיותר של נתונים, משפרת את query folding ומבטיחה כתיבה יעילה ליעד ה-Lakehouse שלכם.

כיצד Dataflows Gen2 משפרים את אמינות הנתונים בדיווח?

על ידי אוטומציה של ניקוי ייצואים ידניים לא מסודרים וריכוז הטרנספורמציות בטבלאות Lakehouse לשימוש חוזר, Gen2 מבטל פתרונות עוקפים ידניים ב-Excel ומבטיח נתונים עקביים ואמינים בכל הדוחות שבהמשך.