M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions→ m365con.net

בלוג · Mirko Peters

פתיחת אנליטיקה מהירה פי 6: צלילה לעומק במנוע הביצוע המקורי של Microsoft Fabric

By ·

ברוכים השבים לפודקאסט! בפוסט של היום אנחנו מרחיבים על פרק הפודקאסט האחרון שלנו, שבו פירקנו את רכיבי הארכיטקטורה הנסתרים שמניעים פלטפורמות נתונים מודרניות. אם תהיתם פעם איך עומסי עבודה של אנליטיקה ארגונית יכולים לפעול פי כמה מהר בלי לכתוב מחדש את בסיס הקוד, הגעתם למקום הנכון. אנחנו מציגים מבט מקיף על מנוע הביצוע המקורי של Microsoft Fabric, טכנולוגיה משנת המשחק שמשנה את הדרך שבה מהנדסי נתונים, מדעני

Automatically translated with AI from the original post. Read the English original

ברוכים השבים לפודקאסט! בפוסט של היום אנחנו מרחיבים על פרק הפודקאסט האחרון שלנו, שבו פירקנו את רכיבי הארכיטקטורה הנסתרים שמניעים פלטפורמות נתונים מודרניות. אם תהיתם פעם איך עומסי עבודה של אנליטיקה ארגונית יכולים לפעול פי כמה מהר בלי לכתוב מחדש את בסיס הקוד, הגעתם למקום הנכון. אנחנו מציגים מבט מקיף על מנוע הביצוע המקורי של Microsoft Fabric, טכנולוגיה משנת המשחק שמשנה את הדרך שבה מהנדסי נתונים, מדעני נתונים ואנליסטים עסקיים חושבים על קנה מידה בענן, אופטימיזציה של ביצועים וחיסכון בעלויות.

בפרק הפודקאסט שבמרכז הפוסט, Speed Power BI with OneLake and Direct Lake, אנחנו בוחנים את האופן שבו המנועים הללו פועלים יחד עם כלים כמו OneLake ו-Direct Lake כדי להאיץ דיווח ארגוני. במאמר המעמיק הזה נפרק את הרכיבים הבסיסיים של הארכיטקטורה, נבחן את הקסם של ביצוע וקטורי, נעבור על מקרי שימוש מהעולם האמיתי ונבחן מה צפוי לפלטפורמות נתונים מודרניות בעתיד.

עיקרי הדברים

  • מנוע הביצוע המקורי ב-Microsoft Fabric מאיץ את עיבוד הנתונים עד פי 6 לעומת סביבות ריצה מסורתיות של Spark.
  • ארגונים יכולים לחסוך כ-83% באשכולות בגודל קבוע על ידי שימוש במנוע הביצוע המקורי, וכך להשיג הפחתות עלויות משמעותיות.
  • המנוע תומך בפורמטים שונים של נתונים, כולל Parquet ו-Delta, ומאפשר הרצת שאילתות יעילה ללא שינויים בקוד.
  • ביצוע וקטורי מעבד נתונים בקבוצות (batches), וכך משפר את הביצועים ומפחית את השימוש במעבד, דבר חיוני בעבודה עם מערכי נתונים גדולים.
  • שילוב מנוע הביצוע המקורי עם יישומי Spark קיימים אינו דורש שינויים, ולכן האימוץ שלו פשוט.
  • יכולות אנליטיקה בזמן אמת מאפשרות תובנות מיידיות ועוזרות לעסקים לקבל החלטות בעיתוי נכון, על בסיס הנתונים העדכניים ביותר.
  • העיצוב המודולרי של המנוע מאפשר שילוב חלק בתהליכי עבודה קיימים עם נתונים, ומשפר את היעילות הכוללת.
  • התפתחויות עתידיות, כמו כלים מבוססי בינה מלאכותית וניהול זיכרון מותאם, מבטיחות לשפר עוד יותר את יכולות עיבוד הנתונים.

סקירה כללית של Microsoft Fabric

Microsoft Fabric Overview

Microsoft Fabric מייצגת קפיצה משמעותית בניהול ובאנליטיקה של נתונים. הארכיטקטורה שלה משלבת רכיבים שונים שפועלים יחד בצורה חלקה כדי לשפר את יכולות עיבוד הנתונים שלכם. הנה מבט מעמיק יותר על הארכיטקטורה ועל הרכיבים המרכזיים שלה.

ארכיטקטורה

הארכיטקטורה של Microsoft Fabric מורכבת ממספר רכיבים מרכזיים התומכים בעיבוד נתונים יעיל. רכיבים אלה כוללים:

  • OneLake Data Lake: מאגר נתונים מרכזי זה תומך בפורמטים שונים של נתונים. הוא מבטיח אבטחה ופיקוח, ולכן הוא מקור אמין לצרכי הנתונים שלכם.
  • Data Engineering (Synapse): רכיב זה מאפשר טרנספורמציות נתונים בקנה מידה גדול באמצעות Apache Spark. הוא אידיאלי להכנת נתונים מורכבת.
  • Data Warehouse (Synapse): חלק זה מספק אנליטיקה מבוססת SQL בביצועים גבוהים. הוא משתלב לעומק עם OneLake עבור עומסי עבודה של נתונים מובנים.
  • Real-Time Analytics (Synapse): תכונה זו מאפשרת אנליטיקה בתפוקה גבוהה, ומעניקה לכם תובנות מיידיות מנתוני סטרימינג.
  • Data Factory: רכיב זה מציע יכולות שילוב נתונים נרחבות. עם יותר מ-200 מחברים, הוא חיוני לתהליכי ETL ו-ELT.
  • Power BI: כלי זה מאפשר ליצור דוחות ולוחות מחוונים אינטראקטיביים. הוא מבטיח רעננות נתונים באמצעות שילוב עם שירותים אחרים.

רכיבים מרכזיים

השילוב של OneLake ו-Direct Lake משפר משמעותית את הארכיטקטורה של Microsoft Fabric. להלן כמה מהיתרונות של שילוב זה:

יתרוןתיאור
ביצועי שאילתותשאילתות Direct Lake מעובדות על ידי מנוע VertiPaq, ומספקות ביצועים דומים למצב Import, בלי העומס הכרוך במחזורי רענון הנתונים.
שילוב חלקDirect Lake משתלב עם ההשקעות הקיימות שלכם ב-Fabric, ולכן הוא אידיאלי לשכבת הניתוח המוזהבת בארכיטקטורת medallion של lakehouse.
מקסום ההחזר על ההשקעהרק הנתונים הנדרשים נטענים לזיכרון, מה שמאפשר ניתוח של נפחי נתונים שחורגים ממגבלות הזיכרון.
צמצום השהיההמודל הסמנטי מסתנכרן אוטומטית עם מקורות הנתונים שלו, והנתונים החדשים זמינים בלי צורך בלוחות זמנים לרענון.

ארכיטקטורה זו מאפשרת ל-Microsoft Fabric להקל על שילוב חלק עם תשתית הנתונים הקיימת. אגם הנתונים המרכזי תומך במגוון פורמטים של נתונים ומבטיח אחסון מאוחד. בנוסף, יכולות האינטגרציה החזקות של Data Factory מאפשרות תזמור חלק בכל מערכת הנתונים שלכם.

על ידי מינוף הרכיבים האלה, תוכלו לייעל את תהליכי הנתונים שלכם ולשפר את יכולות הניתוח שלכם. Microsoft Fabric לא רק מפשט את ניהול הנתונים, אלא גם מעניק לכם את היכולת לקבל החלטות מושכלות על בסיס תובנות בזמן אמת.

סקירה כללית של מנוע הביצוע המקורי

מנוע הביצוע המקורי (Native Execution Engine) הוא רכיב רב עוצמה ב-Microsoft Fabric, שממטב את עיבוד הנתונים והניתוח. הוא משפר את הביצועים על ידי ניצול היכולות המקוריות של מקורות הנתונים הבסיסיים. המנוע תומך באופרטורים ובסוגי נתונים שונים, כולל rollup hash aggregate ו-broadcast nested loop join. הוא מעבד נתונים בצורה יעילה בפורמטים Parquet ו-Delta, ולכן הוא אידיאלי לשאילתות עתירות חישוב.

פונקציונליות

אופן הפעולה ב-Microsoft Fabric

מנוע הביצוע המקורי פועל בחלק מהארכיטקטורה הרחבה של Microsoft Fabric. הוא משפר את הביצועים של Apache Spark על ידי החלפת אופרטורי הביצוע המסורתיים מבוססי JVM במימושים מקוריים ב-C++. טכנולוגיות כמו Velox ו-Apache Gluten מאפשרות מעבר זה, וממטבות את ביצוע השאילתות באמצעות עיבוד עמודתי ווקטורizציה. השילוב הזה מאפשר ליישומי Spark קיימים לפעול ללא שינויים, ומשפר באופן משמעותי את היעילות של טרנספורמציות וצבירות מורכבות של נתונים.

שילוב עם Lakehouse

השילוב של מנוע הביצוע המקורי עם ארכיטקטורת ה-lakehouse הוא שינוי משחק. ניתן להריץ שאילתות Spark ישירות על תשתית ה-lakehouse ללא צורך בשינויי קוד. יכולת זו תומכת בפורמטים Parquet ו-Delta, ומאפשרת לכם למנף את מלוא הפוטנציאל של הנתונים שלכם. שיפורי הביצועים של המנוע יכולים להגיע ל-מהירות גבוהה פי 4 מ-Spark הפתוח המסורתי, מה שמפחית עלויות תפעול ומשפר את היעילות במגוון משימות נתונים.

תכונות עיקריות

ביצוע וקטורי

אחת התכונות הבולטות של מנוע הביצוע המקורי היא יכולת הביצוע הווקטורי שלו. תכונה זו מאפשרת למנוע לעבד נתונים בקבוצות ולא שורה אחר שורה. באמצעות פריסות נתונים עמודתיות וטכניקות זיכרון מתקדמות, המנוע יכול לעלות בביצועיו על מנועים מסורתיים מבוססי JVM, במיוחד בסביבות ענן. לדוגמה, מדדים פנימיים על מערך נתונים של מיליard שורות מראים הפחתה של 20 עד 32 שניות בזמן הריצה של כל שאילתה, שמתורגמת לשיפור של 20%‏-27% בביצועים.

שיפורי ביצועים

מנוע הביצוע המקורי מספק מספר שיפורי ביצועים שמבדילים אותו ממנועי ביצוע אחרים. להלן כמה משיפורי המפתח:

מקורתיאורשיפור בביצועים
Apache Hudiשאילתות על טבלאות Copy-on-Writeהפחתה של 33% בזמן הביצוע
Google DataProcביצועי ביצוע מקורייםשיפור של עד פי 2.7
Microsoft Fabricמדדים פנימיים על מערך נתונים של מיליard שורותחיסכון של 20–32 שניות בזמן הריצה לכל שאילתה, שיפור של 20%‏–27%

השיפורים האלה הופכים את Native Execution Engine לבחירה חזקה לארגונים שמחפשים לייעל את תהליכי עיבוד הנתונים שלהם. מאחר שהמנוע מטפל ביעילות בטרנספורמציות ובאגרגציות מורכבות, הוא מאפשר לכם להפיק תובנות מהנתונים מהר יותר ובצורה יעילה יותר.

היתרונות בביצועים של Microsoft Fabric

Performance Benefits of Microsoft Fabric

שיפורי יעילות

כשעובדים עם נפחי נתונים גדולים, היעילות הופכת לקריטית. Native Execution Engine של Microsoft Fabric מטפל בצווארי בקבוק נפוצים שמאטים את עיבוד הנתונים. הוא מאיץ עומסי עבודה של Parquet ו-Delta, מטפל בטרנספורמציות מורכבות בצורה חלקה, ומייעל שאילתות אנליטיות כבדות במעבד. המשמעות היא שאתם מבלים פחות זמן בהמתנה ויותר זמן בניתוח.

היבט ביצועיםתיאור
שיפורי מהירותהאצה משמעותית של עומסי עבודה של Parquet ו-Delta, טרנספורמציות מורכבות ושאילתות כבדות במעבד.
תוצאות מדידהמהירות גבוהה פי 6 בעומסי עבודה של TPC-DS SF1000, מה שמפחית באופן משמעותי את עלויות המחשוב.
יעילות בגישה לזיכרוןמשתמש בעיבוד עמודתי ובהוראות SIMD לגישה יעילה לזיכרון ולמקביליות.
אינטegrציה עם Spark Optimizerשומר על ביצוע שאילתות adaptive, על predicate pushdown ועל שאר אופטימיזציות Spark במלואן.
נראות בזמן אמת למעבר חזרה (Fallback)מציג מתי פעולות שאינן נתמכות עוברות חזרה לביצוע ב-JVM, ומסייע לכם לנטר את הביצועים.

היעילות הזו מפחיתה את העלויות הנסתרות שבדרך כלל נלוות לניהול סביבות נתונים בקנה מידה גדול. אתם נמנעים מבזבוז משאבים על מחזורי מעבד מיותרים או על תקורת זיכרון. העיבוד העמודתי והביצוע הוקטורי של Native Execution Engine מאפשרים לו לסרוק נתונים מהר יותר ולהשתמש בפחות מחזורי מעבד. כך יורד העלות לכל שאילתה ומשתפר הזמן התגובה הכולל של המערכת.

שיפורי מהירות נוספים

מהירות חשובה כשרוצים תובנות בזמן מהנתונים. Native Execution Engine מספק שיפורי מהירות מרשימים בלי לדרוש מכם לשנות את היישומים הקיימים. ארגונים רבים מדווחים על זמני שאילתה מהירים פי 2 עד פי 3 בעומסי עבודה אנליטיים שונים, פשוט על ידי הפעלת המנוע.

כך מושגים שיפורי המהירות:

  1. Spark יוצר תוכנית לוגית ותוכנית פיזית ממוטבת כרגיל.
  2. Gluten מזהה אופרטורים הנתמכים באופן native ומחליף אותם בשקילים native מהירים יותר.
  3. Velox מבצע את האופרטורים ה-native האלה באמצעות kernels ב-C++ ממוטבים מאוד.
  4. אם פעולה אינה נתמכת, המנוע חוזר לביצוע ב-JVM של Spark, וכך נשמר ביצוע חלק.

בדאטאסט של מיליארד שורות, מדידות מראות חיסכון של 20 עד 32 שניות בזמן הריצה לכל שאילתה בעת שימוש בקלאסטרינג עם Native Execution Engine. זה מתורגם לשיפור של 20% עד 27% בביצועים בשילובי עמודות מקובצות שונים. שיפורים כאלה עוזרים להריץ אנליטיקה מהר יותר ולהפחית עלויות נסתרות הקשורות לשאילתות ארוכות.

⚡ טיפ: על ידי ניצול שיפורי המהירות האלה, אפשר להאיץ את תהליכי האנליטיקה ולקבל החלטות מהירות יותר המבוססות על נתונים, בלי להשקיע בחומרה נוספת.

התכנון של Microsoft Fabric מבטיח שהיתרונות האלה יגדלו יחד עם הנתונים. ככל שמערכי הנתונים גדלים, המנוע שומר על ביצועים גבוהים ועל יעילות עלויות. קנה המידה הזה הופך את fabric לבחירה מצוינת לארגונים שרוצים לייעל את צינורות האנליטיקה שלהם תוך שליטה בהוצאות.

שימושים של Native Execution Engine

ל-Native Execution Engine ב-Microsoft Fabric יש יישומים רבים בעולם האמיתי, שמשפרים את עיבוד הנתונים והאנליטיקה. ארגונים מכל מיני תחומים מנצלים את היכולות שלו כדי לייעל את פעילותם ולקבל תובנות בעלות ערך.

יישומים בעולם האמיתי

  1. שירותים פיננסיים: בנקים ומוסדות פיננסיים משתמשים ב-Native Execution Engine כדי לעבד מערכי נתונים גדולים במהירות. הם מנתחים נתוני עסקאות בזמן אמת, וכך מאפשרים לזהות הונאות ולהעריך סיכונים בצורה יעילה יותר. המהירות של המנוע מספקת תובנות מיידיות, וזה קריטי בסביבה הפיננסית המהירה.

  2. שירותי בריאות: ספקי שירותי בריאות משתמשים במנוע לניהול נתוני מטופלים ולביצוע ניתוחים מורכבים. על ידי עיבוד נתונים ממקורות שונים, הם יכולים לשפר את תוצאות הטיפול בעזרת אנליטיקה חזויה. היכולת של המנוע לטפל בנפחי נתונים גדולים בצורה יעילה תומכת בקבלת החלטות טובה יותר בסביבה הקלינית.

  3. קמעונאות: קמעונאים מפיקים תועלת מ-Native Execution Engine באמצעות אופטימיזציה של שרשרת האספקה ושל ניהול המלאי. הם מנתחים נתוני מכירות כדי לחזות ביקוש ולהתאים את רמות המלאי בהתאם. היכולת הזו עוזרת להפחית עלויות ולשפר את שביעות רצון הלקוחות, בזכות זמינות גבוהה יותר של המוצרים.

  4. תקשורת: חברות טלקום מנצלות את המנוע כדי לנתח רשומות נתוני שיחות ומדדי ביצועי רשת. ניתוח זה עוזר להם לזהות מגמות ולייעל את אספקת השירות. היעילות של המנוע מאפשרת ניטור בזמן אמת, וזה חיוני לשמירה על איכות השירות.

תרחישי שימוש לפי תעשייה

ל-Native Execution Engine יתרונות בולטים בתרחישים תעשייתיים מגוונים, והוא מספק פתרונות מותאמים שנועדו לאתגרים ספציפיים:

  • הנדסת נתונים: בהנדסת נתונים, המנוע מפשט את המרת הנתונים הגולמיים לתובנות בני פעולה. הוא תומך בצינורות נתונים מורכבים ומאפשר לארגונים להפוך את זרימות העבודה של הנתונים לאוטומטיות. היכולת הזו מפחיתה מאמץ ידני ומשפרת את הפרודוקטיביות.

  • אנליטיקה של ביג דאטה: חברות שעובדות עם ביג דאטה מפיקות תועלת מהיכולת של המנוע לעבד במהירות כמויות גדולות של מידע. הוא מאפשר להן להריץ שאילתות analytics מתקדמות מבלי לפגוע בביצועים. היעילות הזו חיונית לארגונים שמתבססים על אסטרטגיות מונעות נתונים.

  • בינה עסקית: המנוע משפר יישומי בינה עסקית באמצעות מענה מהיר יותר לשאילתות. משתמשים יכולים ליצור דשבורדים ודוחות אינטראקטיביים המשקפים נתונים בזמן אמת. מיידיות זו מעניקה למקבלי ההחלטות את היכולת לפעול במהירות על בסיס התובנות העדכניות ביותר.

למרות יתרונותיו, הטמעת Native Execution Engine עלולה להציב אתגרים. לדוגמה, מורכבות בנתיבי ההרצה עלולה לעלות בשל קיומם של מספר מנועי הרצה. מורכבות זו מקשה על מעקב אחר תלויות בצינורות הנתונים. בנוסף, האחריות התפעולית גדלה, שכן הצוותים מנהלים כוונון ביצועים ובקרת עלויות על פני מנועים שונים.

⚡ טיפ: הבנת האתגרים האלה יכולה לעזור לכם להתכונן להטמעה חלקה יותר של Native Execution Engine בארגון שלכם.

על ידי מינוף Native Execution Engine תוכלו לשנות את אסטרטגיות הנתונים שלכם ולפתוח את מלוא הפוטנציאל של יכולות האנליטיקה שלכם.

השוואה עם מנועי הרצה אחרים

כשמשווים את Native Execution Engine למנועי הרצה אחרים, רואים כמה הבדלים פונקציונליים. ההבדלים האלה מדגישים את הבולטות של Native Execution Engine מבחינת ביצועים ויעילות.

הבדלים פונקציונליים

  1. מודל ההרצה: מנועי הרצה מסורתיים נשענים לעתים קרובות על Java Virtual Machine (JVM) לעיבוד. לעומת זאת, Native Execution Engine משתמש ב-C++ לפעולותיו. השינוי הזה מאפשר הרצה מהירה יותר וצמצום בעומס התקורה.

  2. עיבוד נתונים: מנועים רבים מעבדים נתונים שורה אחר שורה. לעומת זאת, Native Execution Engine משתמש בהרצה וקטורית (vectorized execution). שיטה זו מעבדת נתונים בקבוצות, וכך מאיצה משמעותית שאילתות אנליטיות.

  3. יכולות אינטגרציה: בעוד שמנועים רבים דורשים שינויים נרחבים כדי להשתלב עם מערכות קיימות, מנוע הביצוע המקורי (Native Execution Engine) מציע תכנון מודולרי. תכנון זה מאפשר שילוב קל יותר בתהליכי העבודה הנתונים הקיימים שלכם, ללא שינויים מהותיים.

יתרונות תחרותיים

מנוע הביצוע המקורי (Native Execution Engine) מספק כמה יתרונות תחרותיים לעומת מנועי ביצוע חלופיים. יתרונות אלה משפרים את יכולות עיבוד הנתונים שלכם ומעלים את הביצועים הכלליים. להלן סיכום של היתרונות הללו:

יתרון תחרותיתיאור
ביצוע וקטורי מקורימשפר את יעילות משאבי ה-CPU ומפחית את התקורה הכרוכה בביצוע מבוסס JVM.
אופטימיזציות מתקדמותכולל SIMD, הערכה עצלה (lazy evaluation) וביצוע שאילתות אדפטיבי, שמעלים את הביצועים עוד יותר.
טבע מודולרימאפשר רכיבים לשימוש חוזר, ומקל על שילוב במערכות קיימות.

באמצעות יתרונות תחרותיים אלה תוכלו להשיג ביצועים טובים יותר ומדרגיות רבה יותר במשימות האנליטיקה של הנתונים שלכם. מנוע הביצוע המקורי לא רק מאיץ את העיבוד, אלא גם מייעל את ניצול המשאבים. יעילות זו מתורגמת לחיסכון בעלויות ולשיפור הפרודוקטיביות בארגון שלכם.

⚡ טיפ: בעת הערכת מנועי ביצוע, כדאי לבחון כיצד המאפיינים הייחודיים שלהם מתאימים לצרכי עיבוד הנתונים הספציפיים שלכם. הבחירה הנכונה יכולה להשפיע באופן משמעותי על יכולות האנליטיקה שלכם.

העתיד של מנוע הביצוע המקורי

תכונות צפויות

העתיד של מנוע הביצוע המקורי נראה מבטיח, עם מספר תכונות מרגשות באופק. התפתחויות אלה נועדו לשפר את יכולות עיבוד הנתונים שלכם ולהעלות את הביצועים הכלליים. להלן כמה מהתכונות הצפויות המרכזיות:

  • Materialized Lake Views (MLVs): תצוגות אלה ישפרו את יישום ארכיטקטורת המדליון. הן יהפכו את צינורות העיבוד למוכנים לייצור, ויאפשרו תהליכי עבודה יעילים יותר עם הנתונים.
  • כלי הנדסה בסיוע AI: הצגתם של כלים משופרים כמו Copilot מעידה על מיקוד רב בשילוב יכולות AI בתהליכי הנדסת הנתונים. שילוב זה ייעל תהליכים ויגביר את הפרודוקטיביות.
  • ניהול זיכרון מאוחד: המנוע יייעל את ניהול הזיכרון, מה שישפר משמעותית את הביצועים עבור מהנדסי נתונים ומדעני נתונים. על ידי עקיפת ה-garbage collector של Java Virtual Machine, הוא יפחית צווארי בקבוק בביצועים.

תכונות אלה תואמות את המגמות הנוכחיות בעיבוד נתונים מבוסס ענן. הן יעזרו לכם לעמוד בדרישות זמן אמת ובהשהיה נמוכה, החיוניות ליישומים מודרניים.

השלכות על אנליטיקה

ההתקדמות במנוע הביצוע המקורי צפויה להשפיע באופן משמעותי על האנליטיקה ועל הבינה העסקית. ככל שהמנוע מתפתח, ניתן לצפות לתועלות הבאות:

  • ביצועים משופרים: מנוע הביצוע המקורי כבר מספק שיפור ביצועים פי 6 לעומת Spark בקוד פתוח, וללא צורך בשינויי קוד. שיפור זה יאפשר לכם להריץ ניתוחים מורכבים ביעילות רבה יותר.
  • תובנות בזמן אמת: בזכות יכולתו לעבד סוגי נתונים מגוונים, המנוע יתמוך בקליטת נתונים בתפוקה גבוהה ובשאילתות היברידיות בהשהיה אולטра-נמוכה. יכולת זו חיונית לאנליטיקה בזמן אמת ולתהליכים מונעי AI.
  • ניצול משאבים מותאם: הארכיטקטורה תמשיך לייעל את ניצול המשאבים, בהתאם לעקרונות cloud-native. אופטימיזציה זו תעזור לכם לנהל עלויות תוך שמירה על ביצועים גבוהים.

ככל שהתכונות האלה יגיעו למשתמשים, תגלו ש-Native Execution Engine לא רק משפר את יכולות האנליטיקה שלכם, אלא גם מאפשר לקבל החלטות מבוססות נתונים מהר יותר. עתיד הניתוח של הנתונים נראה מבטיח עם החידושים האלה.

⚡ טיפ: עקבו אחר ההתפתחויות האלה כדי לנצל במלואו את הפוטנציאל של Native Execution Engine בתהליכי האנליטיקה שלכם.


לסיכום, ה-Native Execution Engine ב-Microsoft Fabric ממלא תפקיד מרכזי בשיפור יכולות עיבוד הנתונים שלכם. באמצעות טכנולוגיות כמו Apache Gluten and Velox, המנוע מתמקד בביצוע וקטורי ובקומפילציה בזמן ריצה (JIT). התכנון הזה משפר משמעותית את מהירות הביצוע ומצמצם השהיות, ומאפשר לכם לטפל במשימות נתונים מורכבות ביעילות.

בעתיד, Native Execution Engine מבטיח שיפורים נוספים. הוא עוקף את המגבלות של הרצת Spark המסורתית, ומספק ביצוע שאילתות מהיר יותר וחיסכון משמעותי בעלויות. עם בנצ'מרקים שמראים שיפור מהירות של עד פי שישה וחיסכון בעלויות של כ-83%, המנוע הזה מתמקם כפתרון מדרגי ויעיל לניתוח נתונים מודרני. להעמקה נוספת באופן שבו העקרונות האלה חלים על דיווח וביצועי OneLake, כדאי מאוד להאזין לפרק הפודקאסט הקשור שלנו, Speed Power BI with OneLake and Direct Lake!

⚡ טיפ: אמצו את Native Execution Engine כדי לפתוח את מלוא הפוטנציאל של תהליכי האנליטיקה שלכם, ושמרו על יתרון בנוף מונע הנתונים.

שאלות נפוצות

מהי מנוע הביצוע המקורי (Native Execution Engine) ב-Microsoft Fabric?

ה-Native Execution Engine הוא שכבה בעלת ביצועים גבוהים ב-Microsoft Fabric, שמאיצה את עיבוד הנתונים באמצעות קוד C++ מקומי. הוא משפר את ביצוע השאילתות ומפחית עלויות, מבלי לשנות את היישומים הקיימים שלכם.

כיצד Native Execution Engine משפר את הביצועים?

הוא משתמש בביצוע וקטורי ובעיבוד נתונים מבוסס עמודות כדי לטפל במערכי נתונים גדולים מהר יותר. גישה זו מפחיתה את השימוש במעבד ומאיצה שאילתות מורכבות, ומספקת לכם תובנות מהר יותר.

האם אפשר להשתמש ב-Native Execution Engine עם עומסי עבודה קיימים של Spark?

כן, אפשר. המנוע משתלב בצורה חלקה עם Spark, ומחליף חלק מפעולות ה-JVM בקוד מקומי. אינכם צריכים לכתוב מחדש את הקוד כדי ליהנות משיפור הביצועים.

אילו פורמטים של נתונים Native Execution Engine תומך בהם?

המנוע תומך בפורמטים נפוצים כמו Parquet ו-Delta. תאימות זו מאפשרת להריץ שאילתות יעילות ישירות על נתוני ה-lakehouse שלכם ב-Microsoft Fabric.

כיצד Native Execution Engine משפיע על ניהול עלויות?

על ידי האצת שאילתות וצמצום השימוש במשאבים, המנוע מפחית את עלויות המחשוב. אתם חוסכים כסף ומקבלים גישה מהירה יותר לתובנות מהנתונים שלכם.

האם Native Execution Engine מתאים לאנליטיקה בזמן אמת?

בהחלט. המנוע תומך בשאילתות עם השהיה נמוכה ובקליטת נתונים בתפוקה גבוהה, ומאפשר לקבל תובנות בזמן אמת ולקבל החלטות בזמן.

אילו תעשיות מרוויחות במידה הרבה ביותר מ-Native Execution Engine?

תעשיות כמו פיננסים, בריאות, קמעונאות ותקשורת מרוויחות מעיבוד נתונים מהיר יותר ומאנליטיקה משופרת, ומתקשות פחות לפעול במהירות על בסיס התובנות.

כיצד אפשר לנטר את הביצועים של Native Execution Engine?

Microsoft Fabric מספק כלים לעקוב אחר המועד שבו מתבצעת הרצה מקומית, או מועד החזרה ל-JVM. הנראות הזו עוזרת לכם לייעל את תהליכי הנתונים שלכם בצורה יעילה.

Entities in this article

Microsoft Fabric OneLake Direct Lake Semantic model Apache Spark Power BI Healthcare

Related articles

RSS