Mapping data flows
Product
טרנספורמציות נתונים חזותיות ללא קוד ב-Azure Data Factory, שפועלות כפעילויות בתוך צינורות (pipelines) על אשכולות Apache Spark המנוהלים על ידי השירות.
נושאים שנדונים גם
בפרק על Mapping data flows עולים גם: Integration runtime ו-Azure Data Factory.
Description
זרימות נתונים של מיפוי (Mapping data flows) הן טרנספורמציות נתונים שעוצבו באופן חזותי ב-Azure Data Factory. לפי Microsoft Learn, העמוד חל גם על Azure Synapse Analytics. הן מאפשרות למפתחים לבנות לוגיקת טרנספורמציה ללא כתיבת קוד. השירות מטפל בתרגום הקוד, באופטימיזציה של הנתיבים ובהרצת משימות זרימת הנתונים, הפועלות על אשכולות Apache Spark מדורגים שהשירות מנהל.
זרימת נתונים של מיפוי אינה רצה באופן עצמאי. היא מופעלת כפעילות בתוך צינור (pipeline). בפעילות הצינור הזו נבחרים זמן הריצה של האינטגרציה (integration runtime) וערכי הפרמטרים. לכן זרימת נתונים יכולה להשתמש בתכונות התזמון, בקרת הזרימה והניטור הקיימות של צינורות Azure Data Factory, במקום לדרוש מנגנון תזמור נפרד.
חוויית העריכה בנויה סביב קנבס עם שלושה אזורים עיקריים. פס כלים עליון מציע פונקציות לשמירה, לאימות ולצפייה ב-JSON או בסקריפט של זרימת הנתונים. גרף מציג את הזרם מהמקור אל היעד, כך שמסלול הנתונים דרך הטרנספורמציות נראה במבט אחד. לוח תצורה מופיע עבור הטרנספורמציה שנבחרה. לכל טרנספורמציה יש לשוניות להגדרותיה, לאופטימיזציה של מחיצות, לבדיקת מטא-נתונים לקריאה בלבד ולתצוגה מקדימה של הנתונים.
התיעוד מציין כמה מגבלות מעשיות. התצוגה המקדימה של הנתונים פועלת רק כאשר מצב ניפוי השגיאות (debug) מופעל. לשונית הבדיקה אינה מציגה מטא-נתונים כאשר למקור אין סכמה מוגדרת, מצב שמתרחש בדרך כלל בשל סחף סכמה (schema drift). מי שמתכנן זרימות מול מקורות עם מבנים משתנים צריך לצפות להתנהגות זו בעת בדיקת מטא-נתונים במהלך הפיתוח.
במצבים טיפוסיים, זרימות נתונים של מיפוי נבחרות כאשר יש לבטא את לוגיקת הטרנספורמציה באופן חזותי ולא בקוד, בעוד שהצינור סביבם מטפל בטריגרים, בתזמון ובניטור. ההחלטה נוגעת בעיקר למקום שבו עבודת הטרנספורמציה צריכה להתבצע: בזרם גרפי של טרנספורמציות הרצות על Spark מנוהל, או במקום אחר בפלטפורמת הנתונים. התיעוד מצביע גם על Dataflow Gen2 ב-Microsoft Fabric כטכנולוגיה דומה, וזה רלוונטי לצוותים ששוקלים בין Azure Data Factory לבין Fabric.
פרק ה-M365.FM "Azure Data Factory - Simply Explained" מכסה זרימות נתונים של מיפוי תחת הכותרת "Transforming Without Code". הוא ממקם אותן לצד אבני הבניין האחרות של השירות: צינורות ופעילויות, שירותים מקושרים ומערכי נתונים, זמני ריצה של אינטגרציה, וטריגרים ותזמון. אותו פרק משווה גם בין Azure Data Factory לבין צינורות Fabric, ודן בעלויות ובשיטות עבודה מומלצות.
הפרק "What Microsoft Fabric Means for Power BI Professionals" מזכיר זרימות נתונים של מיפוי בתוכנית לימודים בנושא קליטה ואינטגרציה של נתונים ב-Fabric. שם, הלמידה של זרימות נתונים של מיפוי וטרנספורמציה של נתונים מופיעה יחד עם חקירת מחברים (connectors) ותרגול קליטה ל-OneLake, תוך שימוש ביכולות Data Factory ב-Fabric. זה מראה כיצד המושג מופיע הן בהקשר של Azure Data Factory והן בדיונים על פלטפורמת הנתונים של Fabric.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Product |
|---|
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
מהן זרימות נתונים של מיפוי ב-Azure Data Factory? (AI)
הן טרנספורמציות נתונים שעוצבו באופן חזותי ואינן דורשות קוד. השירות מתרגם את העיצוב ומריץ אותו על אשכולות Apache Spark מדורגים שהוא מנהל.
כיצד זרימת נתונים של מיפוי רצה? (AI)
היא רצה כפעילות בתוך צינור, שבו נבחרים זמן הריצה של האינטגרציה וערכי הפרמטרים. כך היא יכולה להשתמש בתכונות הקיימות של התזמון, בקרת הזרימה והניטור של הצינורות.
מדוע לפעמים לא מוצגים התצוגה המקדימה או המטא-נתונים? (AI)
התצוגה המקדימה של הנתונים פועלת רק כאשר מצב ניפוי השגיאות מופעל. לשונית הבדיקה אינה מציגה מטא-נתונים כאשר למקור אין סכמה מוגדרת, מצב שמתרחש בדרך כלל בשל סחף סכמה.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: