Microsoft Purview Data Map בקצרה: מה הוא עושה ואיך הוא משתלב ב-Purview
By Mirko Peters ·
מהו Microsoft Purview Data Map, איך סריקה ממלאה אותו, במה הוא שונה מ-Unified Catalog, איך מחויבות יחידות הקיבולת, וההודעה על הפסקת השירות שמופיעה כעת בדפי ממשל הנתונים של Microsoft.
Automatically translated with AI from the original post. Read the English original
Microsoft Purview Data Map הוא מלאי מטא-נתונים. הוא סורק את מקורות הנתונים שלכם, מתעד מה קיים ומה יש בו, ושומר על התיעוד מעודכן כך שאנשים יוכלו למצוא ולנהל נתונים. הוא אינו מעתיק את הנתונים שלכם ואינו פותח אותם למשתמשים. לפני שמתחילים, שימו לב: דף הסקירה של ממשל הנתונים ב-Microsoft כולל כעת הודעה על הפסקת שירות, שעליה נרחיב קרוב לסוף המאמר.
עיקרי הדברים
- Data Map הוא שכבת המטא-נתונים של ממשל הנתונים ב-Purview. הוא מאחסן מטא-נתונים על מקורות נתונים, ולא את הנתונים עצמם.
- סריקות מתחברות למקור, אוספות מטא-נתונים טכניים, מחלצות סכמות ומחילות סיווגים. לאחר מכן הטעינה (Ingestion) מעבירה את התוצאה אל ה-Data Map.
- ה-Unified Catalog פועל מעל ה-Data Map. שם אחראים על הנתונים מנהלים מוצרי נתונים, מונחי מילון עסקי ותחומים.
- החיוב מבוסס על יחידות קיבולת: כל יחידה מכסה 25 פעולות בשנייה ו-10 GB של מטא-נתונים. החשבונות מתחילים ביחידה אחת ומתרחבים אוטומטית עד עשר יחידות.
- הדף הכללי של ממשל הנתונים של Microsoft מציין ש-Unified Catalog וממשל הנתונים הקלאסי נמצאים בתהליך הפסקה, ללא חשבונות חדשים ועם מצב תחזוקה עד 12 בנובמבר 2027.
היכן ממוקם Data Map ב-Purview
Microsoft Learn מתאר את Microsoft Purview כקבוצת פתרונות לממשל, הגנה וניהול של נתונים, המסופקת דרך פורטל Microsoft Purview. הוא מחלק אותם לשלושה תחומים:
- אבטחת נתונים, למשל Data Loss Prevention, Information Protection ו-Insider Risk Management.
- ממשל נתונים, הכולל את Data Map ואת Unified Catalog.
- ציות נתונים, למשל Audit, eDiscovery, Compliance Manager ו-Records Management.
תוויות רגישות, מסווגים וקישורים (connectors) הם יכולות משותפות המשמשות כמה מהתחומים האלה. ה-Data Map שייך לתחום הממשל, ולכן זהו תפקיד שונה מתיוג קבצים ב-Microsoft 365.
מה ה-Data Map עושה
Microsoft Learn מכנה את ה-Data Map הבסיס לגילוי נתונים ולממשל נתונים. הוא אוסף מטא-נתונים על נתונים במערכות אנליטיקה, ביישומי SaaS ובמערכות תפעוליות, בהגדרות היברידיות, מקומיות ומרובות ענני. סריקה מובנית וסיווג מובנה שומרים עליו מעודכן.
המטא-דאטה מתחלק למספר קבוצות: מטא-דאטה טכני, כמו סכמות, סוגי נתונים ועמודות; מטא-דאטה סמנטי, כמו סיווגים ומיפויי אוספים; מטא-דאטה תפעולי, כמו סטטוסים של הרצות lineage; ומטא-דאטה עסקי, כמו תיאורים ומונחים מהמילון העסקי.
כלל אחד חשוב במיוחד לבדיקות אבטחה. Microsoft קובעת שכל הנתונים ב-Data Map וב-Unified Catalog הם מטא-דאטה. אף אחת מההרשאות בשני הפתרונות אינה מעניקה גישה לנתונים עצמם.
Data Map לעומת Unified Catalog
שני המוצרים לעיתים מתבלבלים זה בזה. ההנחיות של Microsoft לתכנון מפרידות ביניהם כך:
- Data Map הוא השכבה הטכנית. הוא מאחסן מטא-דאטה על נכסים שנאספו באמצעות סריקה של מקורות נתונים.
- Unified Catalog היא השכבה העסקית. אנשי ה-data stewards מנהלים בה את הנתונים, והצרכנים מוצאים שם מוצרי נתונים.
ב-Unified Catalog האובייקטים המרכזיים הם תחומי ממשל (לדוגמה Marketing או Finance), מוצרי נתונים, מונחים עסקיים, רכיבי נתונים קריטיים, OKRs וציוני איכות נתונים. ה-Data Map מזין אותו. רישום מקורות וסריקתם מתבצעים ב-Data Map, ומוצרי הנתונים נבנים ב-Unified Catalog.
כיצד הסריקה ממלאת את Data Map
סריקה מתחברת למקור נתונים ולוכדת מטא-דאטה טכני, כמו שמות, גודל קבצים ועמודות. במקורות מובנים היא מחלצת את הסכמה ומחילה סיווגים. אם ה-Data Map מחובר לפורטל Microsoft Purview, הסריקה מחילה גם תוויות רגישות. לאחר מכן מתבצעת קליטה (ingestion) שמנתחת את תוצרי הסריקה, מחילה תבניות של קבוצות משאבים, מוסיפה את ה-lineage הזמין וטוענת את ה-Data Map. ניתן לערוך נכסים (curate) רק לאחר שהקליטה מסתיימת.
לכל סריקה יש רמה:
| רמה | מה נשלף | |---|---| | L1 | מטא-דאטה בסיסי, כמו שם קובץ, גודל ושם מלא מוסמך (fully qualified name) | | L2 | סכמה עבור סוגי קבצים מובנים וטבלאות מסד נתונים | | L3 | סכמה היכן שרלוונטי, בתוספת דגימה וסיווג |
Auto detect היא ברירת המחדל, ומחילה את הרמה הגבוהה ביותר הנתמכת על ידי המקור. עבור Azure SQL Database זו רמה 3. רמות סריקה מותאמות אישית זמינות רק ב-Azure integration runtime וב-Managed Virtual Network integration runtime v2.
scan rule set מגדיר אילו סוגי קבצים וסיווגים הסריקה מחפשת. למקורות רבים יש scan rule sets של המערכת, וניתן ליצור מותאמים אישית. סריקות יכולות לרוץ פעם אחת או בלוח זמנים יומי, שבועי או חודשי. Microsoft ממליצה על יומי או שבועי למקורות בפיתוח פעיל, וחודשי למקורות שמשתנים לעיתים רחוקות.
לגבי אישורי גישה, Microsoft ממליצה על managed identity במידת האפשר, מכיוון שכך אין צורך לאחסן אישורים עבור כל מקור. Purview עצמו אינו שומר סיסמאות או סודות באופן ישיר.
מחיקות מזוהות על ידי השוואה בין הסריקה האחרונה לסריקה הנוכחית, ולכן ייתכן שיידרשו כמה סריקות מוצלחות לפני שנכסים שנמחקו ייפתרו.
יחידות קיבולת וחיוב
ה-Data Map מחויב ביחידות קיבולת (CU). כל CU מייצג תפוקת פעולות ואחסון מטא-דאטה:
- 25 פעולות בשנייה לכל CU
- 10 GB של אחסון מטא-דאטה לכל CU
- כל חשבון מתחיל מ-1 CU ונפרס אוטומטית עד 10 CU כברירת מחדל
- אין מגבלה ברירת מחדל לאחסון מטא-דאטה
פעולות כוללות יצירת נכס, הוספת קשר, עריכת מטא-דאטה עסקי והרצת חיפוש מילות מפתח. החיוב הוא שעתי, על בסיס מספר ה-CU הגבוה ביותר הנדרש באותה שעה, עם מינימום של 1. האחסון יכול להניע עלויות בפני עצמו: ב-25 פעולות בשנייה ו-15 GB, מחייבים אתכם עבור 2 CU. הדוגמה של Microsoft בת שש השעות מסתכמת ב-22 שעות של יחידות קיבולת.
כדי לעקוב אחר השימוש, פתחו את Microsoft Purview accounts בפורטל Azure, בחרו את החשבון ובדקו את Monitoring בעמוד Overview. לפרטים נוספים, עברו אל Monitoring > Metrics ובחרו ב-Data Map Capacity Units או ב-Data Map Storage Size. ניתן ליצור התראות מאותו עמוד.
טיפים הקשורים לעלויות שמציעה Microsoft הם מעשיים: השתמשו בסריקות incremental לאחר הסריקה המלאה הראשונה, הגבילו את היקף הסריקה, פזרו את לוחות הזמנים, הפחיתו את התדירות אם הרעננות מאפשרת זאת, כבו את חילוץ ה-lineage שאינו נחוץ, ונקו lineage היסטורי.
סדר הגיוני להתחלה
דף ההתחלה של Microsoft לממשל נתונים מפרט את שלבי ההגדרה הבסיסיים הבאים, לאחר דרישות המקדימות של מופע Purview Enterprise ומקורות נתונים רשומים וסרוקים:
- הקצאת התפקיד Data Governance Administrator.
- בניית תחומי ממשל: הקצו את התפקיד של יוצר תחום ממשל, צרו לפחות תחום אחד והקצו לפחות בעל תחום אחד.
- רשמו מקורות נתונים בתוך Data Map וסרקו אותם.
- בניית מוצרי נתונים: הקצו בעלי מוצרי נתונים וצרו לפחות מוצר נתונים אחד.
- הענקו גישת קורא לקטלוג בתחומי הממשל, כדי שהמשתמשים יוכלו לחקור את מוצרי הנתונים.
דף התכנון מציג סדר דומה, ומזכיר גם יצירת אוסף ב-Data Map והוספת מנהל מקור נתונים לפני הסריקה הראשונה. הוא מציע להתחיל מהבעלים של הנושאים שמעניינים אותם ביותר את ממשל הנתונים, כגון צוותי Business Intelligence או Data Lake, ולא מכלל הארגון.
הודעת הפסקת שירות ומה שהמקורות לא מבהירים
דף הסקירה הכללית של ממשל הנתונים ב-Microsoft Learn נפתח בהודעה הבאה: Unified Catalog ויכולות ממשל הנתונים הקלאסיות של Microsoft Purview, שנקראו בעבר Azure Purview, יוצאות משימוש, ו-Microsoft מאחדת את יכולות ממשל הנתונים שלה ב-Microsoft Fabric. בהמשך נכתב שלא ניתן עוד ליצור חשבונות חדשים, וששאר היכולות הקיימות יישארו במצב תחזוקה עד 12 בנובמבר 2027.
המקורות אינם אחידים בטון. דף הקיבולת של Data Map שקראתי עדיין מתאר יצירת חשבון דרך פורטל Azure ואינו כולל הודעת הפסקת שירות, וגם דף התכנון אינו מציין כלום בנושא. ההודעה המלאה שאליה מקשר הסקירה הכללית לא הייתה זמינה לקריאה לצורך המאמר הזה. לפני שתבנו על Data Map, קראו את ההודעה המלאה, בדקו כיצד מוגדר הדייר שלכם, ושאלו את Microsoft מה נתיב Fabric אומר עבור המקורות שלכם.
קישורים קשורים
מקורות
- Microsoft Learn: Microsoft Purview Data Map
- Microsoft Learn: מידע על Microsoft Purview
- Microsoft Learn: Data governance overview
- Microsoft Learn: Data governance plan
- Microsoft Learn: סריקות וקליטת נתונים ב-Data Map
- Microsoft Learn: תחילת העבודה עם ניהול נתונים (Data Governance)
- Microsoft Learn: Unified Catalog
FAQ
מהו Microsoft Purview Data Map?
לפי Microsoft Learn, ה-Data Map הוא הבסיס לגילוי נתונים ולממשל נתונים ב-Microsoft Purview. הוא אוסף מטא-נתונים על נתונים במערכות אנליטיקה, במערכות SaaS ובמערכות תפעוליות, בסביבות היברידיות, מקומיות ומרובות ענני. סריקה מובנית וסיווג מובנה שומרים עליו מעודכן.
מה ההבדל בין Data Map ל-Unified Catalog?
Microsoft Learn מתאר את ה-Data Map כשכבה הטכנית שמאחסנת את המטא-נתונים שנאספו על ידי סריקת מקורות נתונים. ה-Unified Catalog היא השכבה העסקית, שבה אחראים על הנתונים מנהלים אותם ומשתמשים מוצאים מוצרי נתונים. שתי השכבות מכילות רק מטא-נתונים, ואף אחת מהן אינה מעניקה גישה לנתונים עצמם.
כיצד מחויב Purview Data Map?
Microsoft Learn מציין שה-Data Map מחויב לפי שעה, על בסיס מספר יחידות הקיבולת הגבוה ביותר שנדרש באותה שעה, עם מינימום של 1. כל יחידת קיבולת כוללת 25 פעולות בשנייה ו-10 GB של אחסון מטא-נתונים. אם האחסון חורג מהיחידה הנוכחית, יחויב יחידה נוספת גם אם קצב העיבוד אינו מנוצל.
האם Purview Data Map נמצא בתהליך הפסקת שירות?
הודעה בדף הסקירה של ממשל הנתונים ב-Microsoft Learn מציינת ש-Unified Catalog ויכולות ממשל הנתונים הקלאסיות של Purview, שנקראו בעבר Azure Purview, נמצאות בתהליך הפסקה, כחלק מאיחוד ממשל הנתונים של Microsoft ב-Microsoft Fabric. ההודעה מציינת שלא ניתן עוד ליצור חשבונות חדשים, וש-היכולות הקיימות יישארו במצב תחזוקה עד 12 בנובמבר 2027. דף קיבולת ה-Data Map שקראתי אינו כולל הודעה כזו, לכן כדאי לבדוק את ההכרזה המקושרת לפני שמתכננים פריסה.
האם ה-Data Map מעניק לאנשים גישה לקבצים ולטבלאות שלי?
לא. Microsoft Learn קובע שכל הנתונים ב-Data Map וב-Unified Catalog הם מטא-נתונים ולא הנתונים עצמם, וששום תפקיד או הרשאה באחד מהפתרונות אינם מעניקים גישה לנתונים הבסיסיים.