M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions m365con.net

Unity Catalog

Product

שכבת הממשל של Databricks המספקת בקרת גישה מרוכזת, ביקורת, מעקב אחר מקור הנתונים (lineage) וגילוי נתונים בין סביבות עבודה.

◆ PRODUCTUnity CatalogM365.FM
Title graphic: Unity Catalog (Product)

נושאים שנדונים גם

בפרק על Unity Catalog עולים גם: Azure Databricks, Delta Lake, Apache Spark ו-למידת מכונה.

Description

Unity Catalog היא שכבת הממשל של Databricks. ב-Azure Databricks היא מתוארת כשכבת הממשל המאוחדת לנתונים ולבינה מלאכותית. לאחר הפעלתה עבור סביבת עבודה, היא פועלת מתחת לכל האינטראקציות עם הנתונים וה-AI שם. היא מספקת בקרת גישה מרוכזת, ביקורת, מעקב אחר מקור הנתונים (lineage) וגילוי נתונים בין סביבות עבודה, כך שהכללים הקובעים מי רשאי לראות או לשנות נתונים מוגדרים במקום אחד, ולא מוגדרים מחדש בכל סביבת עבודה.

התיעוד מתאר כיצד זה עובד בפועל. Unity Catalog שולטת בגישה בכל פעם שמבוצעת שאילתה על טבלה או נקראת מודל. היא עוקבת אחר מקור הנתונים באופן אוטומטי ומתעדת את הפעילות לצורך ביקורת. הגישה לקטלוג זמינה דרך Catalog Explorer, SQL, ה-Databricks CLI וממשקי ה-REST API. כל מה שנמצא תחת ממשל הוא אובייקט מאובטח (securable object), וההרשאות על אובייקטים אלה מוענקות למשתמשים, ל-service principals או לקבוצות. טבלאות, תצוגות, volumes, פונקציות ומודלים מאורגנים במרחב שמות בן שלוש רמות: קטלוג, סכמה והאובייקט עצמו.

הבחנה שחשובה בהחלטות אחסון היא ההבחנה בין אובייקטים מנוהלים לחיצוניים. טבלאות ו-volumes יכולים להיות מנוהלים, ואז Unity Catalog מטפלת גם במחזור החיים של האחסון וגם בממשל. הם יכולים גם להיות חיצוניים, ואז Unity Catalog מטפלת בממשל בלבד, והאחסון נשאר מחוץ לניהול מחזור החיים שלה. הבחירה בין השניים היא החלטת תכנון אופיינית כאשר הנתונים כבר נמצאים במיקומי אחסון קיימים.

אזורי הפונקציונליות שמפורטים בתיעוד של Microsoft Learn חורגים מהרשאות בסיסיות. הם כוללים בקרת גישה עם מדיניות מבוססת תכונות ומסנני שורות ועמודות, גילוי נתונים, מעקב אחר מקור הנתונים, יומני ביקורת החשופים כטבלת מערכת, סיווג נתונים, ניטור איכות נתונים, שיתוף נתונים בין ארגונים ובין ענני מחשוב, וממשל של בינה מלאכותית. המשמעות היא ששכבה אחת מכסה גם נתוני אנליטיקה וגם נכסי AI כמו מודלים, במקום לטפל בהם כבעיות ממשל נפרדות.

באשר לזמינות, Unity Catalog מופעלת אוטומטית עבור סביבות עבודה שנוצרו לאחר נובמבר 2023. סביבות עבודה שנוצרו קודם לכן חייבות לעבור שדרוג כדי להשתמש בה. התיעוד מציין גם שקיימת מימוש קוד פתוח של Unity Catalog, ומפנה לעמוד נפרד עם דרישות ומגבלות שיש לבדוק לפני תכנון פריסה.

פרק ה-M365.FM "Azure Databricks - Simply Explained" ממקם את Unity Catalog במסגרת הסקירה הכללית של הפלטפורמה. התוכן שלו כולל מה זה Azure Databricks, מדוע קיימת הגישה של lakehouse, Apache Spark, notebooks, clusters ו-Delta Lake, ואז מקבץ יחד את "Workspaces, Accounts, and Unity Catalog" כנושא אחד. הפרק מסתיים גם בהנחיות מתי להשתמש ב-Databricks, ב-Fabric או ב-Synapse. במסגרת זו, Unity Catalog היא החלק שמסביר כיצד מספר סביבות עבודה תחת חשבון אחד יכולות לחלוק מודל ממשל עקבי, וזה רלוונטי בהשוואה בין Databricks לבין פלטפורמות נתונים אחרות של Microsoft.

למי שמחפש את המונח, הגרסה הקצרה היא ש-Unity Catalog עונה על השאלות: מי יכול לגשת לאילו נתונים או מודלים, מאיפה הנתונים הגיעו, מי השתמש בהם, וכיצד ניתן למצוא אותם או לשתף אותם. מכיוון שהיא נאכפת בנקודה שבה טבלאות נשאלות או מודלים נקראים, ומכיוון שרשומות מקור הנתונים והביקורת נוצרות אוטומטית, היא מהווה את הבסיס לממשל ב-Azure Databricks ולא תוסף אופציונלי.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeProduct

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

מהי Unity Catalog ב-Azure Databricks? (AI)

Unity Catalog היא שכבת הממשל המאוחדת לנתונים ולבינה מלאכותית ב-Azure Databricks. היא שולטת בגישה, עוקבת אחר מקור הנתונים (lineage) באופן אוטומטי ומתעדת את הפעילות לצורך ביקורת בין סביבות עבודה.

כיצד אובייקטים מאורגנים ב-Unity Catalog? (AI)

טבלאות, תצוגות, volumes, פונקציות ומודלים משתמשים במרחב שמות בן שלוש רמות: קטלוג, סכמה והאובייקט עצמו. ההרשאות על אובייקטים מאובטחים אלה מוענקות למשתמשים, ל-service principals או לקבוצות.

האם Unity Catalog מופעלת כברירת מחדל? (AI)

לפי Microsoft Learn, היא מופעלת אוטומטית עבור סביבות עבודה שנוצרו לאחר נובמבר 2023. סביבות עבודה שנוצרו לפני כן חייבות לעבור שדרוג כדי להשתמש בה.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: