העצמת אימון AI עם מחברות של Microsoft Fabric

By Mirko Peters · 2026-08-28

פרויקטים של בינה מלאכותית ולמידת מכונה דורשים כוח חישוב עצום, שילוב נתונים חלק ועיבוד יעיל. …

Automatically translated with AI from the original post. Read the English original

פרויקטים של בינה מלאכותית ולמידת מכונה דורשים כוח חישוב עצום, שילוב נתונים חלק ותהליכי עיבוד יעילים. בעבר, מדעני נתונים התקשו בעומס שבהעברת מערכי נתונים גדולים בין סביבות שונות, בניהול ערכת כלים מפוזרת ובהשהיות משמעותיות במהלך אימון מודלים. כיום יש לנו פתרון מאוחד שמגשר על הפער בין הנדסת נתונים בהיקף גדול לבין פיתוח זריז של למידת מכונה. באמצעות מחברות של Microsoft Fabric, צוותים יכולים לייעל את כל צינור העבודה התפעולי, מקליטת הנתונים הגולמיים ועד פריסת המודל.

בפוסט הזה נרחיב על המושגים המרכזיים שעלו בפרק הפודקאסט שלנו, Train AI Models with Microsoft Fabric Notebooks. נצלול לעומק להגדרת הסביבה שלכם, להכנת מערכי נתונים בצורה יעילה, להרצת משימות אימון, לניהול מודלים ולאימוץ שיטות עבודה מומלצות שיעצימו את תהליכי ה-AI שלכם.

הגדרת מחברות Fabric

הגדרת סביבת העבודה במחברות Fabric מספקת בסיס איתן לאימון מודלים של AI. הסעיף הזה כולל סקירה כללית של מחברות Fabric ומלווה אתכם בכל שלב, מיצירת החשבון ועד הפעלת המחברת הראשונה. תראו כמה קל להתחבר לנתונים שלכם ולהשתמש ב-Spark לניתוח עוצמתי.

גישה ל-Microsoft Fabric

יצירת חשבון

כדי להתחיל, צריך גישה ל-Fabric. ניתן ליצור חשבון Fabric חינמי, שמאפשר להתחבר לאפליקציית Fabric. אם אתם כבר משתמשים ב-Microsoft Power BI, אפשר להשתמש בחשבון Power BI הקיים. התהליך הפשוט הזה מבטיח שתוכלו להתחיל לעבוד עם מחברות מיד.

טיפ: משתמשים לא דיווחו על בעיות גישה משמעותיות, כך שאפשר לצפות לתהליך הרשמה חלק.

ניווט בסביבת העבודה

לאחר ההתחברות תראו את סביבת העבודה של Fabric. כאן תוכלו לארגן את הפרויקטים שלכם, לנהל משאבים ולגשת ל-lakehouse. לוח המחוונים של סביבת העבודה עוזר לאתר במהירות את המחברות, מערכי הנתונים והנכסים האחרים שלכם. אפשר גם לבדוק את הקיבולת וההגדרות של סביבת העבודה כדי לוודא שאתם עומדים בדרישות של פרויקטים של AI.

הפעלת מחברת

בחירת Kernel

לאחר הגדרת סביבת העבודה, ניתן להתחיל ליצור מחברת חדשה. בעת הפעלת מחברת בוחרים kernel. ה-kernel קובע את שפת התכנות ואת הסביבה. מחברות Fabric תומכות ב-Python ובשפות נוספות, ולכן הן גמישות למשימות AI שונות.

הגדרת ספריות

לפני שמתחילים בניתוח, ייתכן שתצטרכו להתקין או לייבא ספריות. מחברות Fabric הופכות תהליך זה לפשוט. ניתן להוסיף ספריות למדעי נתונים, ללמידת מכונה או להדמיה ישירות במחברת. הגדרה זו מאפשרת להשתמש ב-Spark לעיבוד מערכי נתונים גדולים ולהתחבר בצורה חלקה ל-lakehouse.

כשיוצרים מחברת חדשה, נמנעים מהטרחה של העברת נתונים בין כלים. אפשר לעבד, לנתח ולהמחיש את הנתונים הכול במקום אחד. שילוב כזה חוסך זמן ומפחית שגיאות. אם אתם חדשים ב-Fabric, ייתכן שתחוו עקומת למידה, אבל סביבת העבודה המאוחדת והגישה הישירה לנתונים הופכות את התהליך להרבה יותר קל.

הערה: אם אתם עובדים על פרויקטים או צוותים גדולים, מחברות Fabric עוזרות להימנע מתהליכי עבודה מפוזרים. אפשר לשמור על הכול מאורגן ויעיל מההתחלה.

הכנת נתונים במחברות Fabric

הכנת מערך הנתונים שלכם במחברות Fabric מניחה את היסוד לאימון מודלי AI מוצלחים. אפשר לייעל כל שלב, מקליטת הנתונים ועד להמחשתם, באמצעות הכלים המובנים והתכונות המופעלות על ידי Spark.

ייבוא נתונים

חיבור ל-Lakehouse

מתחילים בחיבור המחברת ל-lakehouse. חיבור זה מעניק גישה ישירה למערכי הנתונים שלכם, כך שאין צורך להעביר קבצים בין מערכות. אפשר לעבוד עם הנתונים במקום שבו הם נמצאים, וזה חוסך זמן ומפחית טעויות. ה-lakehouse שומר את מערך הנתונים בטבלאות delta, מה שמקל על טעינה ועדכון של המידע לפי הצורך.

טעינת נתונים באמצעות Spark

לאחר החיבור, משתמשים ב-Spark לקליטת הנתונים. Spark מאפשר לטעון מערכי נתונים גדולים במהירות וביעילות. אפשר לקרוא נתונים ממקורות מרובים, כולל קבצי CSV, קבצי Parquet או טבלאות קיימות ב-lakehouse. Spark נושא בעומס הכבד, כך שאתם יכולים להתמקד בעבודה עם הנתונים במקום לדאוג למגבלות זיכרון.

טיפ: השתמשו ב-Spark DataFrames לעיבוד מערך הנתונים בקנה מידה גדול. גישה זו עוזרת לנהל אפילו את מערכי הנתונים הגדולים ביותר בלי להאט את זרימת העבודה.

ניקוי נתונים

טיפול בערכים חסרים

ניקוי מערך הנתונים הוא שלב מפתח לפני אימון כל מודל. אפשר להפעיל את Data Wrangler מתוך מחברת Fabric כדי לחקור את מערך הנתונים ולזהות ערכים חסרים. Data Wrangler מספק יצירת קוד אוטומטית למשימות ניקוי נפוצות, כגון מילוי ערכים חסרים או הסרת שורות לא שלמות. אפשר לייצא את שלבי הניקוי האלה כפונקציות לשימוש חוזר ב-pandas או ב-PySpark, מה שהופך את זרימת העבודה ליעילה יותר.

הנדסת תכונות

הנדסת תכונות עוזרת ליצור משתנים חדשים מתוך מערך הנתונים הקיים. אפשר להשתמש בכלים מבוססי Python במחברות Fabric כדי לשנות את הנתונים וליצור תכונות ששיפרו את דיוק המודל. Spark מקל על יישום השינויים האלה על כל מערך הנתונים, גם אם יש מיליוני שורות.

שיטה מומלצת:

1. השתמשו ב-Spark ובכלי Python כדי לנקות ולשנות את מערך הנתונים.
2. צרו ניסויים לבדיקת קבוצות תכונות שונות.
3. עקבו אחר ההרצות והתוצאות באמצעות MLflow בממשק Fabric.

חקירת נתונים

סטטיסטיקות סיכום

חקירת מערך הנתונים עוזרת להבין את המבנה והאיכות שלו. אפשר ליצור סטטיסטיקות סיכום, כגון ממוצע, חציון וסטיית תקן, ישירות במחברת. הסטטיסטיקות האלה נותנות סקירה מהירה של מערך הנתונים ומדגישות בעיות שדורשות תשומת לב.

ויזואליזציות

המחשת נתונים מעניקה חיים למערך הנתונים. מחברות Fabric תומכות בפונקציות המחשה מובנות ומשתלבות עם ספריות כמו Matplotlib ו-Bokeh. אפשר להפוך תוצאות טבולריות לתרשימים בלי לכתוב קוד נוסף. הפונקציה display מאפשרת לקיים אינטראקציה עם הנתונים ולזהות מגמות או חריגים בקלות.

הערה: המחשת נתונים אינטראקטיבית עוזרת לקבל החלטות טובות יותר בהכנת מערך הנתונים לאימון מודלי AI.

אימון מודלים ב-Fabric

כתיבת קוד אימון

שימוש ב-Python או ב-R

אפשר לכתוב קוד לאימון מודלים במספר שפות במחברות Microsoft Fabric. הפלטפורמה תומכת ב:

• PySpark (Python)
• Spark (Scala)
• Spark SQL
• SparkR (R)

רוב המשתמשים בוחרים ב-Python בשל הגמישות והמערכת האקולוגית העשירה שלה. אפשר גם להשתמש ב-R אם מעדיפים את כלי הסטטיסטיקה שלה. PySpark מאפשר להפיץ משימות למידה על פני צמתים רבים, וזה חשוב במערכי נתונים גדולים. Python מתאים היטב ללמידה עמוקה ולפיתוח מודלים של pytorch. אם רוצים להשתמש ב-pytorch, אפשר להתקין את הספרייה ולהתחיל לבנות את מודל ה-pytorch מיד. אפשר גם להשתמש ב-SparkR ללמידה סטטיסטית או ב-Spark SQL לשאילתות נתונים מהירות.

מבנה תאי הקוד

כדאי לארגן את הקוד בתאים ברורים והגיוניים. מתחילים בטעינה וניקוי של הנתונים. מוסיפים תאים להנדסת תכונות ולניתוח חקרני. שמים את קוד אימון המודל בתא משלו. מבנה זה עוזר לאתר באגים ולהריץ מחדש חלקים מניסוי הלמידה בלי לחזור על השלבים הקודמים. אפשר גם להוסיף תאי markdown כדי להסביר את ההיגיון ולתעד את הניסויים. גישה זו הופכת את המחברות לקלות לקריאה ולשיתוף עם אחרים.

בחירת אלגוריתם

בחירת מודלים

בחרו את האלגוריתם המתאים למשימה. רגרסיה לוגיסטית מתאימה היטב לבעיות סיווג בינאריות. אפשר גם להשתמש בספריות כמו scikit-learn, PySpark ML, TensorFlow או pytorch למודלים מתקדמים יותר. אם תרצו לבנות מודל pytorch, תוכלו להשתמש בתמיכת ה-GPU ב-Fabric כדי להאיץ את תהליך הלמידה. PyTorch פופולרית ללמידה עמוקה, זיהוי תמונות ועיבוד שפה טבעית. אפשר להשתמש ב-pytorch גם ללמידה מועברת ולכוונון עדין של מודלים שאומנו מראש.

כשבוחרים אלגוריתם, כדאי לשקול את גודל הנתונים, סוג הבעיה והמשאבים הזמינים. FLAML, שפותחה על ידי Microsoft Research, עוזרת לאמן מודלים בצורה יעילה. היא צורכת פחות משאבי חישוב ופועלת היטב עם משימות מקביליות. לכן היא בחירה טובה לניסויי למידת מכונה בהיקף גדול.

הגדרת היפרפרמטרים

היפרפרמטרים שולטים באופן שבו המודלים שלכם לומדים. אפשר להשתמש ב-flaml.tune כדי לחפש את ההגדרות הטובות ביותר. Fabric מאפשרת להריץ הרבה ניסיונות כוונון במקביל, הודות לעיבוד המקבילי של Spark. המשמעות היא שאפשר לבדוק במהירות קצבי למידה, גדלי אצווה או שכבות שונים עבור מודל pytorch שלכם. תוכלו לתעד כל ניסיון בניסוי למידת המכונה שלכם באמצעות מעקב אחר ניסויים. כלי הדמיה עוזרים להשוות בין התוצאות ולבחור את התצורה הטובה ביותר. תוכלו לראות אילו הגדרות מתאימות ביותר למודל שלכם, בבדיקת המודל ובאימון המודל.

טיפ: השתמשו במעקב אחר ניסויים כדי לתעד כל ניסיון, כל מדד וכל פרמטר. כך קל יותר לחזור על ניסויים מוצלחים ולהימנע מטעויות.

הרצת משימות אימון

מעקב אחר ההתקדמות

אפשר לעקוב אחר משימות האימון שלכם בזמן אמת. מחברות Fabric מציגות לכם את ביצועי כל שלב. מצב High Concurrency מאיץ את המשימות שלכם בכ-30%. תקבלו יומנים מפורטים לכל שלב במחברת. השילוב עם MLflow מספק רישום אוטומטי (autologging), כך שאין צורך לרשום מדדים ידנית. תוכלו להגדיר את סשני האימון ולבחור אילו פרמטרים ומדדים לתעד. כך קל לעקוב אחר התקדמות הלמידה שלכם ולהשוות בין ניסויים שונים.

ניתן לראות שמחברות PySpark מטפלות במערכי נתונים גדולים טוב יותר. זה חשוב במיוחד כשמאמנים מודל pytorch או מודלים אחרים של למידה עמוקה על נתונים גדולים.

נקודות שמירה (Checkpointing)

Checkpointing מאפשר לשמור את מצב המודל במהלך האימון. אם המשימה נעצרת או שאתם רוצים להשהות אותה, תוכלו להמשיך מנקודת השמירה האחרונה. זה שימושי במיוחד במשימות אימון ארוכות של מודל pytorch. אינכם מאבדים את ההתקדמות אם צריך להפעיל מחדש. אפשר גם להשתמש בנקודות שמירה כדי לבדוק אסטרטגיות למידה שונות או להמשיך את ניסוי למידת המכונה מנקודה מסוימת.

הערה: מומלץ תמיד להגדיר נקודות שמירה כשמאמנים מודלים על מערכי נתונים גדולים. פרקטיקה זו חוסכת זמן ומגנה על העבודה שלכם.

כעת יש בידיכם הכלים לאמן, לבדוק ולנטר מודלים של למידת מכונה במחברות Microsoft Fabric. תוכלו להריץ ניסויים, לכוונן היפרפרמטרים ולבנות פתרונות מודל pytorch חזקים לכל אתגר במדעי הנתונים.

זרימת העבודה לאימון מודלי AI

אפשר לממש את מלוא הכוח של אימון מודלי AI באמצעות שליטה בזרימת העבודה במחברות Microsoft Fabric. הסעיף הזה מדריך אתכם בהערכה מבוזרת, בכוונון מודלים ובשימוש בפונקציות AI מובנות. תראו כיצד Spark, ניטור בזמן אמת ותכונות Copilot עוזרים לכם לבנות מודלים טובים יותר ומהר יותר.

הערכה מבוזרת

הערכת ביצועים

אפשר להעריך את ביצועי המודל על מערכי נתונים גדולים באמצעות המחשוב המבוזר של Spark. Spark מחלק את נתוני הבדיקה לחלקים קטנים יותר ומעבד אותם במקביל. המשמעות היא שאינכם צריכים לחכות שעות לתוצאות. אפשר לבדוק מדדים כמו דיוק (accuracy), precision ו-recall ישירות בתוך המחברת. גישה זו מתאימה היטב ללמידה עמוקה עם pytorch, כשצריך לבדוק מודלים על מיליוני רשומות. ניטור בזמן אמת ב-Fabric מאפשר לעקוב אחר צריכת המשאבים והתקדמות המשימה בזמן ההערכה.

השוואת מודלים

אפשר להשוות מודלים שונים זה לצד זה במחברות. לדוגמה, אפשר לאמן מודל pytorch ומודל scikit-learn על אותו מערך נתונים. אפשר לתעד את התוצאות של כל מודל ולהציג אותן בתרשימים מובנים. זה עוזר לבחור את המודל הטוב ביותר לפרויקט אימון מודלי AI שלכם. אפשר גם להשתמש במעקב אחר ניסויים כדי לשמור את התוצאות ולשתף אותן עם הצוות. כך קל לחזור על ניסויים מוצלחים ולשפר את תהליך העבודה.

כוונון מודלים

חיפוש היפר-פרמטרים

אפשר לשפר את דיוק המודל באמצעות כוונון היפר-פרמטרים. מחברות Microsoft Fabric תומכות בכלים מתקדמים כמו Optuna למשימה זו. להלן תהליך עבודה פשוט שאפשר לפעול לפיו:

1. יצירת מחקר (study) עם Optuna לאחסון תוצאות הניסויים:

   study = optuna.create_study(direction="maximize")

2. אופטימיזציה של המחקר על פני מספר קבוע של ניסויים:

   study.optimize(objective, n_trials=60, show_progress_bar=True)

3. הדפסת תוצאות הניסויים:

   print("Number of finished trials:", len(study.trials))

אפשר גם להציג את החיפוש באמצעות גרפים. השתמשו ב-plot_optimization_history(study).show() כדי לראות כיצד המודל משתפר לאורך זמן. נסו את plot_param_importances(study).show() כדי לגלות אילו הגדרות משפיעות הכי הרבה. השתמשו ב-plot_parallel_coordinate(study).show() כדי לחקור כיצד הפרמטרים השונים משפיעים זה על זה. אל תעתיקו את הקוד בלבד – התאימו והתנסו בהיפר-פרמטרים שונים כדי להשיג את התוצאות הטובות ביותר עבור מודלי pytorch או מודלים אחרים.

הימנעות מהתאמת יתר (Overfitting)

אתם רוצים שאימון מודלי ה-AI שלכם ייצור מודלים שעובדים היטב על נתונים חדשים, ולא רק על קבוצת האימון. התאמת יתר מתרחשת כאשר מודל לומד את נתוני האימון טוב מדי ונכשל על דוגמאות חדשות. אפשר למנוע זאת באמצעות אימות צולב (cross-validation) וטכניקות של stacking.

Stacking משתמש בדרך כלל באימות צולב כדי ליצור תחזיות עבור מטה-המודל, וכך מבטיח שלא ידלוף מידע מנתוני האימון לנתוני הבדיקה. זה מוסיף מורכבות, אך גם מספק עמידות רבה יותר.

אפשר גם להשתמש בעצירה מוקדמת (early stopping) ב-pytorch, ברגולריזציה ובשכבות dropout כדי להפוך את המודלים לעמידים יותר. בדקו תמיד את ציוני האימות, והתאימו את תהליך האימון אם יש סימנים להתאמת יתר.

פונקציות AI מובנות

סיווג טקסט

אפשר לחסוך זמן במשימות נפוצות באמצעות פונקציות AI מובנות במחברות Microsoft Fabric. לסיווג טקסט אפשר להשתמש בפונקציה Classify כדי למיין אימיילים, פניות תמיכה או מסמכים לקטגוריות. זה עובד היטב במקרים עסקיים כמו ניתוב בקשות דחופות או תיוג משוב לקוחות. אפשר גם לבנות מודלים מותאמים אישית של pytorch למשימות סיווג מתקדמות יותר.

ניתוח סנטימנט

ניתוח סנטימנט עוזר להבין את הטון של טקסט, כמו ביקורות לקוחות או פוסטים ברשתות חברתיות. אפשר להשתמש בפונקציה Sentiment Analysis כדי לסמן תגובות שליליות ולהגיב להן במהירות. התכונה הזו זמינה מיד במחברות, כך שאין צורך לכתוב קוד מורכב. אפשר גם לשלב פונקציות מובנות עם מודלי pytorch משלכם לתוצאות טובות עוד יותר.

להלן טבלה של פונקציות AI מובנות שאפשר להשתמש בהן בתהליך אימון מודלי ה-AI שלכם:

אפשר להשתמש ב-Copilot כדי ליצור קוד, להציע שיפורים ולבצע אוטומציה של שלבים חוזרים. זה הופך את תהליך אימון מודלי ה-AI שלכם למהיר ויעיל יותר. אתם יכולים להתמקד בבניית מודלי pytorch ובכוונונם, בעוד Copilot מטפל בעבודה השגרתית.

באמצעות תהליך העבודה הזה במחברות Microsoft Fabric, אפשר להרחיב את אימון מודלי ה-AI, לכוונן מודלים של pytorch בצורה יעילה, ולהשתמש בפונקציות AI מובנות כדי לפתור בעיות מהעולם האמיתי.

ניהול מודלים ופריסה

שמירת מודלים

ייצוא וניהול גרסאות

צריך דרך אמינה לשמור ולעקוב אחר מודלים של pytorch ב-fabric. התחילו בשימוש ב-mlflow כדי לתעד כל הרצת אימון. mlflow שומר את הפרמטרים, המדדים וה-artifacts שלכם. זה עוזר לכם למצוא את הגרסה הטובה ביותר של מודל pytorch כשתזדקקו לה. כדאי להפעיל autologging בתחילת ניסויי המעקב. כך תתעדו את כל הפרטים החשובים מההרצה הראשונה. אי אפשר להוסיף לוגים בדיעבד, לכן כדאי להתחיל מוקדם.

אפשר להשתמש ב-time travel של Delta Lake כדי לנעול את הגרסה המדויקת של נתוני האימון. כך תמיד תוכלו לשחזר את התוצאות. רשמו כל מודל pytorch ב-mlflow model registry. כללו את הגרסה, ה-hash של נתוני האימון, מדדי הביצועים והבעלים. זה יוצר מסלול ביקורת ברור לניהול המודלים. לפני שמעבירים מודל לייצור, הגדירו תהליך בדיקה אנושי. השתמשו באישורי pull request ב-Azure DevOps המקושרים לצינורות הפריסה של fabric. שלב זה שומר על תהליך העבודה שלכם בטוח ותואם לדרישות.

טיפ: שמרו תמיד את מודלי pytorch הטובים ביותר רשומים ב-mlflow. אפשר לחזור לגרסה קודמת אם תמצאו בעיה.

שיתוף מחברות

יכולות שיתוף פעולה

אפשר לעבוד עם הצוות בקלות במחברות. הפלטפורמה מתחברת ישירות ל-Lakehouse שלכם, כך שכולם משתמשים באותם נתונים. מחברות משלבות קוד, הערות ופלטים במקום אחד. זה מקל על שיתוף רעיונות ותוצאות. חברי הצוות יכולים להשתמש בשפות התכנות המועדפות עליהם, כמו Python או R, על אותו דאטהסט. הגמישות הזו עוזרת לכולם לתרום לניהול המודלים ולמעקב אחר הניסויים.

פריסת מודלים

אינטגרציה עם צינורות Fabric

אפשר לפרוס את מודלי pytorch שלכם באמצעות צינורות הפריסה של fabric. הצינורות האלה עוזרים לנהל מודלים בין סביבות פיתוח, בדיקות וייצור. אתם שומרים על שליטה ועקביות בכל שלב. תהליך העבודה החזותי ב-Microsoft Fabric Deployment Pipelines מראה לכם איפה נמצא מודל pytorch ואילו שלבים מגיעים אחריו. אפשר לקדם מודלי pytorch דרך סביבות מבוקרות. התהליך הזה מבטיח שהצוות שלכם פועל לפי שיטות העבודה המומלצות לניהול מודלים.

• שילוב עם Azure OpenAI services באמצעות SynapseML.
• שימוש ב-Python SDK לפריסה.
• גישה למודלי pytorch שלכם דרך REST APIs.
• שימושים נפוצים כוללים סיכום טקסט וניתוח סנטימנט.

הסקה בזמן אמת

אפשר להגיש מודלי pytorch שלכם להסקה בזמן אמת. כלומר, אפשר לבצע חיזויים על נתונים חדשים ברגע שהם מגיעים. לדוגמה, אפשר להשתמש במודל pytorch שפרסתם כדי לסווג פניות תמיכה או לנתח משוב של לקוחות מיידית. mlflow עוקב אחר כל פריסה, כך שתדעו איזו גרסה של מודל pytorch פועלת. אפשר לעדכן או לחזור לגרסה קודמת של הפריסות במהירות במידת הצורך.

הערה: הסקה בזמן אמת עוזרת להיענות לצרכים העסקיים ללא עיכוב. השתמשו ב-mlflow כדי לנטר ולנהל את מודלי pytorch שלכם בייצור.

על ידי ביצוע השלבים האלה, תוכלו לנהל שמירה, שיתוף ופריסה של מודלי pytorch ב-fabric. תשמרו על תהליך עבודה מסודר ותוצאות הניתנות לשחזור. mlflow והמחברות נותנים לכם את הכלים הנדרשים למעקב אחר ניסויים וניהול מודלים בקנה מידה גדול.

שיטות עבודה מומלצות במחברות Fabric

יכולת שחזור

תיעוד תהליך העבודה

כדאי תמיד לתעד את תהליך העבודה כדי שפרויקטי ה-AI שלכם יהיו קלים לחזרה ולהבנה. תיעוד טוב עוזר לכם ולצוות לעקוב אחר כל שלב בתהליך אימון המודל. התחילו בתיאור ההקשר העסקי של כל ניסוי. רשמו את המודלים שלכם עם הסברים ברורים על מה שהם מנבאים, איך להשתמש בהם ומה המגבלות הידועות. השתמשו בתאי markdown במחברות כדי להסביר את ההיגיון וההחלטות שלכם. הרגל הזה מקל על שיתוף העבודה ובדיקתה.

• השתמשו ב-time travel של Delta Lake כדי לנעול את הגרסה המדויקת של נתוני האימון בכל ניסוי.
• הפרידו בין הנדסת מאפיינים לאימון על ידי יצירת טבלאות מאפיינים לשימוש חוזר.
• הפעילו autologging בתחילת הניסויים כדי ללכוד את כל הפרמטרים והתוצאות.
• בצעו שלב ביניים (staging) למודלים לפני הייצור. אמתו אותם מול נתוני holdout והשוו אותם למודלים הנוכחיים.
• בצעו בדיקות סדירות לזיהוי סחף מודל (model drift) על ידי השוואת התחזיות לתוצאות בפועל.

טיפ: תעדו כל ניסוי תוך כדי עבודה. כך תחסכו זמן ותימנעו מבלבול בהמשך.

ניהול סביבת העבודה

ניהול סביבת העבודה מבטיח שהתוצאות שלכם יישארו עקביות בין הרצות שונות. מומלץ לתעד את הגרסאות של כל הספריות והתלויות שבשימוש. נוהג זה מונע הפתעות כשאתם או חברי הצוות מריצים מחדש את המחברות (notebooks). השתמשו בקבצי סביבה או ברשימות חבילות כדי לעקוב אחרי ההגדרות. כשאתם משתפים את העבודה, כללו את הפרטים הללו, כדי שאחרים יוכלו לשחזר את התוצאות ללא בעיות.

שיתוף פעולה

שיתוף בצוות

עבודה בצוות ב-Fabric היא פשוטה ויעילה. אפשר לשתף מחברות עם עמיתים ולהגדיר הרשאות לכל משתמש. בקרה זו מאפשרת להחליט מי יכול לצפות בעבודה ומי יכול לערוך אותה. חברי הצוות יכולים להוסיף הערות ברמת התא כדי לדון בקוד, לשאול שאלות או להציע שינויים. התכונות הללו עוזרות לכולם להיות על אותו עמוד ולקדם את הפרויקטים יחד.

• שתפו מחברות ישירות עם הצוות.
• הגדירו הרשאות משתמש כדי לשלוט בגישה.
• השתמשו בהערות ברמת התא למשוב ולדיון.

בדיקת קוד

בדיקת קוד חשובה לאיכות וללמידה. למחברות יש היסטוריית גרסאות, כך שאפשר לראות מה השתנה ומתי. אם צריך, אפשר לחזור לגרסה קודמת. שילוב עם Git מאפשר להשתמש בבקרת מקור למעקב מדויק עוד יותר. הכלים הללו מקלים על בדיקת הקוד, על איתור שגיאות ועל שמירה על בטיחות הפרויקט.

• בדקו את היסטוריית הגרסאות כדי לעקוב אחרי שינויים.
• חזרו לגרסאות קודמות במידת הצורך.
• השתמשו בשילוב Git לבקרת מקור מתקדמת.

אופטימיזציה של ביצועים

ניהול משאבים

אפשר לשפר ביצועים על ידי ניהול חכם של המשאבים. התאימו את קיבולת המחשוב לעומס העבודה. הגדילו את הקיבולת בזמני שיא והשהו משאבים כשאינם בשימוש. קיבולת שמורה ועומסי עבודה ספוט (spot) יכולים לעזור לחסוך בעלויות. הגדירו תקציבים והתראות כדי למנוע חריגה מההוצאות. נטרו שיאי עומס כדי לזהות צווארי בקבוק בשלב מוקדם.

טיפול יעיל בנתונים

טיפול יעיל בנתונים מאיץ את פרויקטי ה-AI שלכם. עבדו על הנתונים במקומם כדי למזער העברה ולחסוך זמן. נקו את האחסון כדי לשפר ביצועים. השתמשו בטבלאות תכונות (feature tables) לשימוש חוזר כדי להימנע מחזרה על עבודה. כוונון היפר-פרמטרים במקביל מאפשר לבדוק הגדרות רבות בו-זמנית, וכך הניסויים מתקדמים מהר יותר. עקבו תמיד אחרי הניסויים כדי לשמור על סדר בתוצאות.

הערה: טיפול יעיל בנתונים וניהול חכם של משאבים עוזרים להפיק את המירב מפרויקטי ה-AI שלכם.

פתרון בעיות

כשעובדים עם מחברות Microsoft Fabric, עלולים להיתקל באתגרים שמאטים את ההתקדמות. ידיעה כיצד לפתור בעיות נפוצות עוזרת לשמור על קצב העבודה בפרויקטים. סעיף זה מציג צעדים מעשיים לאיתור תקלות ולקבלת עזרה כשצריך.

איתור תקלות (debugging)

אפשר לפתור בעיות רבות על ידי תהליך ברור. התחילו בבדיקת Monitoring Hub בפורטל Microsoft Fabric. כלי זה מציג אם צינורות עבודה נכשלו או אם יש שגיאות בסביבת העבודה (workspace). אם מזהים בעיה, בדקו את הפרטים, כגון שם סביבת העבודה, ה-activator ומקור ה-eventstream. פרטים אלה עוזרים לאתר במהירות את שורש הבעיה.

השתמשו בצעדים הבאים כדי לאתר תקלות בצינורות הנתונים ובמחברות:

1. בדקו ב-Monitoring Hub אם יש עבודות שנכשלו או שגיאות.
2. אמתו את כל החיבורים וההרשאות, במיוחד ל-Azure SQL או לשירותים מקושרים אחרים.
3. השתמשו במצב דיבוג כדי לעבור שלב אחר שלב על צינורות הנתונים ולזהות איפה הם נתקעים.
4. בדקו את הגדרות התזמון וההפעלה כדי לוודא שהעבודות רצות כמתוכנן.
5. נטרו את השימוש במשאבים כדי לבדוק אם הביצועים האיטיים נובעים מקיבולת מוגבלת.
6. בקרו בעמוד הסטטוס של Microsoft Fabric כדי לבדוק הפסקות שירות או עדכונים.
7. ייצאו וייבאו צינורות באמצעות האפשרות 'Save As' אם צריך לשכפל או לאפס אותם.
8. תעדו מזהי כללים, תנאים, חותמות זמן ואובייקטים מושפעים כדי לעקוב אחרי מה שאירע.

טיפ: בזמן הרצה ואיתור תקלות במחברות, שמרו תמיד יומן של שינויים ופעולות. הרגל זה מקל על מעקב אחר בעיות ושיתוף הממצאים עם הצוות.

משאבי תמיכה

אם אינכם מצליחים לפתור בעיה בכוחות עצמכם, יש לכם כמה אפשרויות תמיכה. מיקרוסופט מספקת קהילה חזקה וערוצי עזרה רשמיים. אפשר להשתמש במשאבים האלה כדי לקבל תשובות וללמוד מאחרים.

• מסמכי Microsoft Docs מציעים מדריכים צעד אחר צעד ומאמרים לפתרון תקלות.
• פורומי הקהילה מאפשרים לשאול שאלות ולקבל עצות גם מעמיתים וגם מצוות של מיקרוסופט.
• קריאות תמיכה מחברות אתכם למומחי מיקרוסופט לטיפול בבעיות מורכבות יותר.
• ה-Monitoring Hub ודפי הסטטוס מעדכנים אתכם על תקלות או השבתות שמתרחשות כרגע.

כשאתם מבקשים עזרה, כללו פרטים חשובים כמו שם סביבת העבודה שלכם, מקור ה-eventstream, מזהי הכללים והשעה שבה התרחשה הבעיה. המידע הזה עוזר לצוותי התמיכה להגיב מהר יותר ובצורה מדויקת יותר.

שימו לב: היעזרות בקהילה מביאה לעיתים קרובות לפתרונות מהירים. משתמשים רבים משתפים טיפים ושיטות עבודה מומלצות שיכולים לעזור לכם להימנע מבעיות דומות בעתיד.

על ידי ביצוע שלבי פתרון התקלות האלה והשימוש במשאבי התמיכה הזמינים, תוכלו לפתור רוב הבעיות ב-Fabric Notebooks ולהמשיך להתקדם בפרויקטים שלכם.

אפשר להאיץ את אימון מודלי ה-AI באמצעות Microsoft Fabric Notebooks. הממשק המוכר, הדומה ל-Power BI, הופך את תהליך העבודה לאינטואיטיבי ויעיל. אתם עובדים בסביבה מאוחדת שמשלבת הנדסת נתונים, אנליטיקה ותמיכה בבינה מלאכותית, ולכן אינכם צריכים לעבור בין כלים שונים. האינטגרציה הזו מייעלת כל שלב, מהכנת הנתונים ועד ההטמעה.

כדאי לעיין במשאבים הבאים כדי להעמיק את הכישורים שלכם:

• Microsoft Learn לתרגול מעשי
• תוכניות הסמכה לאימות המומחיות שלכם
• Data Wrangler לניקוי נתונים בקלות
• MLflow למעקב אחר ניסויים
• Lakehouse לאחסון נתונים מאוחד

התחילו את המסע היום ופתחו את מלוא העוצמה של פיתוח מודלי AI ניתנים להרחבה ויעילים. כדי לשמוע עוד על הטכניקות האלה ועל דיונים של מומחים, הקפידו לצפות בפרק הפודקאסט הקשור: Train AI Models with Microsoft Fabric Notebooks.