تعزيز تدريب الذكاء الاصطناعي باستخدام Microsoft Fabric Notebooks

By Mirko Peters · 2026-08-28

تتطلب مشاريع الذكاء الاصطناعي وتعلّم الآلة قدرًا هائلًا من القدرة الحاسوبية، وتكاملًا سلسًا للبيانات، وسير عمل فعّالًا للمعالجة. …

Automatically translated with AI from the original post. Read the English original

تتطلب مشاريع الذكاء الاصطناعي وتعلّم الآلة قدرًا هائلًا من القدرة الحاسوبية، وتكاملًا سلسًا للبيانات، وسير عمل فعّالًا للمعالجة. وقد عانى علماء البيانات تاريخيًا من عبء نقل مجموعات البيانات الضخمة بين بيئات متباينة، وإدارة مجموعات أدوات متفرقة، والتعامل مع تأخير كبير أثناء جلسات التدريب. واليوم، لدينا حل موحّد يسدّ الفجوة بين هندسة البيانات الضخمة وتطوير تعلّم الآلة بمرونة. فباستخدام Microsoft Fabric Notebooks، يمكن للفرق تبسيط خط العمل التشغيلي بالكامل، من استيعاب البيانات الخام وصولًا إلى نشر النموذج.

في منشور المدونة هذا، سنتوسع في المفاهيم الأساسية التي تناولتها حلقة البودكاست لدينا، Train AI Models with Microsoft Fabric Notebooks. وسنتعمق في إعداد بيئتك، وتجهيز مجموعات البيانات بكفاءة، وتشغيل مهام التدريب، وإدارة النماذج، واعتماد أفضل الممارسات التي تعزز سير عمل الذكاء الاصطناعي لديك.

إعداد Fabric Notebooks

يمنحك إعداد مساحة العمل في Fabric Notebooks أساسًا متينًا لتدريب نماذج الذكاء الاصطناعي. يقدّم هذا القسم نظرة عامة على Fabric Notebooks ويرشدك خطوة بخطوة، من إنشاء الحساب وحتى تشغيل أول دفتر ملاحظات. وستلاحظ مدى سهولة الاتصال ببياناتك والاستفادة من Spark في التحليلات القوية.

الوصول إلى Microsoft Fabric

إنشاء حساب

للبدء، تحتاج إلى الوصول إلى Fabric. يمكنك إنشاء حساب Fabric مجاني يتيح لك تسجيل الدخول إلى تطبيق Fabric. وإذا كنت تستخدم Microsoft Power BI بالفعل، فيمكنك استخدام حساب Power BI الحالي. تضمن هذه العملية البسيطة أن تتمكن من البدء في العمل على دفاتر الملاحظات فورًا.

نصيحة: لم يُبلِّغ المستخدمون عن مشكلات وصول كبيرة، لذا يمكنك توقّع تجربة تسجيل دخول سلسة.

التنقل في مساحة العمل

بعد تسجيل الدخول، ستظهر لك مساحة عمل Fabric. هنا يمكنك تنظيم مشاريعك، وإدارة الموارد، والوصول إلى lakehouse الخاص بك. تساعدك لوحة معلومات مساحة العمل على العثور على دفاتر الملاحظات ومجموعات البيانات والأصول الأخرى بسرعة. كما يمكنك التحقق من سعة مساحة العمل وإعداداتها للتأكد من استيفاء متطلبات مشاريع الذكاء الاصطناعي.

تشغيل دفتر ملاحظات

اختيار النواة

بعد إعداد مساحة العمل، يمكنك البدء بإنشاء دفتر ملاحظات جديد. عند تشغيل دفتر الملاحظات تختار نواة (Kernel)، والنواة تتحكم في لغة البرمجة والبيئة. تدعم Fabric Notebooks لغة Python ولغات أخرى، مما يجعلها مرنة لمهام الذكاء الاصطناعي المختلفة.

إعداد المكتبات

قبل البدء بالتحليل، قد تحتاج إلى تثبيت المكتبات أو استيرادها. تجعل Fabric Notebooks هذه العملية بسيطة. يمكنك إضافة مكتبات علوم البيانات أو تعلّم الآلة أو التصور مباشرة في دفتر الملاحظات. يتيح لك هذا الإعداد استخدام Spark لمعالجة مجموعات البيانات الضخمة والاتصال بسلاسة بالـ lakehouse الخاص بك.

عند إنشاء دفتر ملاحظات جديد، تتجنب عناء نقل البيانات بين الأدوات. يمكنك معالجة بياناتك وتحليلها وتصورها كلها في مكان واحد. يوفر هذا التكامل الوقت ويقلل الأخطاء. وإذا كنت جديدًا على Fabric، فقد تلاحظ منحنى تعلّم، لكن مساحة العمل الموحدة والوصول المباشر إلى البيانات يجعلان العملية أسهل بكثير.

ملاحظة: إذا كنت تعمل على مشاريع أو فرق كبيرة، فإن Fabric Notebooks تساعدك على تجنب سير العمل المتفرق. يمكنك إبقاء كل شيء منظمًا وفعّالًا منذ البداية.

إعداد البيانات في Fabric Notebooks

يمهّد إعداد مجموعة بياناتك في دفاتر Fabric الطريق لتدريب نموذج ذكاء اصطناعي ناجح. يمكنك تبسيط كل خطوة، من استيعاب البيانات إلى تصورها، باستخدام الأدوات المدمجة والميزات المدعومة بـ Spark.

استيراد البيانات

الاتصال بـ Lakehouse

تبدأ بربط دفترك بـ Lakehouse. يمنحك هذا الاتصال وصولاً مباشراً إلى مجموعات بياناتك، فلا حاجة إلى نقل الملفات بين الأنظمة. يمكنك العمل على البيانات حيث توجد، مما يوفّر الوقت ويقلل الأخطاء. يخزّن Lakehouse مجموعة بياناتك في جداول Delta، ما يجعل تحميل المعلومات وتحديثها بسهولة عند الحاجة.

تحميل البيانات باستخدام Spark

بعد الاتصال، تستخدم Spark لاستيعاب البيانات. يتيح لك Spark تحميل مجموعات البيانات الكبيرة بسرعة وكفاءة. يمكنك قراءة البيانات من مصادر متعددة، including ملفات CSV وملفات Parquet أو الجداول الموجودة في Lakehouse. يتولى Spark المهام الثقيلة، فيمكنك التركيز على العمل مع البيانات بدلاً من القلق بشأن حدود الذاكرة.

نصيحة: استخدم DataFrames في Spark لمعالجة مجموعة بياناتك على نطاق واسع. يساعدك هذا الأسلوب على إدارة أضخم مجموعات البيانات دون إبطاء سير عملك.

تنظيف البيانات

معالجة القيم المفقودة

يُعد تنظيف مجموعة بياناتك خطوة أساسية قبل تدريب أي نموذج. يمكنك تشغيل Data Wrangler من دفتر Fabric لاستكشاف مجموعة بياناتك والكشف عن القيم المفقودة. يوفّر Data Wrangler توليداً تلقائياً للشيفرة لمهام التنظيف الشائعة، مثل ملء القيم المفقودة أو حذف الصفوف غير المكتملة. يمكنك تصدير خطوات التنظيف هذه كدوال قابلة لإعادة الاستخدام في pandas أو PySpark، مما يجعل سير عملك أكثر كفاءة.

هندسة الميزات

تساعدك هندسة الميزات على إنشاء متغيرات جديدة من مجموعة بياناتك الحالية. يمكنك استخدام الأدوات المبنية على Python في دفاتر Fabric لتحويل بياناتك وبناء ميزات تحسّن دقة النموذج. يجعل Spark تطبيق هذه التحويلات على مجموعة بياناتك بأكملها أمراً سهلاً، حتى لو كان لديك ملايين الصفوف.

أفضل الممارسات:

1. استخدم أدوات Spark وPython لتنظيف مجموعة بياناتك وتحويلها.
2. أنشئ تجارب لاختبار مجموعات ميزات مختلفة.
3. تتبّع عمليات التشغيل والنتائج باستخدام MLflow في واجهة Fabric.

استكشاف البيانات

الإحصاءات الوصفية

يساعدك استكشاف مجموعة بياناتك على فهم بنيتها وجودتها. يمكنك توليد إحصاءات وصفية، مثل المتوسط والوسيط والانحراف المعياري، مباشرةً في دفترك. تمنحك هذه الإحصاءات نظرة سريعة على مجموعة بياناتك وتبرز أي مشكلات تحتاج إلى معالجة.

التصورات المرئية

يُضفي تصور البيانات حياةً على مجموعة بياناتك. تدعم دفاتر Fabric دوال التصور المدمجة وتتكامل مع مكتبات مثل Matplotlib وBokeh. يمكنك تحويل النتائج الجدولية إلى مخططات دون كتابة شيفرة إضافية. تتيح لك دالة display التفاعل مع بياناتك واكتشاف الاتجاهات أو القيم الشاذة بسهولة.

ملاحظة: يساعدك تصور البيانات التفاعلي على اتخاذ قرارات أفضل عند إعداد مجموعة بياناتك لتدريب نموذج الذكاء الاصطناعي.

تدريب النماذج في Fabric

كتابة شيفرة التدريب

استخدام Python أو R

يمكنك كتابة شيفرة تدريب نموذجك بعدة لغات داخل دفاتر Microsoft Fabric. تدعم المنصة:

• PySpark (Python)
• Spark (Scala)
• Spark SQL
• SparkR (R)

يختار معظم المستخدمين Python لمرونته ونظامه البيئي الغني. يمكنك أيضاً استخدام R إذا كنت تفضّل أدواته الإحصائية. يتيح لك PySpark توسيع مهام التعلم لتشمل عقداً كثيرة، وهذا مهم لمجموعات البيانات الكبيرة. يعمل Python بشكل جيد في التعلم العميق وتطوير نماذج PyTorch. إذا أردت استخدام PyTorch، يمكنك تثبيت المكتبة والبدء في بناء نموذج PyTorch على الفور. يمكنك أيضاً استخدام SparkR للتعلم الإحصائي أو Spark SQL للاستعلامات السريعة عن البيانات.

تنظيم خلايا الشيفرة

ينبغي أن تنظّم شيفرتك في خلايا واضحة ومنطقية. ابدأ بتحميل البيانات وتنظيفها. أضف خلايا لهندسة الميزات والتحليل الاستكشافي. ضع شيفرة تدريب النموذج في خلية مستقلة. تساعدك هذه البنية على تصحيح الأخطاء وإعادة تشغيل أجزاء من تجربة تعلم الآلة دون تكرار الخطوات السابقة. يمكنك أيضاً إضافة خلايا Markdown لشرح منطقك وتوثيق تجاربك. يجعل هذا الأسلوب دفاترك سهلة القراءة والمشاركة مع الآخرين.

اختيار الخوارزمية

اختيار النماذج

يجب اختيار الخوارزمية المناسبة لمهمتك. يعمل الانحدار اللوجستي بشكل جيد على مشكلات التصنيف الثنائي. يمكنك أيضًا استخدام مكتبات مثل scikit-learn وPySpark ML وTensorFlow وpytorch للحصول على نماذج أكثر تقدمًا. وإذا أردت بناء نموذج pytorch، يمكنك الاستفادة من دعم GPU في Fabric لتسريع عملية التعلم. يُعد PyTorch شائعًا في التعلم العميق والتعرف على الصور ومعالجة اللغة الطبيعية. كما يمكنك استخدام pytorch في التعلم بالنقل وضبط النماذج المدربة مسبقًا.

عند اختيار الخوارزمية، فكّر في حجم بياناتك ونوع المشكلة والموارد المتاحة لديك. أنشأت Microsoft Research مكتبة FLAML، وهي تساعدك على تدريب النماذج بكفاءة. فهي تستهلك موارد حوسبة أقل وتعمل بشكل جيد مع المهام المتوازية، مما يجعلها خيارًا مناسبًا لتجارب تعلم الآلة واسعة النطاق.

ضبط المعلمات الفائقة

تتحكم المعلمات الفائقة في طريقة تعلم نماذجك. يمكنك استخدام flaml.tune للبحث عن أفضل الإعدادات. تتيح لك Fabric تشغيل محاولات ضبط كثيرة في وقت واحد بفضل المعالجة المتوازية في Spark. وهذا يعني أنك تستطيع اختبار معدلات التعلم وأحجام الدفعات أو عدد الطبقات لنموذج pytorch الخاص بك بسرعة. يمكنك تتبع كل محاولة ضمن تجربة تعلم الآلة باستخدام تتبع التجارب. وتساعدك أدوات التصور على مقارنة النتائج واختيار أفضل تهيئة. ويمكنك معرفة الإعدادات الأنسب لنموذجك أثناء اختبار النموذج وتدريبه.

نصيحة: استخدم تتبع التجارب لتسجيل كل محاولة والمقاييس والمعلمات. يساعدك ذلك على تكرار التجارب الناجحة وتجنب الأخطاء.

تشغيل مهام التدريب

مراقبة التقدم

يمكنك مراقبة مهام التدريب في الوقت الفعلي. تُظهر لك دفاتر Fabric أداء كل خطوة. يسرّع وضع High Concurrency مهامك بنحو 30%. تحصل على سجلات تفصيلية لكل خطوة في الدفتر. يوفر تكامل MLflow التسجيل التلقائي، فلا تحتاج إلى تسجيل المقاييس يدويًا. يمكنك تحديد جلسات التدريب واختيار المعلمات والمقاييس التي تريد تسجيلها. وهذا يسهّل تتبع تقدم التعلم ومقارنة التجارب المختلفة.

يتضح أن PySpark Notebooks تتعامل مع مجموعات البيانات الكبيرة بشكل أفضل. وهذا مهم عند تدريب نموذج pytorch أو نماذج التعلم العميق الأخرى على بيانات ضخمة.

نقاط التحقق

تتيح لك نقاط التحقق حفظ حالة النموذج أثناء التدريب. إذا توقفت المهمة أو أردت إيقافها مؤقتًا، يمكنك استئنافها من آخر نقطة تحقق. ويفيد ذلك في مهام تدريب pytorch model الطويلة. فلن تفقد تقدمك إذا احتجت إلى إعادة التشغيل. ويمكنك أيضًا استخدام نقاط التحقق لاختبار استراتيجيات تعلم مختلفة أو متابعة تجربة تعلم الآلة من نقطة محددة.

ملاحظة: احرص دائمًا على تعيين نقاط التحقق عند تدريب النماذج على مجموعات بيانات كبيرة. فهذه الممارسة توفّر الوقت وتحمي عملك.

أصبحت الآن تمتلك الأدوات اللازمة لتدريب النماذج الخاصة بتعلم الآلة واختبارها ومراقبتها في Microsoft Fabric Notebooks. يمكنك تشغيل التجارب وضبط المعلمات الفائقة وبناء حلول قوية باستخدام نموذج pytorch لأي تحدٍ في علم البيانات.

سير عمل تدريب نماذج الذكاء الاصطناعي

يمكنك إطلاق القدرات الكاملة لتدريب نماذج الذكاء الاصطناعي بإتقان سير العمل في Microsoft Fabric Notebooks. يتناول هذا القسم التقييم الموزع وضبط النماذج واستخدام وظائف الذكاء الاصطناعي المدمجة. ستتعرف على كيفية مساعدة Spark والمراقبة في الوقت الفعلي وميزات Copilot لك في بناء نماذج أفضل وبشكل أسرع.

التقييم الموزع

تقييم الأداء

يمكنك تقييم أداء نموذجك عبر مجموعات بيانات كبيرة باستخدام الحوسبة الموزعة في Spark. يقسّم Spark بيانات الاختبار إلى أجزاء أصغر ويعالجها بالتوازي. وهذا يعني أنك لا تنتظر ساعات للحصول على النتائج. يمكنك التحقق من مقاييس مثل الدقة والضبط والاستدعاء مباشرة داخل الدفتر. ويناسب هذا النهج التعلم العميق باستخدام pytorch، حيث تحتاج إلى اختبار النماذج على ملايين السجلات. وتتيح المراقبة في الوقت الفعلي في Fabric متابعة استخدام الموارد وتقدم المهمة أثناء تشغيل التقييم.

مقارنة النماذج

يمكنك مقارنة النماذج المختلفة جنبًا إلى جنب داخل Notebooks. على سبيل المثال، يمكنك تدريب نموذج pytorch ونموذج scikit-learn على مجموعة البيانات نفسها. يمكنك تسجيل نتائج كل نموذج وعرضها باستخدام المخططات المدمجة. يساعدك هذا على اختيار أفضل نموذج لمشروع تدريب نماذج الذكاء الاصطناعي الخاص بك. يمكنك أيضًا استخدام تتبع التجارب لحفظ نتائجك ومشاركتها مع فريقك. يجعل هذا تكرار التجارب الناجحة وتحسين سير عملك أمرًا سهلًا.

ضبط النماذج

البحث عن المعلمات الفائقة

يمكنك رفع دقة نموذجك من خلال ضبط المعلمات الفائقة (Hyperparameters). توفر Microsoft Fabric Notebooks أدوات متقدمة مثل Optuna لهذه المهمة. إليك سير عمل بسيط يمكنك اتباعه:

1. أنشئ دراسة باستخدام Optuna لتخزين نتائج التجارب:

   study = optuna.create_study(direction="maximize")

2. حسّن الدراسة عبر عدد محدد من التجارب:

   study.optimize(objective, n_trials=60, show_progress_bar=True)

3. اطبع نتائج التجارب:

   print("Number of finished trials:", len(study.trials))

يمكنك أيضًا عرض عملية البحث باستخدام المخططات. استخدم plot_optimization_history(study).show() لمعرفة كيف يتحسن نموذجك مع مرور الوقت. جرّب plot_param_importances(study).show() لمعرفة أي الإعدادات لها أكبر تأثير. استخدم plot_parallel_coordinate(study).show() لاستكشاف كيفية تفاعل المعلمات المختلفة مع بعضها. لا تكتفِ بنسخ الكود، بل كيّفه وجرّب معلمات فائقة مختلفة للحصول على أفضل النتائج لنماذج pytorch أو غيرها من النماذج.

تجنب الإفراط في التخصيص (Overfitting)

تريد أن ينتج تدريب نماذج الذكاء الاصطناعي لديك نماذج تعمل بكفاءة على البيانات الجديدة، لا على مجموعة التدريب فقط. يحدث الإفراط في التخصيص عندما يتعلم النموذج بيانات التدريب أكثر من اللازم، فيفشل مع الأمثلة الجديدة. يمكنك الوقاية من ذلك باستخدام التحقق المتقاطع (Cross-validation) وتقنيات التكديس (Stacking).

يستخدم التكديس عادةً التحقق المتقاطع لإنشاء التنبؤات للنموذج الفوقي (Meta-model)، بما يضمن عدم تسرب أي معلومات من بيانات التدريب إلى بيانات الاختبار. يضيف هذا تعقيدًا، لكنه يوفر متانة أكبر.

يمكنك أيضًا استخدام الإيقاف المبكر (Early stopping) في pytorch، والتنظيم (Regularization)، وطبقات Dropout لجعل نماذجك أكثر متانة. تحقق دائمًا من درجات التحقق لديك، وعدّل عملية التدريب إذا لاحظت علامات الإفراط في التخصيص.

وظائف الذكاء الاصطناعي المدمجة

تصنيف النصوص

يمكنك توفير الوقت في المهام الشائعة باستخدام وظائف الذكاء الاصطناعي المدمجة في Microsoft Fabric Notebooks. لتصنيف النصوص، يمكنك استخدام الوظيفة Classify لفرز رسائل البريد الإلكتروني أو تذاكر الدعم أو المستندات إلى فئات. يناسب هذا حالات عملية مثل توجيه الطلبات العاجلة ووسم ملاحظات العملاء. يمكنك أيضًا بناء نماذج pytorch مخصصة لمهام تصنيف أكثر تقدمًا.

تحليل المشاعر

يساعدك تحليل المشاعر على فهم نبرة النص، مثل مراجعات العملاء أو منشورات وسائل التواصل الاجتماعي. يمكنك استخدام الوظيفة Sentiment Analysis للإبلاغ عن التعليقات السلبية والرد عليها بسرعة. تعمل هذه الميزة مباشرة داخل Notebooks، لذا لا تحتاج إلى كتابة كود معقد. يمكنك أيضًا دمج الوظائف المدمجة مع نماذج pytorch الخاصة بك للحصول على نتائج أفضل.

إليك جدولًا بوظائف الذكاء الاصطناعي المدمجة التي يمكنك استخدامها في سير عمل تدريب نماذج الذكاء الاصطناعي لديك:

يمكنك استخدام Copilot لتوليد الكود واقتراح التحسينات وأتمتة الخطوات المتكررة. يجعل هذا عملية تدريب نماذج الذكاء الاصطناعي لديك أسرع وأكثر إنتاجية. يمكنك التركيز على بناء نماذج pytorch وضبطها بينما يتولى Copilot العمل الروتيني.

باتباع سير العمل هذا في Microsoft Fabric Notebooks، يمكنك توسيع نطاق تدريب نماذج الذكاء الاصطناعي، وضبط نماذج pytorch بكفاءة، واستخدام وظائف الذكاء الاصطناعي المدمجة لحل مشكلات واقعية.

إدارة النماذج ونشرها

حفظ النماذج

التصدير والإصدارات

تحتاج إلى طريقة موثوقة لحفظ نماذج pytorch الخاصة بك وتتبعها في Fabric. ابدأ باستخدام mlflow لتسجيل كل عملية تدريب. يسجّل mlflow المعلمات والمقاييس والعناصر الناتجة. يساعدك هذا على العثور على أفضل إصدار من نموذج pytorch الخاص بك عندما تحتاج إليه. ينبغي لك تفعيل التسجيل التلقائي (autologging) في بداية تتبع التجارب. بهذه الطريقة تلتقط كل التفاصيل المهمة منذ التشغيل الأول. لا يمكنك إضافة السجلات لاحقًا، لذا ابدأ مبكرًا.

يمكنك استخدام ميزة السفر عبر الزمن في Delta Lake لتثبيت الإصدار الدقيق من بيانات التدريب. يضمن ذلك قدرتك دائمًا على إعادة إنتاج نتائجك. سجّل كل نموذج pytorch في سجل نماذج mlflow. أدرج الإصدار، وتجزئة (hash) بيانات التدريب، والمقاييس المتعلقة بالأداء، والمالك. يُنشئ ذلك مسارًا واضحًا للتدقيق لإدارة النماذج. قبل نقل أي نموذج إلى بيئة الإنتاج، أعدّ عملية مراجعة بشرية. استخدم موافقات طلبات السحب في Azure DevOps المرتبطة بخطوط نشر Fabric. تحافظ هذه الخطوة على أمان سير العمل وامتثاله.

نصيحة: احرص دائمًا على تسجيل أفضل نماذج pytorch في mlflow. يمكنك الرجوع إلى إصدار سابق إذا اكتشفت مشكلة.

مشاركة الدفاتر

ميزات التعاون

يمكنك العمل مع فريقك بسهولة داخل الدفاتر. تتصل المنصة مباشرةً بالبحيرة (Lakehouse) الخاصة بك، لذا يستخدم الجميع البيانات نفسها. تجمع الدفاتر بين الشيفرة والتعليقات والمخرجات في مكان واحد. وهذا يسهّل مشاركة الأفكار والنتائج. يمكن لأعضاء الفريق استخدام لغات البرمجة المفضلة لديهم، مثل Python أو R، على مجموعة البيانات نفسها. تساعد هذه المرونة الجميع على الإسهام في إدارة النماذج وتتبع التجارب.

نشر النماذج

التكامل مع خطوط Fabric

يمكنك نشر نماذج pytorch الخاصة بك باستخدام خطوط نشر fabric. تساعدك هذه الخطوط على إدارة النماذج عبر بيئات التطوير والاختبار والإنتاج. تحافظ على التحكم والاتساق في كل مرحلة. يتيح سير العمل المرئي في Microsoft Fabric Deployment Pipelines أن ترى مكان نموذج pytorch الخاص بك والخطوات التالية. يمكنك ترقية نماذج pytorch الخاصة بك عبر بيئات خاضعة للتحكم. تضمن هذه العملية أن يتبع فريقك أفضل الممارسات في إدارة النماذج.

• التكامل مع خدمات Azure OpenAI باستخدام SynapseML.
• استخدم Python SDK للنشر.
• الوصول إلى نماذج pytorch الخاصة بك عبر واجهات REST API.
• تشمل حالات الاستخدام الشائعة تلخيص النصوص وتحليل المشاعر.

الاستدلال في الوقت الفعلي

يمكنك تقديم نماذج pytorch الخاصة بك للاستدلال في الوقت الفعلي. يعني ذلك أنه يمكنك إجراء التنبؤات على البيانات الجديدة فور وصولها. على سبيل المثال، يمكنك استخدام نموذج pytorch المنشور لتصنيف تذاكر الدعم أو تحليل ملاحظات العملاء فورًا. يتتبع mlflow كل عملية نشر، لذا تعرف الإصدار الذي يعمل من نموذج pytorch الخاص بك. يمكنك تحديث عمليات النشر أو الرجوع عنها بسرعة عند الحاجة.

ملاحظة: يساعدك الاستدلال في الوقت الفعلي على الاستجابة لاحتياجات العمل دون تأخير. استخدم mlflow لمراقبة نماذج pytorch الخاصة بك وإدارتها في بيئة الإنتاج.

باتباع هذه الخطوات، يمكنك التعامل مع حفظ نماذج pytorch الخاصة بك ومشاركتها ونشرها في fabric. تحافظ على تنظيم سير عملك وقابلية إعادة إنتاج نتائجك. يوفر mlflow والدفاتر الأدوات التي تحتاجها لتتبع التجارب وإدارة النماذج على نطاق واسع.

أفضل الممارسات في دفاتر Fabric

قابلية إعادة الإنتاج

توثيق سير العمل

ينبغي لك دائمًا توثيق سير عملك لجعل مشاريع الذكاء الاصطناعي سهلة التكرار والفهم. يساعدك التوثيق الجيد أنت وفريقك على تتبع كل خطوة في عملية تدريب النموذج. ابدأ بوصف السياق التجاري لكل تجربة. سجّل نماذجك مع شروح واضحة لما تتنبأ به، وكيفية استخدامها، وأي حدود معروفة لها. استخدم خلايا Markdown في دفاترك لشرح منطقك وقراراتك. تجعل هذه العادة عملك أسهل في المشاركة والمراجعة.

• استخدم ميزة السفر عبر الزمن في Delta Lake لتثبيت الإصدار الدقيق من بيانات التدريب لكل تجربة.
• افصل هندسة الميزات عن التدريب من خلال إنشاء جداول ميزات قابلة لإعادة الاستخدام.
• فعّل التسجيل التلقائي (autologging) في بداية تجاربك لالتقاط جميع المعلمات والنتائج.
• جهّز نماذجك قبل الإنتاج. تحقّق منها باستخدام بيانات الاحتفاظ (holdout) وقارنها بالنماذج الحالية.
• أجرِ فحوصات دورية لاكتشاف انحراف النماذج (model drift) بمقارنة التنبؤات بالنتائج الفعلية.

نصيحة: وثّق كل تجربة أثناء العمل. هذا سيوفر عليك وقتًا ويجنبك الالتباس لاحقًا.

إدارة البيئة

تضمن إدارة بيئتك أن تظل نتائجك متسقة عبر عمليات التشغيل المختلفة. ينبغي أن تسجّل إصدارات جميع المكتبات والتبعيات التي تستخدمها. تساعدك هذه الممارسة على تجنّب المفاجآت عندما تعيد أنت أو زملاؤك تشغيل دفاتر الملاحظات. استخدم ملفات البيئة أو قوائم الحزم لتتبّع إعدادك. وعند مشاركة عملك، أدرج هذه التفاصيل حتى يتمكن الآخرون من إعادة إنتاج نتائجك دون مشكلات.

التعاون

المشاركة مع الفريق

العمل ضمن فريق في Fabric بسيط وفعّال. يمكنك مشاركة دفاتر الملاحظات مع زملائك وتعيين الأذونات لكل مستخدم. يتيح لك هذا التحكم تحديد من يمكنه عرض عملك أو تحريره. ويمكن للفرق إضافة تعليقات على مستوى الخلية لمناقشة الشيفرة وطرح الأسئلة أو اقتراح التعديلات. تساعد هذه الميزات الجميع على البقاء على اطلاع واحد ودفع المشاريع إلى الأمام معًا.

• شارك دفاتر الملاحظات مع فريقك مباشرةً.
• عيّن أذونات المستخدمين للتحكم في الوصول.
• استخدم التعليقات على مستوى الخلية للملاحظات والنقاش.

مراجعة الشيفرة

مراجعة الشيفرة مهمة للجودة والتعلّم. تدعم دفاتر الملاحظات سجلّ الإصدارات، بحيث يمكنك معرفة ما الذي تغيّر ومتى. وإذا لزم الأمر، يمكنك الرجوع إلى إصدار سابق. ويتيح لك التكامل مع Git استخدام نظام التحكم بالمصدر لتتبّع أدق. تجعل هذه الأدوات مراجعة الشيفرة أسهل، وتساعد على اكتشاف الأخطاء والحفاظ على سلامة مشروعك.

• تحقّق من سجلّ الإصدارات لتتبّع التغييرات.
• ارجع إلى الإصدارات السابقة عند الحاجة.
• استخدم التكامل مع Git للتحكم المتقدم بالمصدر.

تحسين الأداء

إدارة الموارد

يمكنك تحسين الأداء من خلال إدارة مواردك بحكمة. اضبط حجم قدرة الحوسبة وفقًا لأحمال العمل. وسّع القدرة في أوقات الذروة، وأوقف الموارد عندما لا تكون قيد الاستخدام. يمكن للسعة المحجوزة وأحمال العمل الفورية (spot) أن تساعدك على خفض التكاليف. اضبط الميزانيات والتنبيهات لتجنّب الإنفاق الزائد. راقب ذروات أحمال العمل لاكتشاف الاختناقات مبكرًا.

معالجة البيانات بكفاءة

تسرّع معالجة البيانات الفعّالة مشاريع الذكاء الاصطناعي لديك. عالج البيانات في مكانها لتقليل نقلها وتوفير الوقت. نظّف مساحة التخزين لتحسين الأداء. استخدم جداول الميزات القابلة لإعادة الاستخدام لتجنّب تكرار العمل. يتيح لك ضبط المعلمات الفائقة (hyperparameter tuning) المتوازي اختبار إعدادات كثيرة في وقت واحد، مما يسرّع تجاربك. تتبّع تجاربك دائمًا للحفاظ على تنظيم نتائجك.

ملاحظة: تساعدك معالجة البيانات الفعّالة وإدارة الموارد الذكية على الاستفادة القصوى من مشاريع الذكاء الاصطناعي لديك.

استكشاف الأخطاء وإصلاحها

عند العمل مع دفاتر ملاحظات Microsoft Fabric، قد تواجه تحديات تُبطئ تقدمك. معرفة كيفية استكشاف المشكلات الشائعة وإصلاحها تساعدك على إبقاء مشاريعك على المسار الصحيح. يقدّم هذا القسم خطوات عملية لتصحيح الأخطاء والعثور على الدعم عند الحاجة.

تصحيح الأخطاء

يمكنك حل كثير من المشكلات باتباع عملية واضحة. ابدأ بالتحقق من مركز المراقبة (Monitoring Hub) في بوابة Microsoft Fabric. تُظهر لك هذه الأداة ما إذا كانت أي خطوط أنابيب قد فشلت أو إذا كانت هناك أخطاء في مساحة العمل. إذا لاحظت مشكلة، فاطّلع على التفاصيل، مثل اسم مساحة العمل والمُفعِّل (activator) ومصدر eventstream. تساعدك هذه التفاصيل على تحديد السبب الجذري بسرعة.

اتبع الخطوات التالية لتصحيح أخطاء خطوط البيانات ودفاتر الملاحظات:

1. تحقّق من مركز المراقبة بحثًا عن المهام الفاشلة أو الأخطاء.
2. تحقّق من صحة جميع الاتصالات وبيانات الاعتماد، خاصةً لـ Azure SQL أو غيره من الخدمات المرتبطة.
3. استخدم وضع التصحيح للمرور خطوةً بخطوة عبر خطوط البيانات وتحديد نقطة التوقف.
4. راجع إعدادات الجدولة والمشغّلات للتأكد من أن مهامك تعمل كما هو مخطط لها.
5. راقب استخدام الموارد لمعرفة ما إذا كان البطء ناتجًا عن سعة محدودة.
6. زر صفحة حالة Microsoft Fabric للتحقق من انقطاعات الخدمة أو التحديثات.
7. صدّر الخطوط واستورِدها باستخدام ميزة 'Save As' إذا احتجت إلى نسخها أو إعادة تعيينها.
8. وثّق معرّفات القواعد والشروط والطوابع الزمنية والكائنات المتأثرة لتتبّع ما حدث.

نصيحة: عند تشغيل دفاتر الملاحظات وتصحيح أخطائها، احتفظ دائمًا بسجل للتغييرات والإجراءات. تسهّل هذه العادة تتبّع المشكلات ومشاركة النتائج مع فريقك.

موارد الدعم

إذا تعذّر عليك حل مشكلة بمفردك، فأمامك عدة خيارات للدعم. توفر Microsoft مجتمعًا قويًا وقنوات مساعدة رسمية. يمكنك الاستفادة من هذه المصادر للحصول على إجابات والتعلّم من الآخرين.

• توفر Microsoft Docs أدلة خطوة بخطوة ومقالات لاستكشاف الأخطاء وإصلاحها.
• تتيح منتديات المجتمع طرح أسئلتك والحصول على نصائح من زملاء في المجال ومن موظفي Microsoft على حد سواء.
• تربطك تذاكر الدعم بخبراء Microsoft لمعالجة المشكلات الأكثر تعقيدًا.
• تُبقيك Monitoring Hub وصفحات الحالة على اطلاع دائم بالمشكلات أو الأعطال الجارية.

عند طلب المساعدة، أدرج التفاصيل المهمة مثل اسم مساحة العمل، ومصدر Eventstream، ومعرّفات القواعد، والوقت الذي وقعت فيه المشكلة. تساعد هذه المعلومات فرق الدعم على الاستجابة بشكل أسرع وأدق.

ملاحظة: التفاعل مع المجتمع يؤدي غالبًا إلى حلول سريعة. يشارك كثير من المستخدمين نصائح وأفضل الممارسات التي تساعدك على تجنب مشكلات مشابهة في المستقبل.

باتباع خطوات استكشاف الأخطاء وإصلاحها هذه والاستفادة من مصادر الدعم المتاحة، يمكنك حل معظم المشكلات في دفاتر ملاحظات Fabric والمضي قدمًا في مشاريعك.

يمكنك تسريع تدريب نماذج الذكاء الاصطناعي باستخدام دفاتر ملاحظات Microsoft Fabric. تجعل الواجهة المألوفة، المشابهة لواجهة Power BI، سير عملك بديهيًا ومنتجًا. تعمل ضمن بيئة موحدة تجمع هندسة البيانات والتحليلات والمساعدة بالذكاء الاصطناعي، فتتجنب التنقل بين الأدوات المختلفة. يبسّط هذا التكامل كل خطوة، من تحضير البيانات وصولًا إلى النشر.

استكشف هذه المصادر لتعميق مهاراتك:

• Microsoft Learn للتمارين العملية
• برامج الشهادات للتحقق من خبرتك
• Data Wrangler لتنظيف البيانات بسهولة
• MLflow لتتبع التجارب
• Lakehouse لتخزين البيانات الموحد

ابدأ رحلتك اليوم وأطلق العنان للقوة الكاملة لتطوير نماذج الذكاء الاصطناعي القابلة للتوسع والكفاءة. وللاستماع إلى المزيد عن هذه التقنيات والنقاشات مع الخبراء، تأكد من متابعة الحلقة ذات الصلة من البودكاست: Train AI Models with Microsoft Fabric Notebooks.