Microsoft Fabric: دفاتر الملاحظات وLakehouse

By Mirko Peters · 2025-11-21 · Updated 2026-07-22

إنشاء سير عمل لتحويل البيانات وتعلم الآلة باستخدام Microsoft Fabric Notebooks وLakehouse لتحليلات قابلة للتوسع.

Automatically translated with AI from the original post. Read the English original

قد تكون سير عمل ETL التقليدية بطيئة، وتتضمن خطوات يدوية كثيرة، وتتطلب قدراً كبيراً من الصيانة. إليكم بعض المشكلات الشائعة:

عند استخدام الدفاتر لتحويل البيانات، يصبح لديكم مكان رئيسي واحد لبياناتكم. يحسّن نمط Bronze-Silver-Gold مع Spark وLakehouse جودة بياناتكم، ويساعدكم على تتبع مصدرها. تحصلون على ملاحظات واضحة، ويمكنكم العمل مع فريقكم بشكل مشترك، وهذا يضمن أن يكون الجميع على الصفحة نفسها.

النقاط الرئيسية

• استخدموا Fabric Notebooks لتحويل البيانات للحفاظ على العمل في مكان واحد. يساعدكم ذلك على رصد التغييرات والعمل مع فريقكم.

• اتبعوا نمط Bronze-Silver-Gold لتنظيم بياناتكم. يحافظ ذلك على سلامة البيانات الخام، ويساعدكم على تنظيفها وتجهيزها للتحليل.

• أتمتوا سير عملكم لتوفير الوقت ومنع الأخطاء. تساعدكم أدوات مثل dbt Cloud وPrefect على تخطيط خطوات بياناتكم ومراقبتها.

• استخدموا Git للتحكم في إصدارات الدفاتر لديكم. يتيح لكم ذلك رصد التغييرات، والعمل مع الآخرين، والعودة إلى الإصدارات السابقة عند الحاجة.

• حافظوا على أمان البيانات بضوابط وصول صارمة. استخدموا الأمان على مستوى الصفوف والأعمدة لحماية البيانات الخاصة والتحكم في من يستطيع عرضها أو تعديلها.

لماذا الانتقال إلى تحويل البيانات الموجَّه بالكود أولاً؟

تحديات سير عمل ETL التقليدية

ربما استخدمتم Power Query أو Excel أو نصوصاً برمجية لتحويل البيانات. قد تسبب هذه الأدوات مشكلات عند نمو حجم بياناتكم. قد تجدون ملفات بأسماء مثل "final_v2_REAL.xlsx" دون أن تعرفوا أيها هو الصحيح. يصعّب العمل اليدوي تتبع ما تغيّر. وقد تتعطل خطوط المعالجة عند تغيّر البيانات، ويستغرق إصلاح هذه المشكلات وقتاً وجهداً كبيرين.

عند استخدام أدوات كثيرة، قد تنسون أين بدأت بياناتكم. وقد ترتكبون أخطاء يصعب اكتشافها.

فوائد Fabric Notebooks وLakehouse

يساعدكم Fabric Notebooks وLakehouse على تحسين تحويل البيانات. تكتبون الكود في مكان واحد، ويمكنكم استخدام Git لتتبع كل تغيير. يسهّل ذلك مراجعة عملكم وإعادة تنفيذه. ويمكنكم العمل مع ملايين الصفوف دون نقل البيانات إلى أدوات أخرى.

إليكم كيف تختلف الدفاتر القائمة على الكود والمدعومة بـ Git عن أدوات ETL القديمة:

يمكنكم تحديد قواعد العمل في مكان واحد، ويمكن للفرق استخدام هذه القواعد في لوحات المعلومات والتقارير. يساعد ذلك على منع الأخطاء وإبقاء الجميع على تنسيق واحد، ويساعد فريقكم أيضاً على استكشاف البيانات بأمان.

• تتيح لكم الطبقات القائمة على الكود:

  • تتبع كل خطوة في خط المعالجة.

  • استخدام المنطق نفسه في مشاريع عديدة.

  • التوسع مع نمو بياناتكم.

تحوّل في طريقة التفكير: الدفاتر بوصفها طبقة التحويل

ينبغي أن تنظروا إلى الدفاتر بوصفها المكان الرئيسي لتحويل البيانات، فهي المصدر الوحيد للحقيقة لديكم. يمكنكم فحص عملكم واختباره ومشاركته. ويمكنكم استخدام المعاملات للتبديل بين الاختبار والاستخدام الفعلي. بهذه الطريقة تكتسبون سيطرة أكبر وتثقون ببياناتكم.

فكّروا في دفتركم بوصفه خطة لبياناتكم. ستعرفون ما يحدث في كل خطوة.

نمط تحويل البيانات Bronze-Silver-Gold

يساعدكم نمط Bronze-Silver-Gold على تنظيم عملية تحويل البيانات. تنتقلون عبر ثلاث مراحل واضحة، ولكل مرحلة وظيفة خاصة. يجعل هذا النمط خط معالجة البيانات أسهل في الإدارة وأكثر موثوقية.

Bronze: إدخال البيانات الخام

تبدأون بطبقة Bronze. هنا تجمعون البيانات الخام من مصادر مختلفة. لا تغيّروا البيانات بعد، بل تجمعونها وتخزنونها بأمان. تحافظ هذه الخطوة على بياناتكم الأصلية للاستخدام لاحقاً.

يمكنك استخدام عدة طرق لتحميل البيانات إلى طبقة Bronze. يعرض الجدول التالي بعض الطرق الشائعة:

يجب دائمًا فرض مخطط (Schema) عند تحميل البيانات. يساعدك ذلك على اكتشاف الأخطاء مبكرًا. إذا ظهرت صفوف تالفة، يمكنك عزلها في منطقة حجر صحي (Quarantine). يحافظ ذلك على نظافة بياناتك منذ البداية.

نصيحة: احتفظ دائمًا بنسخة من بياناتك الخام. قد تحتاج إليها لإصلاح المشكلات أو للتحقق من عملك لاحقًا.

Silver: تنظيف البيانات وتوحيدها

طبقة Silver هي المكان الذي تنظّف فيه بياناتك وتوحّدها. تصحّح الأخطاء، وتزيل السجلات المكررة، وتتأكد من توافق البيانات مع قواعد عملك. كما تربط الجداول وتضيف القيم المفقودة عند الحاجة.

في هذه الطبقة، ينبغي أن:

• تتحقق من أن كل عمود يحمل النوع الصحيح.

• تزيل أو تصحح الصفوف التي لا تتوافق مع قواعدك.

• تزيل التكرار في السجلات حتى لا تعدّ الأشياء مرتين.

• تتعامل مع البيانات المتغيرة ببطء، مثل عناوين العملاء.

تستخدم أدوات مثل PySpark أو pandas في دفترك. يتيح لك ذلك كتابة خطوات واضحة لكل تغيير. يمكنك اختبار عملك والتأكد من صحته قبل المتابعة.

ملاحظة: استخدم فحوصات Canary بعد كل خطوة كبيرة. على سبيل المثال، تحقّق من عدد الصفوف أو ابحث عن القيم الفارغة الكثيرة. يساعدك ذلك على اكتشاف المشكلات مبكرًا.

Gold: هندسة الميزات للتحليلات والتعلم الآلي

تُعدّ طبقة Gold بياناتك للتحليلات والتعلم الآلي. تنشئ ميزات جديدة، مثل فروق التأخير الزمني أو مجموعات العملاء. كما تبني جداول جاهزة للوحات المعلومات أو النماذج.

في هذه الطبقة، ينبغي أن:

• تصمم ميزات تساعد عملك على الإجابة عن الأسئلة.

• تقسّم الجداول (Partitioning) لتسريع الاستعلامات.

• تستخدم جداول Delta حتى تتمكن من تتبع التغييرات والتراجع عنها عند الحاجة.

ينبغي دائمًا كتابة البيانات بطريقة idempotent، أي أن تتمكن من تشغيل خط المعالجة عدة مرات دون ارتكاب أخطاء أو عدّ البيانات مرتين. يمكنك استخدام لقطات Delta لحفظ إصدارات من جداولك. إذا حدث خطأ ما، يمكنك العودة إلى نسخة آمنة.

تذكّر: تصبح بياناتك في طبقة Gold أكثر قيمة. اعتنِ جيدًا بالتحقق من عملك، واحرص على أن يبقى موثوقًا.

باتباع نمط Bronze-Silver-Gold، تبني خط تحويل بيانات (Data Transformation) متينًا. تحافظ على بياناتك آمنة ونظيفة وجاهزة لأي تحليل أو مشروع تعلم آلي.

تنسيق تحويل البيانات باستخدام الدفاتر وSpark

قراءة جداول Delta وكتابتها

يمكنك استخدام Spark في دفاتر Fabric للعمل مع جداول Delta. يتيح لك ذلك معالجة ملايين الصفوف بسرعة كبيرة. لا تحتاج إلى نقل البيانات أو إصلاح الأمور يدويًا. إذا فعّلت Native Execution Engine، يمكن أن تعمل مهامك بسرعة تصل إلى خمس مرات أسرع. يمكنك تعديل إعدادات مثل spark.sql.files.maxPartitionBytes وspark.sql.shuffle.partitions لتناسب حجم بياناتك. يساعد Auto Compaction في حالات الكتابة الكثيفة للملفات الصغيرة، ويجعل جداولك أسرع في البحث. وقد لاحظت شركات كثيرة أن دورات ELT أصبحت أسرع بنسبة 30%، وأن الاستعلامات صارت أفضل بمقدار 1.2 مرة عند تطبيق هذه الممارسات.

نصيحة: تحتفظ جداول Delta ببياناتك في إصدارات. يمكنك التراجع عن التغييرات إذا ارتكبت خطأ.

المعلمات وإدارة البيئات

ينبغي أن تستخدم المعلمات (Parameters) في دفاترك. يتيح لك ذلك التبديل بين بيئة الاختبار والعمل الفعلي. يساعدك على تجنب الأخطاء والحفاظ على أمان بياناتك. ضع خطة للفصل بين بيانات الاختبار والبيانات الحقيقية. يمكنك أيضًا استخدام خطة كتالوج لتنظيم البيانات الوصفية وحماية المعلومات الخاصة. يسهّل ذلك التحكم في من يستطيع الاطلاع على ماذا، والالتزام بسياسات الشركة.

• استخدم المعلمات في:

  • مسارات الملفات

  • معرّفات مساحات العمل

  • أعلام الميزات (Feature Flags)

ملاحظة: تساعد المعلمات دفاترك على العمل لصالح فرق متعددة، وتحافظ على أمانها.

أتمتة جدولة سير العمل

يمكنك إعداد دفاترك لتعمل تلقائيًا وفق جدول زمني. يعني ذلك أنك لست بحاجة إلى تنفيذ الخطوات يدويًا أو استخدام ملفات CSV. تساعدك أدوات مثل dbt Cloud وMeltano وPrefect على مراقبة خطوط المعالجة والتحكم فيها. يناسب dbt Cloud مهام SQL. أما Meltano فمجاني ويعمل مع Git. ويستخدم Prefect لغة Python ويوفر إعادة المحاولة والتخزين المؤقت والسجلات.

• تساعدك أدوات الأتمتة على:

  • إعداد عمليات التشغيل

  • مراقبة حالة خط المعالجة

  • تقليل العمل اليدوي

إذا أتمتّ سير عملك، فستقع في أخطاء أقل وتحصل على قيمة أكبر من بياناتك.

الحوكمة وقابلية التدقيق وأفضل الممارسات

تكامل Git ومراجعة الشيفرة

يساعدك Git على تتبّع كل تغيير في دفاتر الملاحظات (notebooks) الخاصة بك. يمكنك معرفة من أجرى التغييرات ومتى أجراها. جرّب الأفكار الجديدة في فرع (branch) قبل دمجها في المشروع الرئيسي. تتيح مراجعة الشيفرة لفريقك اكتشاف الأخطاء مبكرًا. يستطيع الجميع العمل معًا دون فقدان أعمال بعضهم البعض. وإذا أخطأت، يمكنك العودة إلى نسخة آمنة.

نصيحة: استخدم دائمًا طلبات السحب (pull requests) للتغييرات. هذا يحافظ على أمان شيفرتك وسهولة مراجعتها.

الحواجز الوقائية: فحوصات المخطط واستعلامات الكناري

تساعد الحواجز الوقائية على حماية بياناتك. تتأكد فحوصات المخطط (Schema checks) من أن جداولك تحتوي على الأعمدة والأنواع الصحيحة. وتفحص استعلامات الكناري (Canary queries) وجود مشكلات بعد كل خطوة، فتنظر في أعداد الصفوف والقيم الفارغة والأرقام الرئيسية. تساعدك هذه الفحوصات على اكتشاف المشكلات قبل أن تصل إلى لوحات المعلومات.

• تستطيع الفحوصات اكتشاف البيانات المفقودة أو الخاطئة فورًا.

• الإصلاحات التلقائية يمكنها حل المشكلات الشائعة بالاستناد إلى الإجابات السابقة.

• تختبر عمليات النشر الكناري التغييرات عالية المخاطر على جزء صغير من بياناتك.

ملاحظة: تحقّق دائمًا من المخطط قبل نقل البيانات إلى الخطوة التالية.

الأمان وضوابط الوصول

يمكنك حماية بياناتك بأمان قوي في Microsoft Fabric Lakehouse. تتيح لك OneLake Security تحديد قواعد لتحديد من يمكنه عرض البيانات أو تعديلها. يتحكم أمان الصفوف والأعمدة (Row and column-level security) فيما يمكن لكل شخص عرضه. ويمكنك استخدام وضع هوية المستخدم (User Identity Mode) أو وضع الهوية المفوّضة (Delegated Identity Mode) لإدارة الوصول. تحافظ الاختصارات الآمنة (Secure shortcuts) على أمان بياناتك المصدرية، حتى مع المصادر البعيدة.

• تحمي ميزة حماية الوصول الصادر من مساحة العمل من الاتصالات غير المرغوب فيها.

• تتيح لك نقاط النهاية الخاصة المُدارة (Managed private endpoints) السماح فقط بالموارد الخارجية الموثوقة.

• يتيح الاتصال بين مساحات العمل (Inter-workspace connectivity) المشاركة بأمان بين مساحات العمل.

تحقّق دائمًا من إعدادات الوصول للحفاظ على أمان بياناتك.

المكاسب السريعة والأنماط المضادة

يمكنك تحسين خط المعالجة لديك من خلال:

• نقل خط معالجة واحد إلى دفاتر الملاحظات مع تتبّع Git.

• إضافة فحوصات المخطط واستعلامات الكناري.

• استخدام المعاملات (parameters) لجميع المسارات ومعرّفات مساحات العمل.

• استخدام طلبات السحب لكل تغيير.

لا تفعل الأمور التالية:

• خلط خطوط معالجة دفاتر الملاحظات مع تعديلات Excel اليدوية.

• كتابة ملفات CSV مرة أخرى وتحميلها في Power BI.

• تضمين الأسرار أو المسارات بشكلثابت في الشيفرة (Hard-coding).

• استخدام دفتر ملاحظات ضخم واحد لكل شيء.

يمكن للتغييرات الصغيرة أن تجعل خط معالجة بياناتك أكثر أمانًا وسهولة في الاستخدام.

تكامل Power BI والتعلم الآلي

بناء النماذج الدلالية على جداول الذهب (Gold tables)

يمكن للجداول الذهبية أن تساعدك على الاستفادة أكثر من بياناتك. تبني النماذج الدلالية في Power BI لتنظيم البيانات. تجعل هذه النماذج التحليل وإعداد التقارير أسهل. وإذا طبّقت أفضل الممارسات، ستكون نماذجك أكثر فائدة وأسهل في المشاركة.

• فكّر في النماذج الدلالية كمنتجات. امنح كل نموذج اسمًا واضحًا وغرضًا محددًا.

• ابنِ النماذج بتعريفات بسيطة. تأكّد من أن الجميع يعرفون معنى كل حقل.

• تابع إصدارات النماذج وسجّل التغييرات. اشرح طريقة استخدام كل نموذج.

• شارك النماذج مع الفرق الأخرى لضمان الاتساق. يساعد ذلك الجميع على استخدام البيانات والقواعد نفسها.

نصيحة: الملاحظات الجيدة والمعاني الواضحة تساعد الناس على الثقة في نماذجك واستخدامها.

مخزن ميزات تعلم الآلة وتدريب النماذج

يساعدك مخزن الميزات على تتبّع البيانات الخاصة بتعلّم الآلة. يمكنك حفظ الميزات في مكان واحد لاستخدامها في التدريب والتنبؤات، وهذا يساعد نماذجك على البقاء دقيقة وموثوقة. تساعدك مخازن الميزات على تجنّب الأخطاء من خلال استخدام البيانات نفسها في المرحلتين. وهي توضّح مصدر الميزات وكيفية تغيّرها، مما يسهّل حل المشكلات وإعادة تنفيذ عملك. يمكنك مشاركة الميزات وإعادة استخدامها مع فريقك، فيوفّر ذلك الوقت ويساعد الجميع على تحقيق نتائج أفضل.

أتمتة التحديث ونشر النماذج

يمكنك استخدام جدولة المهام في Microsoft Fabric لتحديث البيانات ونشر النماذج تلقائيًا. تتيح لك الجدولة تشغيل المهام في أوقات محددة، ويمكنك إدارة عدد كبير من الجداول وربطها بعملية العمل لديك. يبقي ذلك بياناتك ونماذجك محدَّثة دون تنفيذ المهام يدويًا. وتساعد الأتمتة على تقليل الأخطاء والحفاظ على قوة سير عملك.

ملاحظة: تتيح لك الأتمتة قضاء وقت أطول في الرؤى والقرارات، بدلًا من الأعمال اليدوية.

يمكنك الوثوق ببياناتك بدرجة أكبر عند استخدام الأسلوب البرمجي أولًا مع Microsoft Fabric Notebooks وLakehouse. يساعدك نمط Bronze-Silver-Gold والقواعد الجيدة والأتمتة على توسيع نطاق التحليلات وتعلّم الآلة. ابدأ بنقل خط أنابيب واحد، وأضف عمليات تحقق للحفاظ على الأمان. ثم انظر إلى الميزات التي تحدث فرقًا حقيقيًا:

• تجعل Delta Live Tables خطوط الأنابيب تعمل تلقائيًا وتوفّر الوقت.

• يجعل Liquid Clustering الاستعلامات أسرع ويقلل التكاليف.

• تساعدك المراقبة المدعومة بالذكاء الاصطناعي على اكتشاف الاستعلامات البطيئة بسرعة.

للخطوات التالية، جرّب المختبرات التطبيقية، أو شاهد فيديوهات الخبراء، أو أكمل دورة DP-700 لمعرفة المزيد.

الأسئلة المتداولة

ما الفائدة الرئيسية من استخدام Fabric Notebooks في تحويل البيانات؟

تحصل على مكان واحد لكتابة خطوات البيانات واختبارها وتتبّعها، مما يجعل عملك أسهل في المراجعة والتكرار. كما يمكنك العمل مع مجموعات بيانات كبيرة دون نقل الملفات.

كيف يساعد نمط Bronze-Silver-Gold في خط أنابيب البيانات الخاص بي؟

يساعدك هذا النمط على تنظيم بياناتك في مراحل واضحة. تحافظ على البيانات الأولية آمنة، ثم تنظّف بياناتك، ثم تنشئ الميزات للتقارير أو النماذج. بهذا يمكنك حل المشكلات بسرعة أكبر والوثوق بنتائجك.

هل يمكنني استخدام Git مع Fabric Notebooks؟

نعم، يمكنك ربط دفاترك بـ Git. يتيح لك ذلك تتبّع التغييرات ومراجعة الشيفرة والعمل مع فريقك. ويمكنك دائمًا الرجوع إلى إصدار قديم إذا احتجت إليه.

كيف أحافظ على أمان بياناتي في Lakehouse؟

تحدّد قواعد لتحديد من يمكنه رؤية البيانات أو تعديلها، وتستخدم الأمان على مستوى الصفوف والأعمدة. ويمكنك أيضًا استخدام نقاط النهاية المُدارة وعناصر التحكم في مساحة العمل لحماية بياناتك.

هل يمكنني أتمتة سير عمل البيانات والتعلم الآلي؟

نعم! يمكنك جدولة تشغيل الدفاتر في أوقات محددة، ويمكنك أيضًا تحديث البيانات ونشر النماذج دون تنفيذها يدويًا. يوفّر ذلك وقتك ويقلل الأخطاء.

استمع أيضًا إلى هذه الحلقات

إذا كنت تستكشف Microsoft Fabric notebooks lakehouse، فإن هذه الحلقات تضيف سياقًا عمليًا حول منصات بيانات Microsoft، وهندسة الذكاء الاصطناعي، والحوكمة، والأتمتة.

• Azure AI Foundry – Simply Explained — تعرّف على كيفية بناء حلول الذكاء الاصطناعي للمؤسسات وحوكمتها.
• Microsoft AI Agent Harness – Simply Explained — استكشف التنسيق الموثوق والتقييم وقابلية المراقبة.
• Microsoft Teams Governance – Simply Explained — اطّلع على كيفية إبقاء التعاون قابلًا للإدارة من خلال قواعد دورة الحياة والملكية.

تساعد هذه الحلقات على ربط موضوع المقالة بقرارات الهندسة والنشر العملية.