Dataflows Gen1 مقابل Gen2 في Microsoft Fabric: اختيار بنية التجهيز المرحلي والحوسبة المناسبة

By Mirko Peters · 2026-10-28

قارن بين Dataflows Gen1 وDataflows Gen2 في Microsoft Fabric. تعرّف على تأثير التخزين والتجهيز المرحلي للحوسبة والسعة على استراتيجيتك لعمليات ETL في السحابة.

Automatically translated with AI from the original post. Read the English original

عند نقل أحمال عمل ETL إلى Microsoft Fabric، يؤثر اختيار بنية التجهيز المرحلي والحوسبة المناسبة بين Dataflows Gen1 وGen2 تأثيراً مباشراً في أداء خطوط المعالجة وتكاليف الموارد وموثوقية البيانات. ويساعد فهم الفروق الجوهرية في تخصيص الحوسبة ومعالجة التخزين على تفادي اختناقات معمارية مكلفة قبل أن يتوسع فريقك في إعداد تقاريره.

النقاط الرئيسية

• تقدّم Dataflows Gen2 تكاملاً أصلياً مع OneLake، مما يغيّر جذرياً طريقة تجهيز البيانات مرحلياً وتخزينها مقارنةً بـ Gen1.
• قد يؤدي اختيار خيار حوسبة غير مناسب أثناء التأليف إلى تقييد غير متوقع للسعة وتدهور في الأداء داخل مساحة العمل في Fabric.
• اعتمدت Gen1 بشكل كبير على آليات تخزين خارجية، في حين تكتب Gen2 مباشرةً إلى جداول Fabric Lakehouse بوصفها الوجهة الافتراضية.
• يمنع الإعداد السليم للتجهيز المرحلي تكرار التحويلات البيانية، ويحسّن عمليات تحديث النموذج الدلالي في Power BI.
• ومواءمة استراتيجية ETL مع وحدات السعة في Fabric تضمن تفادي المؤسسة لتكاليف حوسبة متصاعدة وخارجة عن السيطرة.

فهم التحول المعماري في Fabric

إن الانتقال من Dataflows الخاصة بـ Power BI التقليدية إلى Dataflows في Microsoft Fabric ليس مجرد تغيير في الاسم؛ بل يمثل إعادة هيكلة معمارية كاملة لطريقة استيعاب بيانات السحابة وتحويلها وحفظها. ففي عالم Gen1 القديم، صُمّمت Dataflows أساساً لتغذية النماذج الدلالية في Power BI. وكانت تعمل ضمن منظومة معزولة نسبياً، حيث تُجرى التحويلات في Power Query Online، ويُخزَّن الناتج في تخزين داخلي تديره خدمة Power BI بالكامل.

مع ظهور Microsoft Fabric، صُمّمت Dataflows Gen2 منذ البداية للاعتماد على OneLake بوصفه مستودع البيانات المركزي. وهذا يعني أن كل تحويل تطبقه عبر Power Query Online لم يعد محبوساً داخل حاوية نموذج مملوكة. بل تسدّ Gen2 الفجوة بين إعداد البيانات ذاتي الخدمة التقليدي وهندسة البيانات المؤسسية، عبر الكتابة مباشرةً إلى جداول Delta Parquet مفتوحة التنسيق داخل Lakehouse في Fabric. ويُغيّر هذا التحول الجوهري طريقة تعامل مهندسي السحابة مع التجهيز المرحلي للبيانات، واستخدام الحوسبة، والثقة في التقارير اللاحقة.

تحول النموذج في التخزين

في الإعدادات القديمة، إذا احتاج محلل أعمال إلى تنظيف تصدير من Excel، وحذف الصفوف الفارغة، وتنسيق التواريخ، فإن هذه البيانات كانت تبقى داخل حدود تخزين التدفق. وإذا أرادت إدارة أخرى استخدام مجموعة البيانات المنظفة نفسها، كان عليها في كثير من الأحيان سحب البيانات من التقرير أو إعادة إنشاء الاستعلام. يعالج Dataflows Gen2 هذا الأمر بجعل Lakehouse الوجهة الأساسية. وبمجرد تنفيذ التدفق، تصبح البيانات المنظفة متاحة فورًا كجداول Delta، جاهزة لدفاتر Spark، ونقاط نهاية تحليلات SQL، وتقارير DirectLake المباشرة، دون الحاجة إلى نقل بيانات إضافي.

قرار الحوسبة والتخزين المؤقت الذي تغفله معظم الفرق

يُعد إدارة مرحلتي الحوسبة والتخزين المؤقت من أهم القرارات المعمارية التي يواجهها المهندسون عند بناء Dataflows Gen2. فعلى عكس Gen1، حيث كانت إدارة الحوسبة مجردة إلى حد كبير وغير شفافة في أحيان كثيرة، يعمل Gen2 على وحدات السعة في Fabric (CUs) الأساسية. وإذا لم تراقب مؤسستك بعناية كيفية ووقت تخزين البيانات مؤقتًا خلال مرحلة تقييم الاستعلام، فقد تستهلك سعتك المخصصة أسرع مما هو متوقع.

عند تطبيق تحويلات معقدة، يقيّم Power Query ما إذا كان يمكن دفع الخطوات إلى مصدر البيانات أو ما إذا كان يجب تنفيذها محليًا داخل محرك التدفق. في Gen2، تعمل منطقة التخزين المؤقت كمنطقة استقبال وسيطة. وإذا لم تُضبط بشكل صحيح، فقد يُسحب مجموعات بيانات كبيرة إلى الذاكرة مرارًا، ثم تُعالج وتُكتب، مما يُحمّل الحوسبة أعباءً غير ضرورية. ينبغي للمعماريين تقييم أنظمة المصدر، وزمن استجابة الشبكة، وتعقيد التحويلات، لتحديد ما إذا كانت المعالجة تُدفع إلى قاعدة البيانات المصدر، أو يُترك لـ Fabric تحمل العبء الأكبر.

تحسين وحدات السعة لأحمال عمل ETL

سعة Fabric مجموعة مشتركة من الموارد عبر المؤسسة بأكملها. فعندما يشغّل Dataflow Gen2 غير المُحسَّن تحديثات مجدولة خلال ساعات الذروة، فقد يستهلك حدود السعة ويؤثر في عرض تقارير Power BI للمستخدمين التنفيذيين. ولتفادي ذلك، ينبغي للفرق عزل مهام ETL الثقيلة في مساحات عمل مخصصة مدعومة بحجوزات سعة مناسبة، أو جدولتها خارج ساعات الذروة. ويُعد فهم كيفية تفاعل مهام الحوسبة الخلفية مع أحمال العمل التفاعلية أمرًا أساسيًا للحفاظ على بيئة Fabric مستقرة.

بناء الثقة من خلال معمارية متسقة

الهدف النهائي من ترقية خطوط البيانات هو القضاء على عمليات الإصلاح اليدوي في Excel التي تُثقل كاهل التقارير التجارية. وعندما تفشل التقارير، فنادرًا ما يكون ذلك بسبب نقص البيانات؛ بل يكون في الغالب بسبب غياب الثقة. فعندما يرى المستخدمون أرقامًا متضاربة لأن أحد التقارير يسحب من ملف CSV خام وآخر من تدفق قديم، ينخفض التبني بشكل حاد.

من خلال توحيد الاعتماد على Dataflows Gen2 والاستفادة من معمارية Lakehouse، تُرسّخ المؤسسات مصدرًا واحدًا للحقيقة. فالتواريخ المنظفة، وأسماء الأعمدة الموحدة، ومنطق الأعمال المُتحقَّق منه تُقنَّن مرة واحدة داخل التدفق، وتنتقل تلقائيًا إلى المراحل اللاحقة. وهذا يقلل الأخطاء البشرية، ويُلغي الاعتماد على أجهزة سطح المكتب الفردية، ويضمن أنه عندما تفتح القيادة لوحة متابعة، تكون الأرقام الأساسية موثوقة وجاهزة للتدقيق.

الخاتمة

يتطلب الانتقال إلى Dataflows Gen2 والبناء عليه تحولًا في طريقة التفكير في التخزين السحابي، وميزانيات الحوسبة، وحوكمة البيانات. فبدءًا من عملية جداول بيانات فوضوية متكررة واحدة، وتعيينها بشكل صحيح في Lakehouse ضمن Fabric، يمكن لفريقك بناء خطوط بيانات قابلة للتوسع تصمد مع الزمن. ولاستكشاف المفاهيم الأساسية وراء هذا التطور، والاستماع إلى رؤى خبراء حول استراتيجيات السحابة الحديثة من Microsoft، تأكد من الاستماع إلى الحلقة كاملةً في بودكاست M365 FM.

الأسئلة المتداولة

ما الفرق الرئيسي بين Dataflows Gen1 وGen2 فيما يخص التخزين؟

تخزّن Dataflows Gen1 البيانات المحوّلة داخل حدود تخزين Power BI الداخلية، في حين تكتب Dataflows Gen2 مباشرةً إلى جداول Delta Parquet مفتوحة المصدر داخل Lakehouse في Microsoft Fabric عبر OneLake.

كيف تؤثر Dataflows Gen2 على وحدات سعة Fabric؟

تستهلك Dataflows Gen2 سعة Fabric الأساسية خلال مرحلتي الحوسبة والتخزين المؤقت. فالتحويلات غير المُحسَّنة أو تشغيل التحديثات الثقيلة خلال ساعات الذروة قد يستنفد مخصصات السعة ويحدّ من أحمال العمل الأخرى.

هل يمكن أن تحل Dataflows Gen2 محل خطوط أنابيب Azure Data Factory التقليدية؟

بالنسبة لتحضير البيانات ذاتي الخدمة، وعمليات ETL خفيفة الوزن، وتحويل البيانات منخفض الشيفرة، تُعدّ Dataflows Gen2 بديلاً ممتازاً. أما في حالات التنسيق المؤسسي المعقد، والمنطق المتفرع، وهندسة البيانات المتقدمة، فتبقى Azure Data Factory أو Fabric Pipelines الأدوات المفضلة.

لماذا تُعدّ مرحلة التخزين المؤقت (Staging) مهمة في Dataflows Gen2؟

تعمل مرحلة التخزين المؤقت بوصفها منطقة إنزال وسيطة لتحويلات البيانات. فإعداد التخزين المؤقت بشكل صحيح يمنع تكرار معالجة البيانات، ويحسّن query folding، ويضمن كتابة فعّالة للبيانات في Lakehouse الوجهة.

كيف تُحسّن Dataflows Gen2 موثوقية البيانات في التقارير؟

من خلال أتمتة تنظيف الصادرات اليدوية غير المنظمة، ومركزة التحويلات في جداول Lakehouse قابلة لإعادة الاستخدام، تُلغي Gen2 الحلول اليدوية القائمة على Excel، وتضمن بيانات متسقة وموثوقة في جميع التقارير اللاحقة.