M365Con 2027 – مؤتمر مجاني عبر الإنترنت · 11–22 Jan 2027 · 120 sessions→ m365con.net

المدونة · Mirko Peters

الاختبارات من طرف إلى طرف غير المستقرة: لماذا تفشل وكيف تقلّل عددها

By · · Updated

تنجح الاختبارات من طرف إلى طرف غير المستقرة وتفشل دون أي تغيير في الشيفرة. تعرّف على الأسباب الخمسة المعتادة، وكيفية إصلاح الانتظار وبيانات الاختبار، وما ينبغي فعله بالاختبارات التي لا يمكن إصلاحها.

Automatically translated with AI from the original post. Read the English original

الاختبارات الآلية للمتصفح من طرف إلى طرف غير المستقرة هي اختبارات تنجح في تشغيل وتفشل في التالي دون أي تغيير في الشيفرة أو الاختبار أو البيئة. هذا الدليل موجّه إلى قادة ضمان الجودة ومهندسي الأتمتة الذين يقضون وقتاً أطول في إعادة تشغيل البناءات الفاشلة مما يقضونه في إصلاح الأخطاء. ستتعرف على أسباب عدم استقرار هذه الاختبارات، والأسباب الخمسة المعتادة، وكيفية إصلاح أسوأها وهو الانتظار، وكيفية إدارة الاختبارات التي لا يمكن إصلاحها بعد. ويوضح مثال عملي بأرقام توضيحية كيفية تحديد السبب الجذري في ثلاث خطوات.

النقاط الرئيسية

  • الاختبار غير المستقر ينجح أحياناً ويفشل أحياناً دون أي تغيير في الشيفرة أو الاختبار أو البيئة، لذلك لا يخبرك الفشل بشيء حتى تكرر التشغيل.
  • أفادت Google بأن نحو 1.5 بالمئة من تشغيلات اختباراتها كانت غير مستقرة، وأن ما يقارب 16 بالمئة من اختباراتها أظهر قدراً من عدم الاستقرار. لذلك فإن عدم الاستقرار أمر طبيعي على نطاق واسع، ويحتاج إلى خطة.
  • الأسباب الخمسة المعتادة هي: الحالة المشتركة، والتوقيت، والخدمات البعيدة، وساعة النظام، والموارد المتسربة. والتوقيت هو أول ما ينبغي فحصه في اختبارات المتصفح.
  • استبدل فترات الانتظار الثابتة بانتظار شرط مرئي، وامنح كل اختبار بياناته الخاصة حتى لا تُربك الاختبارات بعضها بعضاً.
  • ضع الاختبار غير المستقر في الحجر مؤقتاً، لكن حدّد عدد الاختبارات المسموح بوجودها هناك والمدة المسموح بها، وإلا فستفقد مجموعة اختبارات الانحدار قيمتها تدريجياً.

لماذا تسبب الاختبارات غير المستقرة كل هذا الضرر

يكون الاختبار غير مستقر عندما لا تكون نتيجته قابلة للتكرار. يعرّف مقال Martin Fowler عن اللاحتمية في الاختبارات الاختبار غير الحتمي بأنه اختبار "ينجح أحياناً ويفشل أحياناً" "دون أي تغيير ملحوظ في الشيفرة أو الاختبارات أو البيئة."

يأتي الضرر من فقدان الثقة. فإذا كان البناء الفاشل قد يعني خللاً حقيقياً، وقد يكون مجرد ضجيج، يتعلم الناس تجاهل البناءات الفاشلة، وعندها يمر عيب حقيقي دون أن يُلاحَظ. كما تضيع الفرق وقتها، إذ يحتاج كل فشل إلى إعادة تشغيل قبل أن يستطيع أحد تحديد ما إذا كان مهماً. وتُبطئ مجموعة الاختبارات غير المستقرة خط أنابيب CI أيضاً، لأن كل تشغيل فاشل ينتظر إعادة المحاولة ويعطّل طابور الدمج خلفه.

تُظهر الأرقام من الأنظمة الكبيرة أن هذا أمر شائع وليس نادراً. يذكر منشور في مدونة Google Testing Blog بعنوان Flaky Tests at Google and How We Mitigate Them أن نحو 1.5 بالمئة من تشغيلات الاختبارات أعطت نتيجة غير مستقرة، وأن ما يقارب 16 بالمئة من الاختبارات أظهر درجة ما من عدم الاستقرار. ويذكر أيضاً أن نحو 84 بالمئة من حالات التحول من النجاح إلى الفشل التي رصدها تتعلق باختبار غير مستقر، وأن متوسط المشروع يحتوي على نحو 1,000 اختبار فردي. أرقامك ستختلف، لكن الدرس يبقى واحداً: على نطاق واسع يصبح عدم الاستقرار أمراً حتمياً، لذلك تحتاج إلى عملية منظّمة.

تتعرض اختبارات من طرف إلى طرف القائمة على المتصفح لذلك بشكل خاص. فكل اختبار يعتمد على متصفح وشبكة وتطبيق منشور وحسابات اختبار، وغالباً على خدمات تابعة لجهات خارجية. وكلما زادت الأجزاء المتحركة زادت فرص التغيّر. لهذا تميل الاختبارات من طرف إلى طرف إلى أن تكون أقل استقراراً من اختبارات الوحدة، التي تحتوي على أجزاء متحركة أقل بكثير.

الأسباب الخمسة المعتادة للاختبارات من طرف إلى طرف غير المستقرة

يذكر مقال Fowler خمسة أسباب شائعة، وينطبق كل سبب منها على اختبارات المتصفح.

  1. غياب العزل. تتشارك الاختبارات الحالة نفسها، مثل سجلات قاعدة البيانات أو الجلسة المسجّل الدخول إليها، فيغيّر أحد الاختبارات ما يراه اختبار آخر. الحل: أعِد بناء الحالة الابتدائية لكل اختبار، أو نظّف البيئة بعد انتهائه.
  2. السلوك غير المتزامن. تحتاج الصفحة إلى وقت للاستجابة، فينفّذ الاختبار إجراءه مبكراً جداً أو متأخراً جداً. ينصح Fowler بعدم استخدام فترات الانتظار الثابتة (sleep) مطلقاً لانتظار الاستجابات غير المتزامنة، واستخدام دالة استدعاء (callback) أو الاستطلاع الدوري (polling) بدلاً منها.
  3. الخدمات البعيدة. تكون بيئة الدفع التجريبية المباشرة، أو خدمة البريد، أو مزوّد الهوية بطيئة أو متوقفة. الحل: استبدل النظام البعيد ببديل اختباري (test double) في الحالات التي لا يحتاج فيها الاختبار إلى النظام الحقيقي.
  4. الوقت. تتصرف الاختبارات التي تقرأ ساعة النظام بشكل مختلف عند منتصف الليل، أو في نهاية الشهر، أو عبر المناطق الزمنية. الحل: تحكّم في الساعة داخل الاختبار.
  5. تسرّب الموارد. يترك أحد الاختبارات اتصالاً أو جلسة مفتوحة، فيفشل اختبار لاحق غير مرتبط به عندما تنفد هذه الموارد.

تضيف مشاركة Google عوامل مثل التزامن (concurrency)، والاعتماد على سلوك غير حتمي أو غير معرّف، وشيفرات الجهات الخارجية غير المستقرة، ومشكلات البنية التحتية. عامِل القائمتين كقائمة مراجعة عندما تبحث عن السبب الجذري لفشل اختبار.

عالج فترات الانتظار أولاً

في اختبارات المتصفح، يكون التوقيت عادةً أول المشتبه بهم. الاختبار الذي ينقر على زر قبل أن يصبح جاهزاً، أو يتحقق من رسالة قبل ظهورها، سينجح على جهاز سريع ويفشل على جهاز مشغول.

الإيقاف المؤقت الثابت، مثل "انتظر 5 ثوانٍ"، هو أسوأ حل. فهو يهدر الوقت عندما تكون الصفحة سريعة، ويظل يفشل عندما تكون الصفحة بطيئة. يصف Fowler الاستطلاع الدوري بأنه فحص منتظم وليس مرة واحدة فقط، ويقول إن حدود المهلة الزمنية لا ينبغي أن تكون قيماً حرفية داخل الاختبار أبداً.

تدمج الأدوات الحديثة هذا المبدأ. توثّق Playwright في صفحة actionability الفحوصات التي تجريها قبل أي إجراء: يجب أن يكون العنصر مرئياً، ومستقراً (ألّا يتغير موضعه بين إطارات الرسوم المتحركة)، وممكّناً، وقادراً على استقبال الأحداث عند نقطة النقر، وقابلاً للتحرير في حالة الكتابة. ينتظر Playwright حتى تنجح هذه الفحوصات، أو يفشل بخطأ انتهاء المهلة. وتضيف صفحة أفضل الممارسات لديه أن تأكيدات web-first تعيد المحاولة حتى تتحقق الشرط.

قواعد عملية:

  • انتظر شرطاً يمكن للمستخدم أن يراه، مثل عنوان أو صف في جدول، لا انتظار عدد من الثواني.
  • فضّل المحدِّد القائم على الدور (role) أو النص أو معرّف الاختبار على مسارات CSS أو XPath الطويلة، لأنها تنكسر عند تغيّر تخطيط الصفحة.
  • حدّد مهلة واحدة كافية للخطوة كلها بدلاً من عدة فترات انتظار قصيرة.
  • تحقّق من النتيجة باستخدام تأكيد يعيد المحاولة.

عزل بيانات الاختبار وبيئته

الرافعة الكبرى الثانية هي البيانات. امنح كل اختبار حساباً خاصاً به، وطلبه الخاص، ومجلده الخاص. ولا تسمح لاختبارين بتعديل السجل نفسه. فإذا كان لا بد من تشغيل الاختبارات بالتوازي، فإن البيانات المشتركة تضمن حدوث أعطال عشوائية.

انظر أيضاً إلى البيئة. فبيئة staging مشتركة تنشر إليها فرق أخرى أثناء تشغيل اختباراتك ستسبب أعطالاً لا يمكن لأي إصلاح في الاختبارات أن يعالجها. اتفق على نوافذ زمنية للنشر، أو شغّل مجموعة اختباراتك على بيئة مخصصة.

إذا كانت خطوة ما تعتمد على خدمة خارجية، فاسأل نفسك هل يتعلق الاختبار بتلك الخدمة. وإن لم يكن كذلك، فاستبدلها بـ stub. احتفظ بعدد قليل من الاختبارات التي تستخدم الخدمة الحقيقية، وعاملها كمجموعة منفصلة.

أخيراً، اجعل كل فشل سهل التشخيص. احتفظ في خط أنابيب CI بالسجل ولقطة شاشة وتتبّع (trace) لكل تشغيل فاشل. توصي صفحة أفضل الممارسات لدى Playwright بجمع التتبع عند إعادة المحاولة الأولى لاختبار فاشل، حتى تتمكن من إعادة تشغيل ما حدث بدلاً من التخمين. ومع السجل والتتبع، يتحول الاختبار غير المستقر إلى مشكلة واضحة في سير العمل يمكنك إصلاحها، مثل مهلة انتظار على خطوة واجهة بطيئة.

ماذا تفعل بالاختبارات التي لا يمكنك إصلاحها بعد

بعض الاختبارات غير المستقرة تحتاج وقتاً أكثر مما تملك، وبعضها يعتمد على شيفرة لا تملكها. في هذه الحالات، أدِرها بشفافية، وحافظ على موثوقية نتائج الاختبارات المستقرة.

  • العزل في مجموعة منفصلة (Quarantine). يصف Fowler نقل الاختبارات غير الحتمية إلى مجموعة منفصلة، حتى تستمر الاختبارات السليمة في تقديم ملاحظات موثوقة. ويضيف أن الاختبارات المعزولة يجب إصلاحها بسرعة، وأنه ينبغي الحد من عددها أو من المدة التي تبقى فيها.
  • إعادة المحاولة مع التسجيل. تصف Google إعادة تشغيل الاختبارات الفاشلة وتمييز الاختبار بأنه غير مستقر، بحيث لا يُبلَّغ عن فشله إلا بعد ثلاث إخفاقات متتالية. تصف المشاركة هذا بأنه حل بعيد عن الكمال، وتحذّر من أنه قد يخفي بسهولة حالة سباق (race condition) حقيقية أو خللاً آخر في الشيفرة المختبرة.
  • تتبّع عدم استقرار الاختبارات مع الوقت. تصف Google أيضًا أدوات ترصد التغيّرات في مستوى عدم استقرار الاختبار. حتى قائمة بسيطة تضم الاختبارات مع نسبة نجاح كل منها تُظهر أين يجب أن تبدأ البحث أولًا.

أيًّا كان الخيار الذي تختاره، اجعل قائمة الاختبارات غير المستقرة مرئية، وعيّن مالكًا لكل اختبار، وحدّد موعدًا.

مثال: تحديد السبب في ثلاث خطوات

الأرقام في هذا المثال افتراضية.

تضم مجموعة اختبارات 200 اختبار للمتصفح. خلال أسبوعين، يفشل 14 منها مرة واحدة على الأقل دون أي تغيير في الشيفرة. أي ما نسبته 7 بالمئة من الاختبارات.

  1. التجميع حسب السبب. يقرأ الفريق سجلات الفشل ويصنّف الاختبارات الـ14. ثمانية منها تفشل بسبب انتهاء المهلة عند زر معيّن، وأربعة تفشل لأن اختبارين يعدّلان السجل نفسه للعميل، واثنان يفشلان فقط بعد النشر على بيئة الاختبار المرحلية (Staging).
  2. إصلاح أكبر مجموعة. يستبدل الفريق عمليات الانتظار الثابتة في الاختبارات الثمانية المرتبطة بالتوقيت بانتظار الشروط المرئية. يتوقف سبعة منها عن الفشل.
  3. إصلاح المجموعة التالية. يُنشئ كل اختبار كان يعدّل العميل المشترك الآن عميله الخاص. تتوقف الاختبارات الأربعة عن الفشل.

بعد الخطوة الثالثة، يبقى ثلاثة اختبارات غير مستقرة. يضع الفريق الاختبارين المرتبطين بالنشر في الحجر الصحي (Quarantine)، ويعيّن لكل منهما مالكًا وموعدًا نهائيًا مدته أسبوعان. تنخفض نسبة الاختبارات غير المستقرة في المجموعة من 7 بالمئة إلى 1.5 بالمئة، ويعيد الفريق فحصها كل أسبوع.

الأخطاء الشائعة

  • إضافة عمليات الانتظار الثابتة. تُخفي المشكلة لفترة، وتُبطئ كل عملية تشغيل.
  • إعادة تشغيل كل شيء والمضي قدمًا. إعادة التشغيل دون تسجيل تُخفي العيوب الحقيقية، ويبقى السبب الجذري قائمًا.
  • مشاركة بيانات الاختبار بين الاختبارات. تحوّل عمليات التشغيل المتوازية هذا إلى أعطال عشوائية.
  • اختبار الخدمات الخارجية في كل اختبار. استخدم بدائل وهمية (Stubs) حيث لا تكون الخدمة هي محور الاختبار.
  • ترك الحجر الصحي يتضخم دون حدود. الحجر الصحي الذي لا مالك له يتحول إلى مقبرة.
  • لوم الأداة أولًا. تحقّق من التوقيت والبيانات والبيئة قبل تغيير إطار العمل.

كيف يمكن للبرمجيات أن تساعد

ابدأ بما يوفره إطار العمل لديك: الانتظار التلقائي، والتتبّع، وإعادة المحاولة في CI. أضف لوحة معلومات تعرض الأعطال حسب الاختبار وحسب السبب، لتصبح الأنماط مرئية. تكفي جداول البيانات في البداية. الأدوات التي تستخدم وكيل ذكاء اصطناعي لتشغيل الاختبارات انطلاقًا من خطوات بلغة طبيعية قد تخفف بعض مشكلات التوقيت، لأن الوكيل يقرر المدة التي ينتظرها، لكنها تحمل مخاطرها الخاصة، مثل إساءة فهم التعليمات. جرّبها على عدد قليل من الاختبارات، وقارن نسبة عدم الاستقرار قبل أن تقرر.

الخطوة التالية

حدّد الاختبارات العشرة الأكثر عدم موثوقية لديك هذا الأسبوع، وأسند إلى كل منها السبب المرجّح من الأسباب الخمسة السابقة، وأصلح مشكلات الانتظار أولًا. ثم تتبّع نسبة اختبارات الطرف إلى الطرف غير المستقرة كل أسبوع، واحمِ قيمة مجموعة اختبارات الانحدار لديك بوضع حد لعدد الاختبارات في الحجر الصحي.

Entities in this article

End-to-end testing Regression testing AI agent

Related articles

RSS