أي اختبارات الانحدار يجب أتمتتها أولاً؟ دليل لاتخاذ القرار
By Mirko Peters · · Updated
أي الاختبارات تُؤتمت أولاً؟ ابدأ باختبارات الانحدار الحرجة للأعمال، والتي تُنفَّذ بشكل متكرر، وتتسم بالاستقرار. استخدم خمسة معايير ومصفوفة تقييم بسيطة لاتخاذ القرار.
Automatically translated with AI from the original post. Read the English original
أي الاختبارات تُؤتمت أولاً؟ ابدأ باختبارات الانحدار التي تغطي التدفقات الحرجة للأعمال، وتُنفَّذ مع كل بناء، ونادراً ما تتغير، وتستغرق أطول وقت لإعادتها يدوياً. هذا الدليل موجّه إلى قادة فرق ضمان الجودة ذوي الفرق الصغيرة وقائمة طويلة من الفحوصات اليدوية، ممن يحتاجون إلى ترتيب يمكن الدفاع عنه. ستجد خمسة معايير للاختيار، وقائمة بما يُترك يدوياً في الوقت الحالي، ومصفوفة تقييم بسيطة. يعرض مثال تطبيقي بأرقام افتراضية ترتيب خمسة اختبارات مرشحة، حتى تتمكن من نسخ الطريقة.
النقاط الرئيسية
- أتمت أولاً اختبارات الانحدار التي تغطي التدفقات الحرجة للأعمال، وتُنفَّذ بكثرة، وتتغير نادراً، وتكلّف أكبر قدر من الوقت لإعادتها يدوياً.
- رتّب الميزات حسب تكلفة الفشل: احتمال العيب وشدة تأثيره هما اللذان يحددان أي اختبار يستحق الأتمتة قبل غيره.
- أبقِ اختبارات الاستخدام لمرة واحدة والاختبارات غير المستقرة والاستكشافية وقابلية الاستخدام يدوية في الوقت الحالي، لأن أتمتتها قد تكلّف أكثر من تنفيذها يدوياً.
- درجة مرجحة من 1 إلى 5 عبر الأهمية التجارية والتكرار والاستقرار والجهد اليدوي وعدم الاستقرار تحوّل النقاش إلى قائمة مرتبة.
- فضّل أدنى طبقة اختبار تعمل بكفاءة، واحتفظ باختبارات النهاية إلى النهاية على مستوى المتصفح للتدفقات التي يكون فيها التحقق الكامل ضرورياً.
لماذا يهم ترتيب الأتمتة
تتطلب الأتمتة جهداً، ولا يُسترد هذا الجهد إلا عندما يُنفَّذ الاختبار مرات عديدة. الاختبار الذي يعمل مع كل بناء يحقق عائده بسرعة، أما الاختبار الذي يُنفَّذ مرة واحدة فلا يحقق عائداً أبداً.
في فرق Agile ذات الدورات القصيرة (Sprints)، نادراً ما يتوفر للفريق وقت لأتمتة كل شيء. الأتمتة استثمار، لذا فكّر في العائد على الاستثمار (ROI): ساعات العمل اليدوي التي توفرها كل حالة اختبار مؤتمتة، مطروحاً منها ساعات كتابة نصوص الاختبار وصيانتها. لذلك يحدد ترتيب الأتمتة سرعة عودة استثمارك. الفريق الذي يؤتمت عشرة فحوصات منخفضة القيمة ويترك عملية الدفع يدوية قد أنفق جهده في المكان الخطأ.
يوصي دليل Ranorex حول معرفة ما يجب أتمتته بوضع اختبار الانحدار في صدارة قائمة الأولويات، لأن إعادة التشغيل المتكررة تضاعف الوفورات. كما يدعو الفرق إلى ترتيب الميزات حسب تكلفة الفشل، وإضافة اختبارات الميزات الأكثر خطورة إلى مجموعة الانحدار أولاً.
يصف مقال TestDevLab حول ترتيب حالات اختبار الانحدار حسب الأولوية الفكرة نفسها بوصفها ترتيباً قائماً على المخاطر، أي ترتيب حالات الاختبار بحسب عوامل مثل احتمال الفشل وشدة التأثير. ويُنصح بالبدء بالوظائف عالية الخطورة وعالية الأهمية، ثم الانتقال إلى الوظائف الأقل خطورة. ويذكر أيضاً أن الميزات التي تُحدَّث بكثرة والميزات المعقدة المكوّنة من عدة مكونات تستحق الاختبار مبكراً.
الرسالة العملية: أتمت الاختبارات بحسب المخاطر وبحسب عدد مرات تنفيذها، لا بحسب قائمة الميزات أو سهولة الأتمتة.
تحدد استراتيجية الأتمتة المختصرة المرشحين والأدوات والمسؤول وتاريخ المراجعة. تبدأ معظم أفضل ممارسات أتمتة الاختبار بالطريقة نفسها: تحديد ما يجب أتمتته، ثم اختيار الأداة بعد ذلك.
أي الاختبارات تُؤتمت أولاً: خمسة معايير
يشير دليل Katalon حول اختيار حالات اختبار الانحدار إلى أن المرشحين الأقوياء للأتمتة يستوفون معظم مجموعة من الشروط. هذه الشروط الخمسة هي الأهم لفريق صغير.
- حرج للأعمال. يغطي الاختبار مسارًا حساسًا للإيرادات أو للأمان، مثل تسجيل الدخول أو الدفع أو المدفوعات. إذا تعطّل هذا المسار، يلاحظ العملاء الأمر أولًا.
- يُنفَّذ بكثرة. يُشغَّل الاختبار مع كل طلب سحب، أو مع كل بناء ليلي، أو مع كل إصدار.
- مستقر. نادرًا ما تتغير الميزة، لذلك لن يحتاج الاختبار إلى إصلاح مستمر.
- مكلف يدويًا. الاختبار متكرر وبطيء ومعرّض للخطأ البشري. تناسب الفحوصات المتكررة والمدفوعة بالبيانات، لأن الخطوات نفسها تُنفَّذ مع مدخلات كثيرة، وتوفر أتمتة الاختبار أكبر قدر من الوقت هنا.
- نتيجة واضحة. للاختبار نتيجة موضوعية بنجاح أو فشل يسهل التحقق منها، مثل النتيجة على الشاشة أو استجابة واجهة برمجية أو حالة النظام. غطِّ الحالات الحدّية المهمة في بيانات الاختبار، لا كل مدخل ممكن.
الاختبار الذي يستوفي أربعة من هذه الشروط أو خمسة يتصدر قائمة الأولويات. أما الاختبار الذي يستوفي شرطًا أو اثنين فينتظر دوره.
يضيف Katalon ملاحظة حول الطبقات: فضّل أدنى طبقة تؤدي الغرض، ولا تؤتمت تدفقات واجهة المستخدم غير المستقرة إلا عندما يكون التحقق من طرف إلى طرف ضروريًا. إذا أمكن التحقق من قاعدة ما عبر اختبار الوحدة أو عبر استدعاء واجهة برمجية، فغالبًا ما يكون هذا الفحص أسرع وأكثر ثباتًا من اختبار المتصفح. تبقى اختبارات واجهة المستخدم البطيئة للقليل من التدفقات التي تحتاجها فعلًا. واحتفظ باختبار الاختبار من طرف إلى طرف على مستوى المتصفح للرحلات التي يجب فيها إثبات المسار الكامل عبر الشاشات.
رتّب الترتيب بما يتوافق مع هرم الاختبار وخط الأنابيب لديك
الانتقاء يحدد ما نؤتمته، والطبقات تحدد أين نؤتمته. يوصي كتاب Martin Fowler بعنوان Practical Test Pyramid بكثرة الاختبارات الوحدوية الصغيرة والسريعة، مع عدد من الاختبارات الأوسع نطاقًا وعدد قليل جدًا من الاختبارات عالية المستوى. وقاعدته لاختيار المستوى مفيدة لقائمة مرتبة: إذا اكتشف اختبار على مستوى أعلى خطأً ولم يفشل أي اختبار على مستوى أدنى، فاكتب اختبارًا على المستوى الأدنى. ادفع الاختبارات إلى أسفل الهرم قدر الإمكان، واحذف الاختبارات عالية المستوى التي تكرر ما تغطيه المستويات الأدنى.
لذلك، قبل أن تكتب اختبار متصفح لعنصر مُصنَّف، اطرح سؤالين. هل يمكن لاختبار وحدة أو اختبار تكامل أن يثبت القاعدة نفسها بشكل أسرع؟ وهل أصبحت أي حالات اختبار مؤتمتة زائدة عن الحاجة؟ هذان السؤالان من وضعنا، مبنيان على قاعدة Fowler، وليسا قائمة مرجعية مأخوذة من المصادر.
ثم ضع كل اختبار في خط الأنابيب. يصف Ranorex اختبارات الدخان بأنها مجموعة فرعية صغيرة من اختبارات الانحدار تُشغَّل مع كل بناء جديد، ويذكر Katalon أن كل طلب سحب وكل بناء ليلي وكل إصدار هي النقاط التي تُشغَّل فيها المرشحات القوية. والتقسيم العملي، وهو اقتراح من عندنا، هو مجموعة دخان صغيرة مع كل بناء، ومجموعة الأتمتة الأوسع كل ليلة أو مع كل إصدار. أبقِ الاختبار الاستكشافي بيد فريق ضمان الجودة، وراجع الخطة كل ربع سنة.
ما الذي تُبقيه يدويًا الآن
الرفض جزء من الخطة. يذكر Ranorex الحالات التي لا تكون فيها الأتمتة مجدية:
- اختبارات لمرة واحدة. قد يستغرق أتمتة الاختبار وقتًا أطول من تنفيذه يدويًا مرة واحدة. الاختبارات التي ستنضم إلى مجموعة الانحدار أو المدفوعة بالبيانات لا تُعد لمرة واحدة.
- الميزات غير المستقرة. طالما أن المتطلب ما زال تجريبيًا أو قيد التطوير، اختبره يدويًا.
- الاختبارات التي لا تملك نتيجة واضحة بنجاح أو فشل. ائتمت فقط عندما تكون النتيجة موضوعية.
- الاختبار الاستكشافي واختبار قابلية الاستخدام. يقول Ranorex إن هذه الاختبارات لا يمكن ولا ينبغي أتمتتها، لأنها تعتمد على الحكم البشري.
الميزات التي تقاوم الأتمتة، مثل CAPTCHA، تحتاج إلى خطة خاصة بها. يقترح Ranorex تعطيلها في بيئة الاختبار، أو إضافة تجاوز للمطورين، أو إيقاف الاختبار مؤقتًا ليُكملها أحد المختبرين.
الاختبار اليدوي لا يعني النسيان. ضع هذه الاختبارات في قائمة مع تاريخ مراجعة، حتى تنتقل الميزة التي استقرت إلى أعلى الأولويات.
قيّم المرشحين بمصفوفة بسيطة
عندما يبدو اختباران مهمّين بالقدر نفسه، يجعل التقييم بالنقاط القرار مرئيًا. توصي Katalon بتقييم كل اختبار بدرجة من 1 إلى 5 وفق عوامل مرجّحة، ثم ضرب كل درجة في وزنها وجمع النواتج. من أمثلة الأوزان التي تقدمها: أهمية الأعمال 0.3، وتكرار التنفيذ 0.2، والاستقرار 0.2، والجهد اليدوي الموفَّر 0.15، ودرجة عدم الاستقرار 0.15، حيث تعني الدرجة الأعلى انخفاض خطر عدم الاستقرار. أما عتباتها المقترحة فهي: 4.0 فأكثر للأتمتة، و3.0 إلى 3.9 للمراجعة لاحقًا، وأقل من 3.0 للإبقاء على الاختبار يدويًا أو استكشافيًا.
يمكنك استخدام هذه الأوزان كما هي أو تعديلها. الهدف ليس الرقم الدقيق، بل أن يتفق الفريق على العوامل قبل أن يتجادل حول اختبارات بعينها.
من أين تأتي الدرجات؟ تشير Katalon إلى أن بيانات الإنتاج والحوادث السابقة توضح المسارات الأكثر أهمية. كما تصف TestDevLab الترتيب القائم على السجل التاريخي، الذي يرتّب الاختبارات بحسب سجلها السابق في اكتشاف الأعطال. استخدم قائمة الحوادث وتذاكر الدعم لتعبئة عمود الأهمية، واستخدم سجل عمليات البناء لتعبئة عمودي التكرار وعدم الاستقرار. الدرجة المبنية على البيانات أسهل في الدفاع عنها من الدرجة المبنية على الرأي. راجع الترتيب مع الفريق بأكمله، وتابع تغطية الاختبارات لمساراتك الحرجة بعدٍّ بسيط: كم عدد المسارات العشرة الأولى التي لها حالة اختبار مؤتمتة؟
مثال: ترتيب خمسة اختبارات مرشحة
الدرجات هنا افتراضية، والأوزان هي نفسها الواردة أعلاه.
لدى قائد ضمان الجودة خمسة فحوص يدوية يريد ترتيبها. تُقيَّم كل عامل بدرجة من 1 إلى 5.
- تصدير الفواتير. الأهمية 5، التكرار 5، الاستقرار 4، الجهد 4، درجة عدم الاستقرار 3. النتيجة: 1.5 + 1.0 + 0.8 + 0.6 + 0.45 = 4.35. الأتمتة أولًا.
- إعادة تعيين كلمة المرور. الأهمية 5، التكرار 3، الاستقرار 5، الجهد 3، درجة عدم الاستقرار 4. النتيجة: 1.5 + 0.6 + 1.0 + 0.45 + 0.6 = 4.15. الأتمتة تاليًا.
- فلتر التقارير. الأهمية 3، التكرار 4، الاستقرار 4، الجهد 4، درجة عدم الاستقرار 4. النتيجة: 0.9 + 0.8 + 0.8 + 0.6 + 0.6 = 3.7. المراجعة في الربع القادم.
- تخطيط لوحة المعلومات الجديدة. الأهمية 3، التكرار 3، الاستقرار 1، الجهد 3، درجة عدم الاستقرار 2. النتيجة: 0.9 + 0.6 + 0.2 + 0.45 + 0.3 = 2.45. يبقى يدويًا حتى يستقر التصميم.
- رفع صورة الملف الشخصي. الأهمية 2، التكرار 2، الاستقرار 3، الجهد 2، درجة عدم الاستقرار 2. النتيجة: 0.6 + 0.4 + 0.6 + 0.3 + 0.3 = 2.2. يبقى يدويًا.
تكون النتيجة قائمة مرتبة: تصدير الفواتير، ثم إعادة تعيين كلمة المرور، مع احتفاظ فلتر التقارير بالمرتبة الاحتياطية. يبدأ القائد بإطار أتمتة صغير وبيانات اختبار مشتركة وحالات الاختبار الأولى هذه، ثم يوسّع المجموعة المؤتمتة تدريجيًا. يستطيع مالك المنتج أن يرى الأسباب، وعندما تتوقف لوحة المعلومات عن التغيّر، يرتفع درجة استقرارها ويمكن أن تتقدم في الترتيب.
الأخطاء الشائعة
- أتمتة أسهل الاختبارات أولًا. غالبًا ما تكون الاختبارات السهلة ذات أثر محدود، فتنمو المجموعة دون أن تحمي ما يهم فعلًا.
- أتمتة ميزة غير مستقرة. تنكسر الاختبارات مع كل تغيير، ويتوقف الفريق عن الثقة بها.
- عدّ الاختبارات بدلًا من قياس الأثر. مجموعة كبيرة من الفحوص قليلة القيمة تكلّف في صيانتها أكثر مما توفره.
- البدء بكل فحص على مستوى المتصفح. إذا كان اختبار الوحدة أو فحص واجهة البرمجة يستطيع تغطية القاعدة، فالإبقاء عليه أرخص عادةً.
- إهمال الاختبار اليدوي الذي لا يزال مهمًا. تبقى فحوص الاستكشاف ومراجعات قابلية الاستخدام مع المختبِرين، واختبار البرمجيات يحتاج إلى النوعين من الجهد معًا.
- عدم مراجعة الترتيب أبدًا. الاستخدام والأثر والاستقرار تتغير، لذا راجع القائمة كل ربع سنة.
كيف يمكن للبرمجيات أن تساعد
تكفي جدول بيانات يضم المعايير الخمسة والأوزان للبدء. أضف عمودًا لتاريخ آخر مراجعة. وأداة إدارة الاختبارات لديك، إن وُجدت، يمكنها أيضًا أن تُظهر عدد مرات تشغيل كل اختبار ومرات فشله، وهذا يغذّي درجتي التكرار وعدم الاستقرار. كما تكشف بيانات الأعطال السابقة من نظام التذاكر المناطق الأكثر عرضة للعطل. أدوات اختبار المتصفح، سواء كانت قائمة على النصوص البرمجية أو على لغة طبيعية بسيطة، لا تكون ذات جدوى إلا بعد أن يحدد الترتيب المسارات التي تستحق الاختبار. اختر الأداة بعد أن تحصل على القائمة، لا قبلها.
الخطوة التالية
اجمع أبطأ عشرين فحصًا يدويًا للتراجع (regression)، وقيّم كل واحد منها وفق المعايير الخمسة، ثم رتّب النتائج. بعد ذلك أتمت أول ثلاثة، واستخدم هذه القائمة المرتبة للإجابة عن سؤال الاختبارات التي يجب أتمتتها أولًا في اجتماع التخطيط القادم.