الإصلاح الذاتي للاختبارات: ما المقصود بالمصطلح وأين تنتهي حدوده
By Mirko Peters · · Updated
يُصلح الأتمتة الذاتية للاختبارات المحددات المعطّلة أثناء التشغيل. تعرّف على طريقة عملها، وعلى ما لا تستطيع إصلاحه، وكيف يمكن أن تُخفي الأخطاء، وعلى الضوابط التي ينبغي وضعها.
Automatically translated with AI from the original post. Read the English original
تعني الأتمتة الذاتية للاختبارات أن تُصلح أداة الاختبار المحدِّد المعطّل بنفسها، فيستمر اختبار الواجهة في العمل بعد تغيير بسيط مثل تغيير اسم معرّف. هذا الدليل موجّه إلى مهندسي أتمتة الاختبارات الذين سمعوا المصطلح في عرض تجاري ويريدون إجابة واقعية. ستتعرف على طريقة عمل الإصلاح، وعلى ما يستطيع إصلاحه وما لا يستطيع، وكيف يمكن أن يُخفي خللًا حقيقيًا، والقواعد التي تحافظ على سلامته. ويوضح مثال تطبيقي بأرقام افتراضية كلًّا من الفائدة والمخاطرة.
النقاط الرئيسية
- يعني الإصلاح الذاتي أن تجد أداة الاختبار عنصر الواجهة بقرائن أخرى عندما يتوقف المحدِّد المخزّن عن المطابقة، فيستمر الاختبار بدلًا من أن يفشل.
- يعمل الإصلاح تقريبًا على المحددات فقط، لا على التأكيدات أو تدفقات الاختبار أو قواعد العمل أو مشكلات التوقيت، لذلك يغطي جزءًا محدودًا من صيانة الاختبارات.
- الخطر الرئيسي هو التراجع المُقنَّع: تتكيّف الأداة مع عنصر متغيّر هو في الحقيقة عيب، فينجح الاختبار بينما تجربة المستخدم معطّلة.
- تشير وثائق المورّد إلى أن الإصلاح يحدث أثناء التشغيل وأن السيناريو يبقى دون تغيير، لذلك ما زالت المحددات التي جرى إصلاحها بحاجة إلى مراجعة وكتابتها مجددًا في السيناريو.
- الاستخدام الآمن يعني تسجيل كل عملية إصلاح، ومراجعتها وفق جدول زمني، وعدم السماح للأداة مطلقًا بتعديل التأكيدات، ومراقبة القفزات المفاجئة في نسبة النجاح.
ما هو الاختبار ذو الإصلاح الذاتي عمليًا
يجد اختبار الواجهة كل عنصر على الصفحة باستخدام محدِّد. والمحدِّد قاعدة مثل «العنصر الذي معرّفه btn-pay» أو «الزر المسمّى Pay». في أتمتة الاختبارات التقليدية، يعدّل الشخص سيناريوهات الاختبار كلما توقفت إحدى القواعد عن المطابقة. وفي مجموعة اختبارات كبيرة، قد يؤدي إعادة تصميم واحدة إلى تعطيل المئات من الخطوات. وفي كل مرة يفشل فيها اختبار، يضطر مهندس ضمان الجودة إلى فحصه، ويقضي الفريق أيامًا في أعمال الإصلاح أو يلجأ إلى الاختبار اليدوي.
الإصلاح الذاتي هو فكرة أن تُصلح الأداة القاعدة بنفسها، فيصمد الاختبار ذو الإصلاح الذاتي أمام تغيير كان سيعطل الاختبار التقليدي. وتعرّف مقالة BugBug بعنوان Self Healing Test Automation: Hype & Reality هذه الآلية بأنها آليات تعدّل تلقائيًا طريقة تعريف الاختبار لعناصر الواجهة عندما يتوقف المحدِّد الأصلي عن العمل.
لا يعني الإصلاح أن الأداة تفهم منتجك. بل يعني أنها تحاول العثور على العنصر نفسه مجددًا بقرائن أخرى، ثم تواصل التشغيل. تعامل مع الاختبار ذي الإصلاح الذاتي بوصفه إصلاحًا لنوع ضيق من الأعطال: تغييرات في الواجهة تُبقي السلوك كما هو.
كيف يعمل إصلاح المحدِّدات
تختلف التفاصيل باختلاف إطار عمل الاختبار والمنتج، لكن معظم آليات الإصلاح الذاتي تتبع النمط نفسه.
- التعلّم. أثناء تشغيل الاختبارات الناجحة، تسجّل الأداة أكثر من قرينة لكل عنصر. ويصف BugBug ذلك بأنه بصمة تضم سمات مثل المعرّف والنص والفئات وتسميات ARIA والموضع في بنية الصفحة.
- الكشف. عندما لا يعثر المحدِّد المخزّن على أي شيء، لا تفشل الأداة فورًا.
- البحث. تبحث الأداة في الصفحة عن العنصر الذي يشبه أكثر ما تذكّره. وتحمل القرائن الأقوى والأكثر ثباتًا وزنًا أكبر، أما القرائن الأضعف فتُستخدم احتياطًا.
- المتابعة والإبلاغ. تستخدم الأداة التطابق الجديد، وتُكمل التشغيل، وتسجّل ما فعلته.
تتبع وثائق BrowserStack حول ميزة الإصلاح الذاتي مع Playwright النهج نفسه. فهي تذكر أن الإصلاح يبدأ عندما لا يعود المحدِّد الأصلي قابلاً للتحليل، وأنه يحتاج إلى تشغيل ناجح واحد على الأقل سابق بالمعرّف نفسه للعنصر. وتذكر أيضاً أن الإصلاح يحدث أثناء التشغيل ويُبقي التشغيل الواحد ناجحاً، بينما يبقى السكربت نفسه دون تغيير. وتنصح الصفحة بإعادة المحدِّد المُصلَح إلى الاختبار. كما تذكر حدوده: فالإصلاح يضيف تحليلاً إضافياً أثناء التشغيل، ودعم Playwright موصوف بأنه محدود، ولا يمكنه الاسترداد إذا لم يعد العنصر موجوداً فعلاً.
بعض الأدوات الأحدث تستخدم الإصلاح الذاتي بالذكاء الاصطناعي، إذ يختار نموذج، غالباً ما يُبنى على الذكاء الاصطناعي التوليدي، العنصر البديل بدلاً من قاعدة تقييم ثابتة. يشير دليل T-Plan إلى أن الإصلاح المدعوم بالذكاء الاصطناعي يُدخل سلوكاً احتمالياً إلى الاختبار، وأن الأتمتة الموثوقة ينبغي أن تبقى حتمية قدر الإمكان. ويضيف BugBug أن الإصلاح لا يتضمن قيام وكيل ذكاء اصطناعي بإعادة كتابة منطق الاختبار، ولا فهماً حقيقياً للتطبيق.
كثيراً ما يقول التسويق إن اختبار الذكاء الاصطناعي هو الذي يتولى الإصلاح. عملياً، يشمل الذكاء الاصطناعي في اختبار البرمجيات طيفاً واسعاً، من حساب تشابه بسيط إلى نموذج يرتّب العناصر المرشحة. اسأل المورّد عما يقرره الذكاء الاصطناعي فعلاً، وهل يُظهر السجل سبب الاختيار. إذا اختار الذكاء الاصطناعي عنصراً خاطئاً، فقد يمرّ عيب دون أن يُلاحظ، لذلك يحتاج اختيار الذكاء الاصطناعي إلى المراجعة نفسها التي تحتاجها أي عملية إصلاح أخرى.
فوائد الإصلاح الذاتي، وما لا يستطيع إصلاحه
يكون الإصلاح أكثر فائدة مع التغييرات الشكلية:
- يعيد المطوّر تسمية معرّف أو فئة CSS، ويبقى السلوك كما هو.
- يؤدي تغيّر في التخطيط إلى نقل زر إلى مكان آخر.
- تغيّر ترقية مكتبة المكوّنات البنية البرمجية للصفحة دون أن يتغير ما يراه المستخدم.
في هذه الحالات تكون الفوائد حقيقية: تقل صيانة الاختبارات، ولم تعد التغييرات البصرية غير الضارة تُفشل عدداً كبيراً من حالات الاختبار دفعة واحدة.
تندرج قدرات الإصلاح الذاتي في الأداة ضمن استراتيجية أوسع لأتمتة الاختبار، إلى جانب الاختبار الاستكشافي، من أجل الاختبار المستمر. وتحمي هذه القدرات تغطية اختبار واجهة المستخدم من التغييرات المتكررة فيها. أما اختبارات الوحدات واختبار الواجهات البرمجية فلا تستخدم محدِّدات الشاشة، لذلك لا تحتاج إلى أي إصلاح.
لا يساعد الإصلاح الذاتي في معظم الأسباب الأخرى لفشل الاختبارات. يذكر BugBug أن الإصلاح ينطبق بشكل شبه حصري على المحدِّدات، لا على التأكيدات والقيم المتوقعة وتدفقات الاختبار وقواعد العمل. ولا يحل مشكلات التوقيت ولا بنية الاختبار الضعيفة. إذا كانت مشكلتك في فترات الانتظار غير المستقرة أو في البيانات المشتركة، فعالج الاختبارات غير المستقرة كموضوع مستقل أولاً، لأن الإصلاح لن يشفيها. تذكر المقالة نفسها أن الإصلاح يواجه صعوبة في الأنظمة القائمة على الأدوار، ولوحات المعلومات الديناميكية، والمعاملات متعددة الخطوات، والشاشات كثيرة الشروط، وأنه كلما احتاج تحديد العنصر إلى سياق أكبر، أصبح الإصلاح أصعب.
تمنع المحدِّدات الجيدة ومعرّفات الاختبار الثابتة أعطالاً كثيرة قبل أن تحتاج إلى أي إصلاح. وتقترح أفضل الممارسات في Playwright محدِّدات تعكس ما يراه المستخدمون، مثل الدور والنص، بدلاً من مسارات CSS أو XPath الهشة. وتنفع هذه النصيحة أيضاً في مجموعات Selenium.
الأتمتة ذاتية الإصلاح ومخاطر الانحدارات المخفية
أهم خطر يسهل وصفه. فالأداة ذاتية الإصلاح التي تتكيف قد تتكيف مع عيب.
يسمي دليل T-Plan حول الأتمتة ذاتية الإصلاح للاختبارات هذا الخطر بالانحدار المخفي: قد يتكيف الإطار تلقائياً مع عنصر تغيّر وهو في الحقيقة يمثل عيباً، فينجح الاختبار رغم تدهور تجربة المستخدم. وتضيف المقالة أن هذا يخلق ثقة زائفة ويقلل الثقة في الأتمتة. كما تلاحظ أن أنظمة الإصلاح الذاتي قد تختار العنصر البديل الخاطئ، وأن الإصلاح الأكثر عدوانية يرفع خطر المطابقة الخاطئة، وأن بعض الأعطال ينبغي أن تبقى ظاهرة.
تخيّل زر حفظ في التطبيق قيد الاختبار يُستبدل بزر حذف في المكان نفسه بعد دمج معيب. قد يبحث اختبار عن "الزر في تذييل النموذج" فيُصلح نفسه ليتجه إلى الزر الجديد، فينقر عليه ويكمل. تبقى المجموعة خضراء، ويصل العيب إلى الإصدار.
لهذا السبب لا يُعدّ ارتفاع معدل النجاح دائمًا خبرًا جيدًا. إذا قفز معدل النجاح بعد إصدار تحديث لواجهة المستخدم دون تغييرات مقابلة في الاختبارات، فراجع سجل الإصلاح الذاتي قبل أن تحتفل.
ضوابط حماية تجعل استخدامه آمنًا
تقدّم أدلة T-Plan وBugBug نصائح متشابهة، وتنطبق سواء نفّذت الإصلاح الذاتي بنفسك أو اشتريت أداة تقدّمه:
- سجّل كل إصلاح. سجّل المحدِّد القديم والمحدِّد الجديد ودرجة التطابق وما الذي غيّرته الأداة في الصفحة.
- راجع وفق جدول زمني. لا تسمح بالتكيّف الصامت إلى أجل غير مسمى. راجع سجل الإصلاح بعد كل إصدار، ووافق على كل إدخال أو ارفضه.
- استخدم وضع الاقتراح إن أمكن. دع الأداة تقترح الإصلاح، واطلب من شخص قبوله.
- لا تسمح له أبدًا بتغيير التأكيدات. قد يغيّر الإصلاح الذاتي طريقة العثور على العنصر، لكن يجب ألا يغيّر ما يتوقعه الاختبار، فذلك جوهر الاختبار وغايته.
- أعِد كتابة الإصلاحات في الاختبار. لأن الإصلاح الذاتي يُصلح التشغيل الحالي فقط، حدّث السكربت بالمحدِّد الأفضل.
- قيّد النطاق. ليس كل عنصر ينبغي أن يُصلح نفسه تلقائيًا. قد تحتاج التدفقات الحرجة، مثل الدفع، إلى فحوص أكثر صرامة، كاختبار المظهر المرئي الذي يتحقق من شكل الصفحة.
- راقب الاتجاه. أي زيادة مفاجئة في معدل النجاح تحتاج إلى تفسير، لأن أتمتة الإصلاح الذاتي قد تجعل مجموعة الاختبارات تبدو أسلم مما هي عليه فعلًا.
مثال: إعادة هيكلة عملية الدفع، مع الإصلاح الذاتي وبدونه
الأرقام افتراضية.
لدى أحد الفرق 400 اختبار آلي يعمل في المتصفح. تؤدي إعادة هيكلة الواجهة الأمامية إلى تغيير أسماء المعرّفات في صفحة الدفع. بدون الإصلاح الذاتي، يفشل 60 اختبارًا بسبب المحدِّدات، ويحتاج كل فشل إلى مراجعة. يحتاج مهندس نحو يومين لإصلاحها، وخلال تلك المدة لا تتوفر لدى الفريق نتيجة موثوقة لاختبار الانحدار.
مع تفعيل الإصلاح الذاتي، تصلح الأداة المحدِّدات أثناء تنفيذ الاختبار حتى يكتمل كل اختبار، وينجح 55 من هذه الاختبارات الـ60 باستخدام المحدِّدات المُصلحة. يرى قائد فريق ضمان الجودة كل إصلاح في التقرير. وما زال خمسة اختبارات تفشل لأن عناصرها أُزيلت عمدًا. يقضي المهندس نصف يوم على هذه الخمسة وساعة إضافية في قراءة سجل الإصلاح.
في السجل، يبدو إصلاحان غير صحيحين. ففي اختبار لتعديل عنوان، نقرت الأداة على "حذف العنوان" حيث كان الاختبار يريد "حفظ العنوان". لم يتحقق الاختبار إلا من أن الصفحة ما زالت تُحمَّل، فنجح. يصلح المهندس المحدِّدين، ويضيف تأكيدًا أقوى يتحقق من ظهور العنوان المحفوظ في القائمة.
النتيجة: يتقلص نحو يومين من أعمال الإصلاح إلى يوم تقريبًا. التوفير حقيقي، لكنه قائم فقط لأن شخصًا قرأ السجل. فبدون هذه المراجعة، كان اختباران سيبقيان ناجحين بينما يختبران الشيء الخطأ.
الأخطاء الشائعة
- اعتبار الإصلاح الذاتي بديلًا عن المحدِّدات الجيدة. المحدِّدات المستقرة القائمة على الدور أو النص أو معرّف الاختبار تمنع الأعطال ولا تكلّف شيئًا.
- ترك الأداة تعمل بصمت. إذا لم يقرأ أحد السجل، فستتراكم الإصلاحات الخاطئة دون أن يلاحظها أحد.
- توقّع أنه سيصلح الاختبارات غير المستقرة. مشكلات التوقيت وبيانات الاختبار غير المستقرة تحتاج إلى حلول مختلفة.
- استخدامه في الفحوص الحرجة دون ضمانات إضافية. أضف اختبار الانحدار البصري أو فحوص البيانات إلى تدفقات الدفع والأذونات.
- تصديق أرقام المورّد عن انخفاض جهد صيانة الاختبارات دون تجربة تجريبية. قِس الأثر الفعلي على مجموعة اختباراتك قبل أن تلتزم.
كيف يمكن للبرمجيات أن تساعد
تقدّم كثير من أطر أتمتة الاختبار ومنصات السحابة وأدوات الأتمتة الأخرى الإصلاح الذاتي اليوم، بأشكال مختلفة: محدِّدات احتياطية بسيطة، وتقييم التشابه، واختيار العناصر بالذكاء الاصطناعي. قارن بينها وفق النقاط السابقة، لا وفق المسمّى. واسأل هل تعرض منصة الإصلاح الذاتي كل إصلاح، وهل تتيح لك الموافقة عليه وتصديره كتغيير في السكربت. تُعدّ مجموعة Selenium أو Playwright عادية، بمحدِّدات مختارة بعناية وعادة مراجعة قصيرة، بديلًا صالحًا عن أي أداة إصلاح ذاتي. شغّل تجربة تجريبية على منطقة واحدة غير مستقرة، وقارن زمن الصيانة قبل أن تقرر. وتطرح الأدوات المبنية على وكلاء الذكاء الاصطناعي، التي يُطلق عليها غالبًا الذكاء الاصطناعي الوكيلي، والتي تعمل انطلاقًا من خطوات مكتوبة بلغة طبيعية، الأسئلة نفسها حول المراجعة.
الخطوة التالية
اختر جزءًا من مجموعة اختبارات الطرف إلى الطرف الذي يتعطل كثيرًا، وفعّل الإصلاح الذاتي فيه لإصدار واحد، وراجع كل إصلاح يدويًا. ثم قرّر إن كانت أتمتة الاختبار ذات الإصلاح الذاتي تستحق دورًا أوسع في مجموعتك، استنادًا إلى عدد الإصلاحات الصحيحة.