M365Con 2027 – مؤتمر مجاني عبر الإنترنت · 11–22 Jan 2027 · 120 sessions→ m365con.net

المدونة · Mirko Peters

أدلة الاختبار للتدقيق: لقطات الشاشة والسجلات وسجلات النجاح والفشل

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

أدلة الاختبار الآلي للتدقيق: ما الذي يجب أن يجمعه قائد ضمان الجودة، وكيف تبقى لقطات الشاشة والسجلات وسجلات النجاح والفشل قابلة للمراجعة، وكيف تجيب المدقق.

Automatically translated with AI from the original post. Read the English original

أدلة الاختبار الآلي للتدقيق هي مجموعة السجلات التي تثبت أن الاختبار قد نُفِّذ، وتُظهر ما الذي تحقق منه، وتوضح ما الذي حدث، وذلك بصورة يستطيع شخص غريب عن الفريق مراجعتها بعد شهور. هذا الدليل موجّه إلى قادة ضمان الجودة الذين يُطلب من فرقهم تقديم إثباتات أثناء مراجعة امتثال أو عملية تحقق. ستتعرف على ما يبحث عنه المدقق، وأي أجزاء من تنفيذ الاختبار تستحق الحفظ، وقدر التفاصيل الذي ينبغي تسجيله، وكيفية تنظيمها. ويوضح مثال عملي بأرقام افتراضية كيف تنتقل فرقة من حالة الارتباك إلى إجابة في خمس دقائق.

النقاط الرئيسية

  • يحتاج المدقق إلى أن يرى من السجلات وحدها ما الذي تم اختباره، وما الذي كان متوقعًا، وما الذي حدث، ومن أو ما الذي نفّذ الاختبار، لذلك نادرًا ما تكفي نتيجة النجاح أو الفشل المجردة.
  • يتكون الدليل المفيد من خمسة أجزاء: لقطات الشاشة أو التسجيلات، وسجلات التنفيذ، والمرفقات مثل بيانات الاختبار، والبيانات الوصفية للتنفيذ، والروابط التي تربط الإخفاقات بالعيوب.
  • لا تشترط القوانين لقطات الشاشة، ويمكن أن تكون سجلات النظام دليلًا إذا كانت السجلات موثوقة وكانت أداة أتمتة الاختبار نفسها معتمدة وتم التحقق من صحتها.
  • اضبط عمق الدليل وفقًا للمخاطر: احتفظ بسجلات كاملة للوظائف عالية المخاطر، وبسجلات أخف للوظائف منخفضة المخاطر.
  • اربط كل اختبار بمتطلب، وقِس مدى سرعتك في استخراج دليل كامل لمتطلب واحد.

ما الذي يطلبه المدققون فعلًا

المدقق لا يريد أداة الاختبار الخاصة بك. يريد أن يحكم على ما إذا كان منتجك يؤدي ما يُفترض به، وما إذا كانت سجلاتك الخاصة تثبت ذلك. تنص مقالة معهد Johner عن الأدلة الموضوعية، المكتوبة لجودة الأجهزة الطبية، على أن التوثيق يجب أن يكون مفصلًا بما يكفي لكي يفهم شخص غير مشارك ما الذي تم إنجازه ولماذا تتحقق المتطلبات.

تصف المقالة نفسها أربعة مستويات من التفصيل في سجلات الاختبار، بدءًا من عبارة بسيطة "ناجح" أو "غير ناجح" وصولًا إلى فيديو كامل. وتصنّف المستوى الأول بأنه غير كافٍ، وتقول إن المستوى الثاني يوفر تتبعًا محدودًا، وإنه من المستوى الثالث، أي لقطات الشاشة، يكون لدى المراجعين ما يكفي للعمل عليه. وتنص أيضًا على أن نتيجة النجاح أو الفشل المجردة لا تُقبل عادةً.

لكل مجال قواعده الخاصة، لكن في أي إطار عمل أو معيار تقريبًا تُطرح الأسئلة نفسها:

  • ما الذي تم اختباره، وما المتطلب الذي يقابله؟
  • ماذا كنت تتوقع أن يحدث؟
  • ما الذي حدث، ومن أو ما الذي نفّذ الاختبار؟
  • متى حدث ذلك، وفي أي بيئة؟
  • إذا فشل الاختبار، فماذا فعلت حيال ذلك؟

الدليل الذي يجيب عن هذه الأسئلة الخمسة دون الحاجة إلى حوار هو ما يميز الملف الجيد. اعتبر ذلك جزءًا من الجاهزية للتدقيق لفريق الاختبار لديك، حتى تبقى جاهزًا للتدقيق طوال العام، لا في الأسابيع التي تسبق المراجعة فقط.

أدلة الاختبار الآلي للتدقيق: ما الذي يجب تسجيله

يذكر دليل TestCollab حول استراتيجية أدلة الاختبار خمسة أنواع من الأدلة، وهي قائمة تحقق جيدة لأي توثيق:

  1. لقطات الشاشة والتسجيلات. دليل مرئي على حالات الشاشة ورسائل الخطأ والإخفاقات، وهو الأكثر فائدة في اختبار التكامل من طرف إلى طرف القائم على المتصفح.
  2. سجلات التنفيذ. سجلات خطوة بخطوة توضح ما نجح وما فشل ولماذا.
  3. المرفقات. بيانات الاختبار، ولقطات من الإعدادات، واستجابات واجهات برمجة التطبيقات، أو التقارير المُصدَّرة.
  4. بيانات وصفية للتنفيذ. من بدأ التشغيل، ومتى، وفي أي بيئة، وبأي إعدادات.
  5. روابط الأخطاء. ربط كل اختبار فاشل بتذكرة الخلل الخاصة به.

أتمتة جمع الأدلة هي الخطوة التالية الطبيعية، والفرق التي تؤتمت هذه العملية تتوقف عن الاعتماد على الذاكرة. يمكن للأداة أن ترفق لقطة شاشة عند الفشل، وأن ترسل النتائج مع مرفقاتها إلى نظام إدارة الاختبارات، والأدلة المؤتمتة من هذا النوع لا تتطلب من أحد أن يتذكر أي شيء. يضيف الدليل نقطة مفيدة، وهي أن الدليل الملتقَط أثناء الاختبار أدق من الدليل الذي يُعاد بناؤه لاحقًا. فالتقاط أدلة جيد، مع حفظ السجلات بجوار النتائج، أفضل بكثير من جدول بيانات يملؤه شخص ما قبل التدقيق.

لا يحتاج كل اختبار إلى كل أنواع الأدلة. يقترح الدليل أن اختبار الدخان قد يحتاج إلى حالة فقط، بينما قد يحتاج اختبار القبول إلى لقطة شاشة لكل شاشة حرجة، وقد يحتاج اختبار الانحدار إلى سجلات التنفيذ وتفاصيل البيئة. دوّن هذه القواعد مرة واحدة لكل نوع من أنواع الاختبارات، حتى لا تعتمد عملية التدقيق على التخمين.

لقطات الشاشة أو السجلات أو الفيديو: ما الكفاية؟

يطرح Johner ثلاث نقاط توفر الوقت.

  • لقطات الشاشة ليست شرطًا قانونيًا. إنها وسيلة واحدة لإظهار ما حدث، على سبيل المثال أن تحذيرًا محددًا قد ظهر.
  • يمكن أن تكون السجلات دليلًا. الشروط هي أن تتطابق مخرجات الشاشة مع الإدخالات المسجلة، وأن تُقيَّم النتائج مقابل المتطلبات، وأن تكون أداة أتمتة الاختبار مُعتمدة، وأن تستوفي السجلات القواعد المعمول بها، مثل 21 CFR Part 11 الخاص بالسجلات الإلكترونية في الولايات المتحدة.
  • للفيديو تكاليف. يُظهر تنفيذ الاختبار لكنه لا يقيّم النتيجة، ويستغرق وقتًا للمراجعة، ويستهلك مساحة تخزين كبيرة، ومن الصعب استخدامه في اختبار الانحدار.

تسير مسودة إرشادات FDA بشأن ضمان برامج الحاسوب، كما يشرحها مقال Jama Software، في الاتجاه نفسه. ووفقًا لذلك المقال، لا تُشترط لقطات الشاشة، ويمكن أن تكون سجلات النظام ومسارات التدقيق وغيرها من البيانات الإلكترونية بمثابة السجل. ينبغي أن يُظهر السجل الاستخدام المقصود، وتحديد المخاطر، وأنشطة الضمان المنفذة، وأي مشكلات تم العثور عليها، واستنتاجًا حول مدى قبول النتائج. ويصف المقال أيضًا نهجًا قائمًا على المخاطر: الاختبار المُنصّ عليه للوظائف عالية المخاطر، والاختبار غير المُنصّ عليه للوظائف الأقل خطورة. تحقق من الإصدار الذي ينطبق عليك من الإرشادات، لأن المقال يصف المسودة.

القاعدة العملية هي تحجيم عمق السجل بحسب المخاطر. احتفظ بسجلات كاملة، تتضمن الخطوات والنتائج المتوقعة ولقطات الشاشة والسجلات، حيث يمكن أن يُلحق الفشل ضررًا بالأشخاص أو بالأموال أو بالامتثال.

يشير Johner أيضًا إلى روبوتات الاختبار التي تحاكي إجراءات المستخدم وتسجّل ردود الفعل، مع إمكانية أن يساعد الذكاء الاصطناعي في التقييم. إذا استخدمت الذكاء الاصطناعي للحكم على النتائج، فعامل مخرجاته كمسودة، واحتفظ بشخص مسؤول عن الحكم النهائي، وتحقق من ميزات الذكاء الاصطناعي كما تفعل مع أي جزء آخر من الأداة. الحكم الصادر عن الذكاء الاصطناعي دون سجل لمنطقه دليل ضعيف، والفحوصات المدفوعة بالذكاء الاصطناعي تحتاج إلى السجل نفسه الذي تحتاجه أي فحوصات أخرى. ويمكنك أتمتة تسجيل هذا السجل أيضًا.

اجعل السجل موثوقًا وسهل العثور عليه

يعني جمع الأدلة يدويًا عملًا يدويًا، والعمل اليدوي يفتح الباب للخطأ البشري، خاصةً في موسم التدقيق حين ترفق الفرق الأدلة يدويًا. والدليل الذي لا يمكن العثور عليه، أو الذي يمكن لأحد أن يعدّله، دليل ضعيف. وأربع عادات تساعد في ذلك.

  1. اربط كل اختبار بمتطلب. توصي TestCollab بربط كل اختبار بالمتطلب الذي يتحقق منه، بحيث يُظهر الدليل أي اختبار غطّى أي متطلب، وبأي نتيجة. ويمكن لمصفوفة التتبّع أن تنشئ هذه الروابط تلقائيًا.
  2. احتفظ بسجل تدقيق لتنفيذات الاختبارات. خزّن السجل التاريخي حتى يتمكن المراجع من رؤية كل تنفيذ لاختبار، وليس آخر تنفيذ ناجح فقط. التنفيذات الفاشلة التي تم إصلاحها وإعادة تشغيلها يجب أن تبقى ضمن السجل.
  3. تحكّم في من يستطيع تغيير ماذا. قيّد صلاحيات التحرير على النتائج والمرفقات، وسجّل من غيّر اختبارًا أو نتيجته المتوقعة. اسأل فريق الجودة لديك عما إذا كنت بحاجة إلى توقيعات رسمية.
  4. أضف بوابة مراجعة. يقترح TestCollab حالة مخصصة مثل "بانتظار مراجعة الأدلة" تمنع وضع علامة اكتمال على الاختبار حتى يتم إرفاق المواد المطلوبة.

يقدّم الدليل نفسه ثلاثة مقاييس يمكنك تتبعها:

  • تغطية الأدلة: نسبة تنفيذات الاختبارات التي تملك المواد المطلوبة. ويورد الدليل مثالًا مفاده أن نسبة 60 بالمئة مقابل نهج يشترط لقطات شاشة تشير إلى مشكلة في العملية.
  • الزمن حتى توفر الدليل: مدى سرعة إرفاق المواد بعد التنفيذ.
  • سرعة الاسترجاع: هل يمكنك استخراج أدلة كاملة لأي متطلب في أقل من خمس دقائق، وهو المعيار الذي يقترحه الدليل.

تذكّر أن الدليل لا يغطي المدة التي يجب الاحتفاظ فيها بالسجلات ولا كيفية منع العبث بها. هذه الإجابات تأتي من جهة الرقابة لديك، ومن عقودك، ومن نهجك الخاص. وإذا كانت شركتك تعمل أيضًا وفق إطار امتثال مثل SOC 2، فاسأل مسؤول الامتثال لديك عما إذا كان يمكن للسجلات نفسها أن تخدم الغرضين، ثم اربط سير عمل الاختبار بخط الأنابيب عبر تكامل، بحيث تصل السجلات دون نسخ يدوي.

أي مهام الأدلة يجب أتمتتها، وأيها يحتاج إلى شخص

تعمل أتمتة الأدلة بأفضل صورة على الخطوات المتكررة: جمع البيانات من تشغيلات الاختبار، وإرفاق سجلات الاختبار ولقطات الشاشة، وربط كل نتيجة بالمتطلب الخاص بها. في رأينا، هذا يوفّر عليك العمل الروتيني المتمثل في جمع الأدلة يدويًا قبل كل جولة تحضير للتدقيق. ومع ذلك يجب أن يراجع شخص ما الأدلة الداعمة، لأن الشخص وحده يستطيع الحكم على ما إذا كانت تدعم ضابطًا محددًا أو متطلب تدقيق بعينه. احتفظ بنصوص الاختبار وسجلات الاختبار ونتائج التشغيلات في مخزن واحد يكون مصدر الحقيقة، واستخدم أدلة الامتثال نفسها لكل إطار يطلبها، إذا وافق فريق الجودة لديك على ذلك.

مثال: من الفوضى إلى خمس دقائق

الأرقام من نسج الخيال.

يدعم قائد فريق ضمان الجودة تطبيق فوترة يخضع لمراجعة ضوابط داخلية. ينفذ الفريق 60 اختبارًا آليًا قبل كل إصدار. وقبل المراجعة يختار المراجع خمسة متطلبات ويطلب إثباتًا لاختبارها.

المحاولة الأولى مؤلمة. نتائج الاختبارات موجودة في مخرجات خط الأنابيب، وهي تنتهي صلاحيتها بعد 30 يومًا. لقطات الشاشة موجودة لـ 27 تنفيذًا فقط من أصل 60، أي تغطية أدلة بنسبة 45 بالمئة. ولا أحد يستطيع أن يحدد أي اختبار يغطي إشعارات الائتمان. يحتاج الفريق إلى يومين للرد، ويبقى الرد ناقصًا.

بعد المراجعة، يُجري القائد أربعة تغييرات. يحصل كل اختبار على معرّف متطلب. يُرفق خط الأنابيب لقطة شاشة وسجل التنفيذ بكل خطوة فاشلة، وبكل اختبار حرج لقطة شاشة نهائية. تنتقل النتائج مع سجلها التاريخي إلى مخزن يُحتفظ به طوال فترة المراجعة، وتمنع حالة مراجعة الاكتمال حتى يتم إرفاق المواد. كما يكتب القائد قاعدة من صفحة واحدة لكل نوع اختبار.

في المراجعة التالية، يسأل المراجع مرة أخرى عن خمسة متطلبات. يصدّر الفريق السجل التاريخي لكل متطلب خلال نحو خمس دقائق للمتطلب الواحد. تبلغ تغطية الأدلة الآن 58 تنفيذًا من أصل 60، والاستثناءان هما اختبارا دخان موثقان بحالة فقط، كما تسمح القاعدة.

الأخطاء الشائعة

  • الاكتفاء بالنجاح أو الفشل. لا يستطيع المراجع أن يعرف ما الذي تم فحصه.
  • توثيق الأدلة بعد وقوعها. السجلات المعاد بناؤها أقل دقة وتبدو أضعف.
  • تسجيل كل شيء دائمًا. الفيديو الكامل لكل اختبار يكلّف مساحة تخزين ووقت مراجعة، ولا يُنظر إلا إلى القليل منه.
  • غياب الربط بالمتطلبات. بدون قابلية التتبع لا يمكنك أن تُظهر ما الذي يثبته الاختبار.
  • التخلص من السجل التاريخي. قد يسأل المراجعون عن التنفيذات الفاشلة، وليس النتيجة النهائية فقط.
  • الثقة العمياء بأداة الاختبار. إذا كانت سجلاتها هي أدلتك، فقد تحتاج الأداة التي أنتجتها نفسها إلى التحقق من صحتها.

كيف يمكن للبرمجيات أن تساعد

ابدأ بأداة إدارة الاختبارات ونظام التكامل المستمر (CI) لديك. يمكنهما تخزين النتائج وإرفاق الملفات الناتجة والاحتفاظ بالسجل التاريخي. وتضيف بعض أدوات الاختبار ومنصاته ميزات لتوثيق الأدلة. وتُعدّ Genta by Cognillo أحد الأمثلة على ذلك. وبحسب الشركة المزوِّدة، فهي تعرض نتيجة النجاح أو الفشل مع لقطات الشاشة والسجلات وملفات الأعطال، وتوفر التحكم في الوصول المستند إلى الأدوار وسجل تدقيق وتصدير اللوحات إلى Excel أو CSV أو PDF. هذه هي بيانات الشركة المزوِّدة ولم يختبرها فريق M365.FM. قارن الأدوات في مرحلة تجريبية، وتحقق مما إذا كانت السجلات تستوفي قواعد الامتثال الخاصة بمؤسستك.

إفصاح: ترعى Cognillo برنامج M365.FM.

الخطوة التالية

اختر ميزة واحدة خاضعة للتنظيم، واكتب الحقائق الخمس التي يحتاج المدقق إلى رؤيتها في اختباراتها. ثم قارن أحدث تنفيذ للاختبار بهذه القائمة، واستخدم الفجوات التي تكشفها لتحديد قاعدتك الخاصة بأدلة الاختبارات الآلية لأغراض التدقيق.

تابع البودكاستApple PodcastsSpotify

Entities in this article

End-to-end testing Audit readiness Compliance Genta Automation

Related articles

RSS