هل يستطيع الذكاء الاصطناعي كتابة حالات الاختبار من قصص المستخدم؟ ما الذي يجب التحقق منه أولاً
By Mirko Peters · · Updated
هل يستطيع الذكاء الاصطناعي إنشاء حالات اختبار من قصص المستخدم؟ تُظهر الدراسات مسودات سريعة لكنها تحمل ثغرات. تعرّف على ما يجب التحقق منه أولاً: التغطية، والغموض، والحالات الحدّية، والاختبارات المُختلقة.
Automatically translated with AI from the original post. Read the English original
هل يستطيع الذكاء الاصطناعي إنشاء حالات اختبار من قصص المستخدم؟ نعم، ويفعل ذلك في ثوانٍ، لكن المسودة تحتاج إلى مراجعة دقيقة قبل أن تدخل مجموعة الاختبارات. يستهدف هذا الدليل قادة ضمان الجودة الذين يرغبون في تجربته دون التنازل عن الجودة. ستتعرف على ما وجدته دراستان منشورتان، وعلى المشكلات المتكررة، وعلى قائمة تحقق لمراجعة المسودة. يوضح مثال عملي بأرقام افتراضية كيف يغيّر المراجعة في مجموعة من حالات الاختبار المُنشأة.
النقاط الرئيسية
- يستطيع الذكاء الاصطناعي صياغة حالات اختبار من قصص المستخدم في ثوانٍ إلى دقائق، ووجدت تجربة Thoughtworks تغطية عالية لمعايير القبول المذكورة، لكن الجودة تعتمد على مدى وضوح القصة.
- قاست التجربة نفسها الغموض في نحو 27 بالمئة من الحالات المُنشأة، وفي نحو 6 بالمئة من الحالات غير الصحيحة، لذلك فالمراجعة ليست اختيارية.
- تصف الدراسات أربع مشكلات متكررة: حالات غير ذات صلة أو مُختلقة، وحالات مكررة، وحالات حدّية مفقودة، ومدخلات غير محددة بالكامل.
- راجع كل مسودة على ضوء معايير القبول، وأزل التكرار، وأضف الحالات الحدّية ومسارات السلب، وأعد كتابة أي خطوة غامضة.
- تعامل مع النموذج بوصفه مساعداً يصيغ المسودات، واحتفظ بشخص مسؤول عمّا يدخل إلى مجموعة الاختبارات التراجعية.
هل يستطيع الذكاء الاصطناعي إنشاء حالات اختبار من قصص المستخدم؟ ماذا وجدت الدراسات؟
يصف مقال لشركة Thoughtworks بعنوان AI generated test cases from user stories: an experimental research study تجربة صغيرة. كتب ثلاثة مهندسي ضمان جودة بخبرة تتراوح بين ثلاث وخمس سنوات حالات اختبار يدوية لتسع قصص مستخدم. ثم أنشأت أدوات الذكاء الاصطناعي التوليدي، وهي بشكل أساسي GitHub Copilot مع ChatGPT للمقارنة، حالات اختبار للقصص نفسها باستخدام أوامر مُحسّنة.
في المتوسط، غطّت الحالات المُنشأة 98.67 بالمئة من معايير القبول، وكانت متسقة في بنيتها. يذكر المقال نحو 4 بالمئة من التكرار، ونحو 6 بالمئة من حالات الاختبار غير الصحيحة، وقيمة غموض تقارب 27 بالمئة. ويصف المقال أن الإنشاء يستغرق ثوانٍ إلى دقائق بدلاً من ساعات.
كانت نقاط الضعف واضحة بالقدر نفسه. اعتمدت الجودة بشدة على جودة المدخلات ودقتها. واجهت الأدوات صعوبة مع منطق الأعمال المعقد، ووجدت حالات حدّية قليلة دون توجيه صريح، وقدّمت القليل من اختبارات المتطلبات غير الوظيفية ما لم تُطلب. يصف المؤلفون فرضيتهم بأنها مُتحقَّق منها جزئياً، ويؤكدون أن الإشراف البشري يبقى ضرورياً، ويشيرون إلى أن عينة التسع قصص مستخدم صغيرة.
ورقة بحثية ثانية، وهي دراسة على arXiv بعنوان Automatic High-Level Test Case Generation using Large Language Models، تناولت حالات الاستخدام بدلاً من قصص المستخدم، لذا اعتبرها نتيجة ذات صلة. بنى المؤلفون مجموعة بيانات تضم 1,067 حالة استخدام و3,606 حالات اختبار من 168 مشروعاً. وفي تقييم بشري، حصل GPT-4o على 3.91 في الاكتمال و3.98 في الصلة، مقابل 4.04 و4.30 لحالات الاختبار التي كتبها البشر. رأى المؤلفون أن النتائج مرضية، لكنهم يؤكدون أن تقييماً بشرياً كاملاً لحالات الاختبار المولدة آلياً ضروري.
ماذا تخبرك الأرقام وماذا لا تخبرك
انتبه إلى النسب المئوية. تذكر الدراستان حدودهما بوضوح. استخدمت تجربة Thoughtworks تسع قصص مستخدم وأدوات وإصدارات محددة، وتضمّن التقييم جانباً ذاتياً، ولم تقس الإنتاجية على المدى الطويل. كما تُظهر أن ChatGPT تفوق على GitHub Copilot في المواضع التي تتطلب تفسيراً دقيقاً للتعليمات، أي أن النتائج تعتمد على الأداة وعلى صياغة التعليمات.
في ورقة arXiv، لم يتفق المقيّمون البشريون البالغ عددهم 26 إلا اتفاقاً متوسطاً فيما بينهم، بمعامل Cohen's Kappa بلغ 0.42، وكان المشاركون عينة ملائمة (convenience sample). ويقول المؤلفون أيضاً إن درجة التشابه الآلية لا يمكنها أن تكشف بثقة الحالات الحدّية أو السلبية المفقودة. ولهذا يدعون إلى التقييم البشري.
يحتاج رقم التغطية المرتفع أيضاً إلى نظرة ثانية. فهو يقيس المعايير المكتوبة فقط، ولا يستطيع إظهار القواعد التي لم يكتبها أحد في القصة، وغالباً ما تكمن الأعطال في تلك القواعد الخفية.
أربع مشكلات تتكرر
تذكر ورقة arXiv أربع مشكلات متكررة، وتشير نتائج Thoughtworks إلى الاتجاه نفسه:
- حالات غير ذات صلة. يربط المؤلفون هذه الحالات بـ الهلوسة في الذكاء الاصطناعي: ينتج النموذج معلومات تبدو معقولة لكنها غير صحيحة. ومن الأمثلة اختبار لميزة لا يدعمها التطبيق.
- حالات مكررة. بعض الحالات تكرر حالة أخرى مع تغيير طفيف.
- حالات حدّية مفقودة. أغفلت النماذج حالات أدرجها المختبرون البشريون، مثل رفض نوع ملف غير مدعوم.
- ضعف توصيف المدخلات. أغفلت بعض حالات الاختبار المولدة حقول الإدخال التي يحتاجها الاختبار.
لا تجعل أيٌّ من هذه المشكلات المسودة عديمة الفائدة، بل تخبرك بما يجب البحث عنه.
ما الذي تتحقق منه أولاً: قائمة مراجعة
توصي Thoughtworks بمراجعة المخرجات قبل استخدامها في الإنتاج، وذلك بمقارنتها بمعايير القبول، وتحديد المنطق غير الواضح، والتحقق من تغطية الحالات الحدّية. حوّل ذلك إلى قائمة مراجعة لكل دفعة:
- التغطية. هل لكل معيار قبول حالة اختبار واحدة على الأقل؟ اكتب المعايير وضع علامة على كل منها بعد التحقق.
- اختبارات مختلقة. هل تطابق كل حالة شيئاً ورد في القصة؟ احذف الحالات الخاصة بميزات غير موجودة.
- التكرار. ادمج الحالات التي تتحقق من السلوك نفسه بالبيانات نفسها.
- الخطوات المحددة. هل تسمّي كل خطوة العنصر والبيانات؟ أعد صياغة العبارات الغامضة مثل "أدخل بيانات صالحة".
- النتائج المتوقعة. هل يمكن رؤية كل نتيجة متوقعة على الشاشة أو في سجل؟
- الحالات الحدّية ومسارات الفشل. أضف إدخالاً فارغاً، وتنسيقاً خاطئاً، والحدود القصوى، وإخفاقات الأذونات.
- المتطلبات غير الوظيفية. أضف فحوصات الأداء وإمكانية الوصول والأمان التي تلمّح إليها القصة، لأن النموذج قد يتجاهلها.
في الدفعات الكبيرة، راجع عينة أولاً. اقرأ أول عشر حالات كاملة. إذا فشلت كثير منها في القائمة، فأصلح القصة أو التعليمات قبل المتابعة، لأن الخلل نفسه سيتكرر في بقية الحالات. هذه قاعدة عملية وليست نتيجة من الدراسات.
يندرج توليد حالات الاختبار بالذكاء الاصطناعي ضمن اختبار البرمجيات كخطوة صياغة تسبق أتمتة الاختبار. يستطيع فريق ضمان الجودة استخدام الذكاء الاصطناعي لإنشاء حالات اختبار لكل سيناريو في القصة، والتحقق من تغطية الاختبار مقابل معايير القبول، ثم تحديد الحالات التي تُحوَّل إلى اختبارات آلية. تتولى أداة الذكاء الاصطناعي الكتابة، ويحتفظ فريق ضمان الجودة بتصميم الاختبار. وبهذه الطريقة يمكنك توليد الاختبارات بسرعة أكبر دون التفريط في جودة المجموعة.
هذا الفحص عمل يقوم على الإنسان في الحلقة. لا يعيد المختبر كتابة المسودة، بل يقيّمها، وهذا التقييم هو الجزء الذي لا يستطيع النموذج تقديمه.
اجعل المدخلات أسهل للذكاء الاصطناعي
تشير Thoughtworks إلى أن الطلب تطوّر من سؤال بسيط إلى طلب يمنح النموذج دورًا محددًا ويطلب منه استخدام صيغة Given, When, Then عند الاقتضاء. كما تشير إلى أن تغطية السيناريوهات المعقدة احتاجت إلى عمل كبير في صياغة الطلب. تساعد ثلاث عادات على ذلك:
- اكتب معايير قبول صريحة. إذا كانت قصة المستخدم غامضة، فستكون الحالات غامضة. أصلح القصة أولًا.
- أضف السياق. حدّد دور المستخدم ومجال المنتج وأي قواعد لا يستطيع النموذج تخمينها.
- اطلب بنية محددة. استخدم الذكاء الاصطناعي بتنسيق واضح: اطلب عنوانًا وشروطًا مسبقة وخطوات وبيانات ونتيجة متوقعة لكل حالة، واطلب من الذكاء الاصطناعي سرد افتراضاته.
احرص على خلو الطلب من الأسرار وبيانات العملاء. استخدم قيمًا توضيحية مختلقة.
مثال: مراجعة دفعة واحدة
الأرقام من نسج الخيال.
تعطي إحدى الفرق عشر قصص مستخدم لمساعد ذكاء اصطناعي، فيُعيد ستين حالة اختبار خلال دقائق قليلة. يراجع قائد ضمان الجودة الحالات مع مالك المنتج.
- 6 حالات مكررة، لذلك تحذفها الفرق.
- 5 حالات تختبر سلوكًا لا يمتلكه المنتج، لذلك تحذفها الفرق أيضًا. يبقى بعد ذلك 49 حالة.
- 7 حالات من الـ 49 المتبقية تحتوي على خطوات أو نتائج غامضة، لذلك تعيد الفرق كتابتها.
- 9 حالات حدّية ومسارات سلبية مفقودة، لذلك تضيفها الفرق يدويًا.
تضم مجموعة الاختبار النهائية 58 حالة اختبار. استغرقت المراجعة نحو ثلاث ساعات، في حين كان كتابة الحالات الـ 58 من الصفر ستستغرق يومًا كاملًا على الأرجح. تحتفظ الفرق بملاحظات المراجعة، وتسجّل أنواع الحالات التي رُفضت، وتستخدمها لتحسين الطلب في السprint التالي. المكسب حقيقي، لكنه يأتي من المراجعة وليس من النموذج وحده.
الأخطاء الشائعة
- قبول الدفعة دون قراءة. تدخل الحالات المكررة والمختلقة إلى المجموعة فتُضعف الثقة بها.
- الحكم على النجاح بعدد الحالات. عدد أكبر من الحالات لا يعني تغطية أكبر.
- تغذية النموذج بقصص غامضة. المدخلات الضعيفة تعطي مخرجات ضعيفة.
- نسيان الحالات الحدّية وفحوصات الخصائص غير الوظيفية. تُظهر الدراسات أن النماذج تميل إلى إغفالها.
- وضع البيانات الخاصة في الطلبات. استخدم قيمًا مختلقة واتبع سياسة البيانات لديك.
- إغفال الربط بمعايير القبول. بدون هذا الربط لا يمكنك إثبات ما تغطيه الاختبارات.
كيف يمكن للبرمجيات أن تساعد
يمكن لجدول بيانات أو لأداة إدارة الاختبارات لديك أن يحتفظ بمعايير القبول والحالات المُولَّدة وحالة المراجعة جنبًا إلى جنب. ضع علامة على كل حالة بأنها مقبولة أو مُعاد كتابتها أو مرفوضة، واحتفظ بالأعداد، حتى تعرف بعد بضعة سprints معدل الرفض الخاص بفريقك. تساعد أداة مراجعة الشيفرة أو مستند مشترك المختبرين ومالكي المنتج على المراجعة معًا. وإذا استخدمت مساعد ذكاء اصطناعي، فاختر أداة تتيح لك التحكم في الطلب ورؤية مخرجاتها كاملة. وبالنسبة للحالات على مستوى المتصفح، يمكن لأداة end-to-end testing تعتمد لغة مبسطة أن تنفذ الخطوات المعتمدة. جرّب الأمر على فريق واحد قبل تعميمه.
الخطوة التالية
خذ قصة مستخدم واحدة مكتملة، واطلب من أداة ذكاء اصطناعي توليد حالات اختبار لها، ثم راجع المسودة في ضوء القائمة أعلاه. سجّل عدد ما تحذفه وما تعيد كتابته وما تضيفه، واستخدم هذه الأرقام لتقرير مدى السماح للذكاء الاصطناعي بتوليد حالات الاختبار من قصص المستخدم في فريقك.