האם בינה מלאכותית יכולה לכתוב מקרי בדיקה מסיפורי משתמש? על מה לשים לב קודם
By Mirko Peters · · Updated
האם בינה מלאכותית יכולה ליצור מקרי בדיקה מסיפורי משתמש? מחקרים מראים טיוטות מהירות עם פערים. ראו על מה לשים לב קודם: כיסוי, אי-בהירות, מקרי קצה ובדיקות שהומצאו.
Automatically translated with AI from the original post. Read the English original
האם בינה מלאכותית יכולה ליצור מקרי בדיקה מסיפורי משתמש? כן, והיא עושה זאת תוך שניות, אבל הטיוטה דורשת בדיקה קפדנית לפני שהיא נכנסת לסוויטת הבדיקות שלכם. מדריך זה מיועד למובילי QA שרוצים לנסות זאת בלי לפגוע באיכות. תראו מה מצאו שני מחקרים שפורסמו, אילו בעיות חוזרות על עצמן, ורשימת בדיקה לבחינת טיוטה. דוגמה מעובדת עם מספרים מומצאים מראה כיצד סקירה משנה קבוצה של מקרי בדיקה שנוצרו.
עיקרי הדברים
- בינה מלאכותית יכולה לנסח טיוטה של מקרי בדיקה מסיפורי משתמש תוך שניות עד דקות, וניסוי של Thoughtworks מצא כיסוי גבוה של קריטריוני הקבלה שהוגדרו, אך האיכות תלויה בבהירות הסיפור.
- אותו ניסוי מדד אי-בהירות בכ-27 אחוז מהמקרים שנוצרו וכ-6 אחוזים מהמקרים שגויים, ולכן סקירה אינה אופציונלית.
- מחקרים מתארים ארבע בעיות חוזרות: מקרים לא רלוונטיים או שהומצאו, מקרים מיותרים, מקרי קצה חסרים וקלטים שאינם מוגדרים במלואם.
- סקרו כל טיוטה מול קריטריוני הקבלה, הסירו כפילויות, הוסיפו מקרי קצה ומסלולים שליליים, וכתבו מחדש כל שלב שאינו ברור.
- התייחסו למודל כאל עוזר שמנסח טיוטות, ושמרו על אחריות אנושית למה שנכנס לסוויטת הרגרסיה.
האם בינה מלאכותית יכולה ליצור מקרי בדיקה מסיפורי משתמש? מה מצאו המחקרים
מאמר של Thoughtworks, AI generated test cases from user stories: an experimental research study, מתאר ניסוי קטן. שלושה מהנדסי QA עם שלוש עד חמש שנות ניסיון כתבו מקרי בדיקה ידניים עבור תשעה סיפורי משתמש. לאחר מכן כלי בינה גנרטיבית, בעיקר GitHub Copilot עם ChatGPT כהשוואה, יצרו מקרי בדיקה לאותם סיפורים באמצעות פרומפטים מעודנים.
בממוצע, המקרים שנוצרו כיסו 98.67 אחוזים מקריטריוני הקבלה והיו עקביים במבנה. המאמר מדווח על כ-4 אחוזי כפילות, כ-6 אחוזים של מקרי בדיקה שגויים וציון אי-בהירות של כ-27 אחוזים. הוא מתאר את היצירה כנמשכת שניות עד דקות במקום שעות.
החולשות היו לא פחות ברורות. האיכות תלויה מאוד באיכות הקלט ובפירוט שלו. הכלים התקשו בלוגיקה עסקית מורכבת, מצאו מעט מקרי קצה ללא הנחיה מפורשת, ועשו מעט בדיקות לא פונקציונליות אלא אם כן התבקשו. החוקרים מכנים את ההשערה שלהם "מאומתת חלקית", קובעים שהפיקוח האנושי נותר חיוני, ומציינים שמדגם של תשעה סיפורי משתמש הוא קטן.
מאמר שני, מחקר ב-arXiv שכותרתו Automatic High-Level Test Case Generation using Large Language Models, בחן מקרי שימוש ולא סיפורי משתמש, ולכן כדאי להתייחס אליו כתוצאה קשורה. המחברים בנו מערך נתונים של 1,067 מקרי שימוש ו-3,606 מקרי בדיקה מ-168 פרויקטים. בהערכה אנושית, GPT-4o קיבל ציון של 3.91 בשלמות ו-3.98 ברלוונטיות, לעומת 4.04 ו-4.30 עבור מקרי בדיקה שנכתבו ידנית. המחברים מצאו שהפלט מספק, אך הם מציינים שנדרשת הערכה אנושית מלאה של מקרי הבדיקה שנוצרו באופן אוטומטי.
מה המספרים אומרים ומה הם לא אומרים
יש להיזהר עם האחוזים. שני המחקרים מציינים את מגבלותיהם. ניסוי Thoughtworks השתמש בתשעה סיפורי משתמש, בכלים וגרסאות מסוימים, בהערכה שחלקה סובייקטיבית, ולא מדד פרודוקטיביות לטווח ארוך. הוא גם מדווח ש-ChatGPT הצליח יותר מ-GitHub Copilot במקומות שנדרשה פרשנות מפורטת של הנחיות, ולכן התוצאות תלויות בכלי ובהנחיה.
במאמר ה-arXiv, 26 המעריכים האנושיים הסכימו זה עם זה רק במידה בינונית, עם Cohen's Kappa של 0.42, והמשתתפים היו מדגם נוחות. המחברים גם קובעים שציון דמיון אוטומטי אינו יכול לזהות באופן אמין מקרי קצה או מקרים שליליים שחסרים. לכן הם קוראים להערכה אנושית.
גם נתון הכיסוי הגבוה דורש מבט שני. הוא מודד את הקריטריונים שנכתבו. הוא אינו יכול להראות את הכללים שאף אחד לא כתב לתוך הסיפור, ולעיתים קרובות דווקא בכללים הנסתרים האלה נמצאים הפגמים.
ארבע בעיות שחוזרות שוב ושוב
המאמר ב-arXiv מזכיר ארבע בעיות חוזרות, ותוצאות Thoughtworks מצביעות לאותו כיוון:
- מקרים לא רלוונטיים. המחברים מקשרים אותם ל-AI hallucination: המודל מייצר מידע שנשמע סביר אך שגוי. דוגמה אחת הייתה מבחן לתכונה שהאפליקציה לא תמכה בה.
- מקרים מיותרים. חלק מהמקרים חוזרים על מקרה אחר עם שינוי קל.
- מקרי קצה חסרים. המודלים פספסו מקרים שבודקים אנושיים כללו, כמו דחיית סוג קובץ שאינו נתמך.
- מפרט קלט חלש. חלק ממקרי הבדיקה שנוצרו השמיטו שדות קלט שהבדיקה זקוקה להם.
אף אחת מהבעיות האלה אינה הופכת טיוטה לחסרת תועלת. הן אומרות לכם למה לשים לב.
מה לבדוק קודם: רשימת בדיקה לסקירה
Thoughtworks ממליצה לסקור את הפלט לפני שימוש בייצור, על ידי בדיקה מול קריטריוני הקבלה, סימון לוגיקה לא ברורה ואימות כיסוי מקרי קצה. הפכו זאת לרשימת בדיקה לכל קבוצה:
- כיסוי. האם לכל קריטריון קבלה יש לפחות מקרה בדיקה אחד? רשמו את הקריטריונים וסמנו אותם.
- מבחנים שהומצאו. האם כל מקרה תואם למשהו בסיפור? הסירו מקרים לתכונות שאינן קיימות.
- כפילויות. אחדו מקרים שבודקים את אותה התנהגות עם אותם נתונים.
- צעדים ספציפיים. האם כל צעד מציין את הרכיב והנתונים? נסחו מחדש ניסוחים מעורפלים כמו "הזינו נתונים תקינים".
- תוצאות צפויות. האם ניתן לראות כל תוצאה צפויה על המסך או ברשומה?
- מקרי קצה ומסלולי כישלון. הוסיפו קלט ריק, פורמט שגוי, גבולות וכשלי הרשאות.
- צרכים שאינם פונקציונליים. הוסיפו בדיקות ביצועים, נגישות ואבטחה שהסיפור מרמז עליהן, מכיוון שהמודל עלול לדלג עליהן.
בקבוצה גדולה, סקרו תחילה מדגם. קראו את עשרת מקרי הבדיקה הראשונים במלואם. אם רבים מהם נכשלים ברשימת הבדיקה, תקנו את הסיפור או את ההנחיה לפני שתמשיכו לקרוא, כי אותו פגם יחזור בשאר המקרים. זהו כלל עבודה ולא תוצאה מהמחקרים.
יצירת מקרי בדיקה בעזרת AI משתלבת בבדיקות תוכנה כשלב טיוטה שמקדים אוטומציה של בדיקות. צוות QA יכול להשתמש ב-AI כדי ליצור מקרי בדיקה לכל תרחיש בדיקה בסיפור, לבדוק את כיסוי הבדיקות מול קריטריוני הקבלה, ואז להחליט אילו מקרים להפוך לבדיקות אוטומטיות. כלי ה-AI עושה את עבודת ההקלדה, וצוות ה-QA שומר על תכנון הבדיקות. כשעובדים כך, אפשר ליצור בדיקות מהר יותר בלי להוריד את איכות הסוויטה.
הבדיקה הזו היא עבודה של human-in-the-loop. הבודק לא כותב מחדש את הטיוטה. הבודק שופט אותה, והשיפוט הזה הוא החלק שהמודל אינו יכול לספק.
הפכו את הקלט לקל יותר עבור ה-AI
Thoughtworks מדווחת שהפרומפט התפתח מבקשה בסיסית לבקשה שנתנה למודל תפקיד וביקשה ממנו להשתמש בתבנית Given, When, Then במקומות המתאימים. היא מדווחת גם שכיסוי של תרחישים מורכבים דרש עבודה משמעותית על הפרומפט. שלוש הרגלים עוזרים:
- כתבו קריטריוני קבלה מפורשים. אם הסיפור עמום, גם המקרים יהיו עמומים. תקנו קודם את הסיפור.
- הוסיפו הקשר. ציינו את תפקיד המשתמש, אזור המוצר וכל כלל שהמודל לא יכול לנחש.
- בקשו מבנה. השתמשו ב-AI עם פורמט ברור: בקשו כותרת, תנאים מוקדמים, שלבים, נתונים ותוצאה צפויה לכל מקרה, וביקשו מה-AI לרשום את ההנחות שלו.
שמרו על הפרומפט נקי מסודות ומנתוני לקוחות. השתמשו בערכים לדוגמה שהומצאו.
דוגמה: בדיקה של קבוצה אחת
המספרים מומצאים.
צוות נותן עשרה סיפורי משתמש לעוזר AI. הוא מחזיר 60 מקרי בדיקה תוך כמה דקות. מנהלת ה-QA בודקת אותם יחד עם בעלת המוצר.
- 6 מקרים הם כפילויות, ולכן הצוות מסיר אותם.
- 5 מקרים בודקים התנהגות שהמוצר אינו כולל, ולכן הצוות מסיר גם אותם. נשארים 49.
- 7 מתוך 49 המקרים שנותרו מכילים שלבים או תוצאות עמומים, ולכן הצוות כותב אותם מחדש.
- חסרים 9 מקרי קצה ומסלולים שליליים, ולכן הצוות מוסיף אותם ידנית.
חבילת הבדיקות הסופית כוללת 58 מקרי בדיקה. הבדיקה נמשכה כשלוש שעות, בעוד שכתיבת כל 58 המקרים מאפס הייתה אולי דורשת יום שלם. הצוות שומר את הערות הבדיקה, רושם אילו סוגי מקרים נדחו, ומשתמש בהם לשיפור הפרומפט לספרינט הבא. המשמעות מוחשית, אבל היא נובעת מהבדיקה ולא מהמודל בלבד.
טעויות נפוצות
- קבלת החבילה בלי לקרוא אותה. כפילויות ומקרים שהומצאו נכנסים לחבילה ושוחקים את האמון בה.
- שיפוט הצלחה לפי מספר המקרים. יותר מקרים לא אומרים כיסוי רחב יותר.
- הזנת סיפורים עמומים למודל. קלט גרוע נותן פלט גרוע.
- שכחה של מקרי קצה ובדיקות לא פונקציונליות. המחקרים מראים שמודלים נוטים לפספס אותם.
- הכנסת מידע פרטי לפרומפטים. השתמשו בערכים מומצאים ופעלו לפי מדיניות הנתונים שלכם.
- דילוג על הקישור לקריטריוני הקבלה. בלעדיו אי אפשר להראות מה מכוסה.
איך תוכנה יכולה לעזור
גיליון אלקטרוני או כלי ניהול הבדיקות שלכם יכולים להחזיק זה לצד זה את הקריטריונים, מקרי הבדיקה שנוצרו וסטטוס הבדיקה. סמנו כל מקרה כמתקבל, כתוב מחדש או נדחה, ושמרו את הספירות, כך שאחרי כמה ספרינטים תדעו מה שיעור הדחייה שלכם. כלי לבדיקת קוד או מסמך משותף עוזרים לבודקים ולבעלי המוצר לסקור יחד. אם אתם משתמשים בעוזר AI, בחרו באחד שמאפשר לכם לשלוט בפרומפט ולראות את הפלט המלא. למקרי בדיקה ברמת הדפדפן, כלי בדיקות קצה-לקצה בשפה פשוטה יכול להריץ לאחר מכן את השלבים שאושרו. הריצו פיילוט בצוות אחד לפני שתפיצו את השיטה.
הצעד הבא
קחו סיפור משתמש אחד שהושלם, בקשו מכלי AI ליצור עבורו מקרי בדיקה, ובדקו את הטיוטה מול הרשימה לעיל. ספרו מה הסרתם, מה כתבתם מחדש ומה הוספתם, והשתמשו במספרים האלה כדי להחליט עד כמה לאפשר ל-AI ליצור מקרי בדיקה מסיפורי משתמש בצוות שלכם.