באילו בדיקות רגרסיה כדאי להתחיל באוטומציה? מדריך להחלטה
By Mirko Peters · · Updated
באילו בדיקות כדאי להתחיל באוטומציה? התחילו מבדיקות רגרסיה קריטיות לעסק, שרצות לעיתים קרובות ויציבות. השתמשו בחמישה קריטריונים ובמטריצת ניקוד פשוטה כדי להחליט.
Automatically translated with AI from the original post. Read the English original
באילו בדיקות כדאי להתחיל באוטומציה? התחילו מבדיקות רגרסיה שמכסות זרימות קריטיות לעסק, רצות על כל build, נדירות להשתנות ולוקחות הכי הרבה זמן לחזור עליהן ידנית. המדריך מיועד למובילי QA עם צוות קטן ורשימה ארוכה של בדיקות ידניות, שצריכים סדר עדיפויות שאפשר להגן עליו. תמצאו בו חמישה קריטריונים לבחירה, רשימה של מה להשאיר ידני בינתיים ומטריצת ניקוד פשוטה. דוגמה מעובדת עם מספרים בדיוניים מדרגת חמישה מועמדים לבדיקה, כך שתוכלו להעתיק את השיטה.
עיקרי הדברים
- כדאי לאטמט קודם בדיקות רגרסיה שמכסות זרימות קריטיות לעסק, רצות לעיתים קרובות, משתנות לעיתים רחוקות ודורשות את הכי הרבה זמן לחזרה ידנית.
- דרגו פיצ'רים לפי מחיר הכישלון: ההסתברות וחומרת הליקוי קובעות איזו בדיקה זוכה לאוטומציה לפני האחרות.
- השאירו בדיקות חד-פעמיות, לא יציבות, חקר ושימושיות ידניות בינתיים, משום שאוטומציה שלהן עלולה לעלות יותר מהרצה ידנית.
- ציון משוקלל מ-1 עד 5 לפי קריטיות, תדירות, יציבות, מאמץ ידני ותנודתיות הופך ויכוח לרשימה מדורגת.
- העדיפו את שכבת הבדיקה הנמוכה ביותר שעובדת, ושמרו על בדיקות קצה-לקצה ברמת הדפדפן לזרימות שבהן אימות מלא הכרחי.
למה סדר האוטומציה חשוב
אוטומציה דורשת מאמץ, והמאמץ מוחזר רק כשבדיקה רצה הרבה פעמים. בדיקה שרצה על כל build מחזירה את עצמה מהר. בדיקה שרצה פעם אחת לא מחזירה דבר.
בצוותי אג'ייל עם ספרינטים קצרים, לצוות כמעט אף פעם אין זמן לאטמט הכול. אוטומציה של בדיקות היא השקעה, ולכן כדאי לחשוב על תשואה על ההשקעה (ROI): שעות הבדיקה הידניות שכל מקרה בדיקה אוטומטי חוסך, פחות השעות שנדרשות לכתוב ולתחזק את תסריטי הבדיקה שלו. לכן סדר האוטומציה קובע כמה מהר ההשקעה מחזירה את עצמה. צוות שמאטמט עשר בדיקות בעלות ערך נמוך ומשאיר את הקופה כבדיקה ידנית השקיע את המאמץ במקום הלא נכון.
המדריך של Ranorex על איך לדעת מה לאטמט מציב את בדיקות רגרסיה בראש סדר העדיפויות, משום שהרצות חוזרות מכפילות את החיסכון. הוא גם ממליץ לדרג פיצ'רים לפי מחיר הכישלון ולהוסיף לחבילת הרגרסיה קודם את הבדיקות של הפיצ'רים המסוכנים ביותר.
המאמר של TestDevLab על תעדוף מקרי בדיקה לבדיקות רגרסיה מתאר את אותו רעיון כתעדוף מבוסס סיכון: דירוג מקרי בדיקה לפי גורמים כמו הסתברות הכישלון וחומרת ההשפעה. הוא ממליץ להתחיל מפונקציות בסיכון גבוה ובעלות קריטיות גבוהה, ואחר כך לעבור לפונקציות בסיכון נמוך יותר. הוא גם קובע שפיצ'רים שמתעדכנים לעיתים קרובות ופיצ'רים מורכבים שמורכבים מכמה רכיבים ראויים לבדיקה מוקדמת יותר.
המסר המעשי: אטמטו לפי סיכון ולפי תדירות ההרצה של הבדיקה, לא לפי רשימת הפיצ'רים או לפי הקלות.
אסטרטגיית אוטומציה קצרה מציינת את המועמדים, הכלים, האחראי ותאריך הבדיקה הבאה. רוב שיטות העבודה המומלצות לאוטומציה של בדיקות מתחילות באותו אופן: מחליטים מה לאטמט, ורק אחר כך בוחרים את הכלי.
באילו בדיקות להתחיל באוטומציה: חמישה קריטריונים
המדריך של Katalon בנושא בחירת מקרי בדיקה לרגרסיה קובע שמועמדים חזקים לאוטומציה עומדים ברוב תנאים מתוך רשימה. אלה חמשת התנאים החשובים ביותר לצוות קטן.
- קריטי לעסק. הבדיקה מכסה זרימה קריטית להכנסות, לאבטחה או לליבת המערכת, כמו התחברות, תשלום או סליקה. אם משהו כאן נשבר, הלקוחות ישימו לב ראשונים.
- רץ לעיתים קרובות. הבדיקה רצה בכל בקשת משיכה (pull request), בכל בנייה לילית או בכל שחרור.
- יציבה. התכונה משתנה לעיתים רחוקות, ולכן הבדיקה לא תדרוש תיקון מתמיד.
- יקרה בביצוע ידני. הבדיקה חוזרנית, איטית וממוקדת לטעויות אנוש. בדיקות חוזרות ומונעות נתונים מתאימות היטב, כי אותם צעדים רצים עם קלטים רבים, וכאן בדיקות אוטומטיות חוסכות את הזמן הרב ביותר.
- תוצאה ברורה. לבדיקה יש תוצאה אובייקטיבית של הצלחה או כישלון שקל לוודא, למשל דרך המסך, תגובת API או מצב המערכת. יש לכסות בנתוני הבדיקה את מקרי הקצה החשובים, ולא כל קלט אפשרי.
בדיקה שעומדת בארבעה או חמישה מהתנאים האלה עולה לראש התור. בדיקה שעומדת רק באחד או שניים ממתינה.
Katalon מוסיף נקודה לגבי שכבות: העדיפו את השכבה הנמוכה ביותר שמספיקה, ואוטומציה של זרימות ממשק משתמש לא יציבות רק כאשר אימות מקצה לקצה הכרחי. אם כלל יכול להיבדק על ידי בדיקת יחידה או קריאת API, הבדיקה הזו בדרך כלל מהירה ויציבה יותר מבדיקת דפדפן. בדיקות ממשק איטיות שייכות לכמה זרימות בלבד שדורשות אותן. יש לשמור בדיקות קצה לקצה ברמת הדפדפן עבור המסעות שבהם יש להוכיח את כל הדרך דרך המסכים.
התאימו את הסדר לפירמידת הבדיקות ולצינור העבודה שלכם
הבחירה קובעת מה לבצע באוטומציה. השכבות קובעות איפה. ה-Practical Test Pyramid של Martin Fowler ממליץ על בדיקות יחידה רבות, קטנות ומהירות, על מספר מצומצם של בדיקות גסות יותר, ועל מעט מאוד בדיקות ברמה הגבוהה ביותר. הכלל שלו לבחירת הרמה שימושי לרשימה מדורגת: אם בדיקה ברמה גבוהה מזהה שגיאה ואף בדיקה ברמה נמוכה יותר אינה נכשלת, כתבו בדיקה ברמה נמוכה יותר. דחפו את הבדיקות לרמה הנמוכה ביותר האפשרית, והסירו בדיקות ברמה גבוהה שמשכפלות מה שהרמות הנמוכות כבר מכסות.
לכן, לפני שכותבים בדיקת דפדפן לפריט מדורג, שאלו שתי שאלות. האם בדיקת יחידה או בדיקת אינטגרציה יכולות להוכיח את אותו כלל מהר יותר? האם יש מקרי בדיקה אוטומטיים שכבר מיותרים? אלה השאלות שלנו, המבוססות על הכלל של Fowler, ולא רשימת בדיקה מהמקורות.
לאחר מכן, שבצו כל בדיקה בצינור העבודה. Ranorex מתארת בדיקות עשן כתת-קבוצה קטנה של בדיקות רגרסיה שרצות עם כל בנייה חדשה, ו-Katalon מציין כל בקשת משיכה, בנייה לילית וכל שחרור כנקודות שבהן מועמדים חזקים רצים. חלוקה מעשית, שהיא הצעה משלנו, היא סט עשן קטן בכל בנייה ושכבת האוטומציה המלאה בכל לילה או בכל שחרור. בדיקות חקרניות (exploratory) נשארות בידי צוות ה-QA, ותכנית זו נבדקת מחדש בכל רבעון.
מה להשאיר לביצוע ידני לעת עתה
לומר "לא" הוא חלק מהתכנית. Ranorex מונה מקרים שבהם אוטומציה אינה משתלמת:
- בדיקות חד-פעמיות. ייתכן שייקח יותר זמן לבצע אוטומציה לבדיקה מאשר להריץ אותה ידנית פעם אחת. בדיקות שיצטרפו לסט הרגרסיה או מונעות נתונים אינן נחשבות לחד-פעמיות.
- תכונות לא יציבות. כל עוד דרישה נמצאת בניסוי או בפיתוח, בדקו אותה ידנית.
- בדיקות ללא תוצאה ברורה של הצלחה או כישלון. בצעו אוטומציה רק כאשר התוצאה אובייקטיבית.
- בדיקות חקרניות ובדיקות שימושיות (usability). Ranorex קובעת שבדיקות אלה לא יכולות ולא צריכות להיות אוטומטיות, משום שהן תלויות בשיקול דעת אנושי.
תכונות שמתנגדות לאוטומציה, כמו CAPTCHA, דורשות תכנית משלהן. Ranorex מציעה לכבות אותן בסביבת הבדיקות, להוסיף מעקף למפתחים, או להשהות את הבדיקה כדי שבודק יסיים את השלב בעצמו.
ידני אינו אומר נשכח. רשמו בדיקות אלה ברשימה עם תאריך סקירה, כדי שתכונה שהתייצבה תוכל לעלות בעדיפות.
דרגו את המועמדים באמצעות מטריצה פשוטה
כששתי בדיקות נראות חשובות באותה מידה, ניקוד הופך את ההחלטה לגלויה. Katalon ממליצה לדרג כל בדיקה בסולם של 1 עד 5 לפי גורמים בעלי משקל, להכפיל כל ציון במשקל שלו ולסכם את התוצאות. הדוגמה שלהם למשקלות: קריטיות עסקית 0.3, תדירות ביצוע 0.2, יציבות 0.2, חיסכון במאמץ ידני 0.15 וציון תנודתיות 0.15, כאשר ציון גבוה משמעותו סיכון נמוך יותר לתנודתיות. הסף המומלץ שלהם: 4.0 ומעלה לאוטומציה, 3.0 עד 3.9 לבחינה מחדש בהמשך, ומתחת ל-3.0 להשאיר ידני או חקרני.
אפשר להשתמש במשקלות האלה כפי שהם, או לשנות אותם. העניין איננו המספר המדויק. העניין הוא שהצוות מסכים על הגורמים לפני שהוא מתווכח על בדיקות בודדות.
מאיפה מגיעים הציונים? Katalon מציינת שנתוני ייצור ותקלות עבר מראים אילו מסלולים חשובים ביותר. TestDevLab מתארת תעדוף מבוסס היסטוריה, שמדרג בדיקות לפי עברן במציאת תקלות. השתמשו ברשימת התקלות ובפניות התמיכה שלכם כדי למלא את עמודת הקריטיות, והשתמשו בהיסטוריית ה-build כדי למלא את עמודות התדירות והתנודתיות. ציון מבוסס נתונים קל יותר להגנה מציון מבוסס על תחושה. עברו על הדירוג עם הצוות כולו, ועקבו אחרי כיסוי הבדיקות של זרימות הקריטיות כספירה פשוטה: כמה מתוך עשר הזרימות המובילות שלכם כוללות מקרה בדיקה אוטומטי?
דוגמה: דירוג חמש בדיקות מועמדות
הציונים הם דמיוניים, והמשקלות הם אלה שלמעלה.
ליד QA יש חמש בדיקות ידניות לדירוג. כל גורם מדורג בסולם של 1 עד 5.
- ייצוא חשבוניות. קריטיות 5, תדירות 5, יציבות 4, מאמץ 4, ציון תנודתיות 3. ציון: 1.5 + 1.0 + 0.8 + 0.6 + 0.45 = 4.35. לאוטומציה קודם.
- איפוס סיסמה. קריטיות 5, תדירות 3, יציבות 5, מאמץ 3, ציון תנודתיות 4. ציון: 1.5 + 0.6 + 1.0 + 0.45 + 0.6 = 4.15. לאוטומציה אחריה.
- פילטר דוחות. קריטיות 3, תדירות 4, יציבות 4, מאמץ 4, ציון תנודתיות 4. ציון: 0.9 + 0.8 + 0.8 + 0.6 + 0.6 = 3.7. לבחינה מחדש ברבעון הבא.
- פריסת דשבורד חדשה. קריטיות 3, תדירות 3, יציבות 1, מאמץ 3, ציון תנודתיות 2. ציון: 0.9 + 0.6 + 0.2 + 0.45 + 0.3 = 2.45. להשאיר ידני עד שהעיצוב ייסגר.
- העלאת תמונת פרופיל. קריטיות 2, תדירות 2, יציבות 3, מאמץ 2, ציון תנודתיות 2. ציון: 0.6 + 0.4 + 0.6 + 0.3 + 0.3 = 2.2. להשאיר ידני.
התוצאה היא רשימה מדורגת: ייצוא חשבוניות, ואחריו איפוס סיסמה, כאשר פילטר הדוחות נשאר במילואים. ה-QA lead מתחיל עם מסגרת אוטומציה קטנה, נתוני בדיקה משותפים ומקרי הבדיקה הראשונים האלה, ואז מרחיב את חבילת האוטומציה. לבעל המוצר יש הנימוקים לנגד עיניו, וכאשר הדשבורד יפסיק להשתנות, ציון היציבות שלו יעלה והוא יוכל לעלות בדירוג.
טעויות נפוצות
- אוטומציה של הבדיקות הקלות ביותר קודם. בדיקות קלות הן לעיתים בעלות השפעה נמוכה, ולכן חבילת הבדיקות גדלה בלי להגן על מה שחשוב.
- אוטומציה של פיצ'ר לא יציב. הבדיקות נשברות עם כל שינוי, והצוות מפסיק לסמוך עליהן.
- ספירת בדיקות במקום מדידת השפעה. חבילה גדולה של בדיקות בעלות ערך נמוך עולה יותר לתחזק ממה שהיא חוסכת.
- התחלת כל בדיקה בשכבת הדפדפן. אם בדיקת יחידה או בדיקת API יכולה לכסות את הכלל, לרוב זול יותר להשאיר אותה שם.
- התעלמות מבדיקה ידנית שעדיין חשובה. בדיקות חקרניות וסקירות שימושיות נשארות אצל הבודקים, ובדיקת תוכנה צריכה את שני סוגי המאמץ.
- אף פעם לא לחזור לדירוג. שימוש, השפעה ויציבות משתנים, ולכן יש לעבור על הרשימה מדי רבעון.
איך תוכנה יכולה לעזור
גיליון אלקטרוני עם חמשת הקריטריונים והמשקלות מספיק כדי להתחיל. הוסיפו עמודה לתאריך הבדיקה האחרונה. כלי ניהול הבדיקות שלכם, אם יש לכם כזה, יכול גם להראות כמה פעמים כל בדיקה רצה וכמה פעמים היא נכשלה, וזה מזין את ציוני התדירות והתנודתיות. נתוני פגמים מהעבר ממערכת הפניות שלכם מראים אילו אזורים נשברים הכי הרבה. כלי בדיקות דפדפן, בין אם מבוססי סקריפטים ובין אם בשפה פשוטה, רלוונטיים רק אחרי שהדירוג מראה אילו זרימות ראויות לבדיקה. בחרו בכלי אחרי שיש לכם את הרשימה, לא לפניה.
הצעד הבא
רשמו את עשרים בדיקות הרגרסיה הידניות האיטיות ביותר שלכם, דרגו כל אחת לפי חמשת הגורמים, ומיינו את התוצאה. לאחר מכן הפכו לאוטומטיות את שלוש הראשונות, והשתמשו ברשימה המדורגת הזו כדי לענות על השאלה אילו בדיקות לאוטומט קודם בפגישת התכנון הבאה שלכם.