כיסוי בדיקות ליישומים עסקיים: איך לעקוב אחר מה שנבדק בפועל
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
מעקב אחר כיסוי בדיקות של תכונות מראה אילו תכונות של יישום עסקי יש להן בדיקות ואילו אין להן. בנו מטריצת כיסוי, קראו את הפערים שבה ושמרו עליה מעודכנת.
Automatically translated with AI from the original post. Read the English original
מעקב אחר כיסוי בדיקות של תכונות עונה על שאלה פשוטה אחת ליישום עסקי: לאילו תכונות יש בדיקה, ומה קרה בפעם האחרונה שהבדיקה רצה? מדריך זה מיועד למובילי QA שמתחזקים בדיקות ליישומי ליבה עסקיים ורוצים תמונה ברורה לקראת פגישות שחרור. תראו במה כיסוי בדיקות בבדיקות תוכנה שונה מכיסוי קוד, איך למדוד כיסוי בדיקות באמצעות מטריצת כיסוי, ואיך לשמור עליו מעודכן. דוגמה מעובדת עם מספרים בדויים מראה מדוע אחוז גבוה של תכונות ממופות יכול עדיין להסתיר פערים.
עיקרי הדברים
- כיסוי בדיקות שואל אילו תכונות, דרישות ומקרי שימוש יש להם בדיקות, בעוד כיסוי קוד מודד רק כמה קוד מקור הופעל במהלך הבדיקות.
- מטריצת כיסוי ממפה כל דרישה או תכונה למקרי הבדיקה שבודקים אותה, יחד עם עדיפות, תוצאות, סטטוס ובעלים.
- בדיקה מקושרת מראה כיסוי מתועד, לא אימות מוצלח, ולכן יש לעקוב אחר התוצאות לכל build לצד הקישורים.
- התחילו מהרשימה המלאה של התכונות, כולל אלו בלי בדיקות, כי מטריצה שנבנית רק מהבדיקות הקיימות לא יכולה להראות מה מעולם לא נבדק.
- בדקו את המטריצה בזמן תכנון, אחרי שינויים ולפני החלטות שחרור, ושמרו תמונות מצב מתוארכות כראיה.
מה משמעות כיסוי בדיקות, ומה היא אינה אומרת
המאמר של Perforce על כיסוי בדיקות לעומת כיסוי קוד מפריד בין שני רעיונות שצוותים רבים מבלבלים ביניהם.
- כיסוי בדיקות עוסק בתכונות ובמקרי שימוש. הוא עוזר לראות אם נשקלו כל התרחישים הנדרשים, והמאמר מכנה אותו אינדיקטור טוב לסיכון. מודדים אותו מול מדדים כמו מפרטים, סיכון, פונקציונליות ומוצר.
- כיסוי קוד הוא מדידה של כמה מקוד המקור של היישום הופעל במהלך הבדיקות, ולרוב מובע כאחוז מהשורות. הוא מראה איזה קוד נבדק ואיזה לא.
ביישום עסקי, כמו מערכת הזמנות או פורטל משאבי אנוש, הרעיון הראשון בדרך כלל חשוב יותר לאנשים שנשענים על התוכנה. מנהל שואל אם אישור חשבוניות נבדק, ולא אם שורה 4,200 רצה.
אותו מאמר מזהיר מפני קריאה נדיבה מדי של כל אחד מהמספרים. כיסוי קוד אינו בהכרח שווה לאיכות קוד, וכיסוי בדיקות אינו מבטיח שליישום אין באגים. אם הבדיקות חלשות, גם הכיסוי חלש. התייחסו לכיסוי כמפה של המקומות שבדקתם, ולא כציון.
מעקב אחר כיסוי בדיקות של תכונות בארבעה שלבים
המדריך של TestRail על מטריצת מעקב דרישות מתאר שיטה שניתן לצמצם לארבעה שלבים למעקב אחר כיסוי בדיקות של תכונות.
- הגדירו את היקף העבודה. החליטו איזה שחרור או איזו קבוצת תכונות המטריצה מכסה, ולאילו builds וסביבות היא חלה.
- רשמו כל תכונה. אספו מקורות מוסמכים את הרשימה המלאה של הפריטים בהיקף, ותנו לכל פריט מזהה ייחודי וקבוע. המדריך מדגיש לשמור על הרשימה המלאה, כולל פריטים בלי בדיקות. רשימה שנבנית רק מהבדיקות הקיימות לא יכולה לחשוף מה מעולם לא קושר לבדיקה.
- מפו כל פריט לבדיקות שלו. קשרו כל פריט למקרי הבדיקה, לסקירות או לניתוחים שמעריכים אותו, ובדקו שהבדיקות האלה מתייחסות לקריטריוני הקבלה המרכזיים שלו.
- רשמו תוצאות וערכו סקירה. רשמו את התוצאה עבור הבילד הרלוונטי, קשרו פגמים לתוצאות שהושפעו מהם, הסכימו על מה נחשב מאומת, ובדקו את המטריצה כדי לאתר מיפויים חסרים ומקרי בדיקה מיושנים.
התחילו בזה מהזרימות החשובות ביותר, ולאחר מכן עבור כל פיצ'ר חדש כשהוא מגיע. לכל צוות QA יש זרימת עבודה משלו, לכן שמרו על השלבים קלים. מטריצה קטנה ומעודכנת שווה יותר ממטריצה מלאה שאף אחד לא סומך עליה.
כאשר צוות בוחר לאוטומט בדיקה, התמונה משתנה רק במעט. בדיקה אוטומטית היא עדיין מקרה בדיקה אחד, ו**כיסוי אוטומציה** פירושו שיעור הפיצ'רים הממופים שהבדיקות שלהם רצות ללא צורך בבודק. מומלץ לספור אותו בעמודה נפרדת, לצד מקרי הבדיקה הידניים, כדי שהצוות יראה כמה מהבדיקות אוטומטיות וכמה עדיין תלויות באנשים. מדדי כיסוי כאלה עוזרים בתכנון, אבל מספר הפיצ'רים בסיכון גבוה שעדיין לא נבדקו הוא זה שמניע לפעולה.
מה כוללת מטריצת הכיסוי
TestRail מפרט את העמודות שמטריצה מלאה יכולה להכיל. לצוות QA קטן, אלה מספיקות:
- מזהה דרישה או פיצ'ר ותיאור קצר.
- עדיפות או סיכון, כדי לקרוא את הפערים לפי הסדר הנכון.
- מזהי מקרי בדיקה מקושרים, שיכולים לכלול מקרים ידניים ואוטומטיים מחבילת end-to-end testing שלכם.
- התוצאה האחרונה והבילד, כדי שהמטריצה תראה מה קרה ומתי.
- סטטוס, כגון לא מכוסה, מכוסה, עבר, נכשל או חסום.
- בעלים, האדם שאחראי לשורה.
PractiTest, במאמרו על מטריצת עקיבות דרישות, מתאר עקיבות בשני כיוונים: מפיצ'ר אל הבדיקות שלו, ומבדיקה חזרה אל הפיצ'ר שהיא תומכת בו. שני הכיוונים עוזרים בדרכים שונות. הראשון מראה מה יש לפיצ'ר. השני מראה מדוע בדיקה קיימת, ואילו בדיקות יש לבדוק כשדרישה משתנה.
קריאת המטריצה: פערים, עומק וגיל
מטריצה שימושית רק כמו השאלות שאתם שואלים אותה.
- פערי מיפוי. אילו פיצ'רים אין להם בדיקה מקושרת? TestRail מגדיר כיסוי מיפוי כשיעור הדרישות הניתנות לבדיקה ובתחום הפרויקט שיש להן לפחות בדיקה מקושרת אחת.
- פערי אימות. TestRail מבהיר שבדיקה מקושרת מעידה על כיסוי מתועד, לא על אימות מוצלח. בדקו את התוצאה האחרונה: האם הבדיקה רצה, והאם עברה?
- עומק. PractiTest מזהיר שאפשר לבדוק משהו במלואו מבחינת אחוזים, אך לא בהכרח היטב מבחינת עומק. בדיקה אחת לכל פיצ'ר עשויה להיות דלה, וחשוב לשים לב גם לשילובים בין דרישות.
- גיל. בדיקה שלא רצה במשך חודשים אומרת מעט על הבילד של היום. הציגו את תאריך ההרצה האחרונה.
- יתומים. בדיקות שאינן מקושרות לכלום עשויות להגן על סיכון שרשימת הפיצ'רים שלכם לא לוכדת. TestRail ממליץ לבחון בדיקות לא מקושרות לפני שמסירים אותן.
רשימה קצרה של חמשת הפערים המסוכנים ביותר מועילה יותר בישיבת שחרור מטבלה של מאתיים שורות.
היכן כלי כיסוי קוד עדיין עוזרים
ההערה של Martin Fowler על כיסוי בדיקות מכנה כלי כיסוי "כלי שימושי למציאת חלקים לא בדוקים של בסיס הקוד", ומציע להריץ כלי כיסוי מדי פעם כדי לבחון את הקוד שלא נבדק. הוא גם כותב שכיסוי הוא בעל ערך מועט כהצהרה מספרית על איכות הבדיקות שלכם, משום שמספרי כיסוי גבוהים קל מדי להשיג באמצעות בדיקות באיכות נמוכה. הוא היה חושד בכל דבר שמתקרב ל-100 אחוז, ורואה בכיסוי מתחת לכחצי סימן אזהרה. הוא מוסיף שכיסוי מועיל ביותר לאנשים שכותבים את הבדיקות, משום שקריאתו דורשת שיקול דעת טכני.
מבחינת מובילת QA, זה מרמז על חלוקת עבודה. לדעתנו, מפתחים קוראים את דוח הכיסוי עבור בדיקות היחידה והאינטגרציה שלהם, ואילו צוות ה-QA קורא את מטריצת התכונות כדי לשפר את כיסוי הבדיקות במקומות שבהם הסיכון העסקי הגבוה ביותר, בין אם בבדיקות ידניות ובין אם באוטומציה של בדיקות. אף מספר בודד אינו נותן ביטחון לגבי השחרור. שניהם הם מפה של מאמצי הבדיקה, לא הוכחה לאיכות המוצר.
שמרו על עדכניות
מטריצה לא מעודכנת גרועה מאין מטריצה, כי אנשים סומכים עליה. TestRail ממליצה לסקור אותה בזמן התכנון, לאחר שינויים ולפני החלטות שחרור, ולשמור תמונת מצב מתוארכת כשצריך את הראיות שעומדות מאחורי החלטה. היא מציעה גם למנות רכז ובעלים לבקשות שינוי, לעדכוני בדיקות ולהחלטות אימות. PractiTest מוסיפה שהמטריצה צריכה להישאר גלויה לכל מי שזקוק לה, ומזהירה שעותקים של גיליונות שנשלחו במייל מובילים לבלבול לגבי הגרסה הנוכחית.
שמרו על גרסה משותפת אחת. אם אתם משתמשים בכלי לניהול בדיקות, תנו לו לעדכן את הקישורים והתוצאות בזמן הרצת הבדיקות, כך שהמטריצה לא תלויה בזיכרון של מישהו. היא גם תומכת בבדיקות רגרסיה שלכם, כי הקישורים מראים אילו בדיקות רגרסיה יש להריץ מחדש לאחר שינוי.
דוגמה: 40 תכונות, שלושה מספרים שונים
המספרים בדויים.
מובילת QA עוקבת אחר 40 תכונות של אפליקציית ניהול הזמנות. המטריצה מציגה שלוש תמונות שונות.
- ממופה: ל-31 מתוך 40 תכונות יש לפחות בדיקה מקושרת אחת. זה כיסוי מיפוי של 77.5 אחוזים.
- מאומת: מתוך 31 אלה, 22 עברו בבנייה האחרונה. חמש נכשלו או חסומות, וארבע לא רצו במשך 90 ימים. כיסוי מאומת הוא 22 מתוך 40, או 55 אחוזים.
- פערים: ל-9 תכונות אין שום בדיקה. שלוש מהן בסיכון גבוה: החזרים כספיים, עקיפות מחיר ושינויי תפקיד משתמש.
המובילה מציגה למנהל המוצר את המספר השני, לא את הראשון. ספרינט הבא של הצוות מוסיף בדיקות לשלושת הפערים בסיכון גבוה, מתקן את חמש הבדיקות שנכשלו או חסומות ומריץ מחדש את ארבע הבדיקות הישנות. האחוז בלוח הבקרה עולה, וכך גם הביטחון שמאחוריו. מטריצה שהציגה רק את 77.5 האחוזים הייתה מסתירה את הבעיה.
טעויות נפוצות
- ספירת כיסוי קוד ככיסוי תכונות. שורות קוד שהורצו לא אומרות דבר על פונקציות עסקיות שלא נבדקו.
- בניית המטריצה רק מהבדיקות הקיימות. לעולם לא תראו מה שאין לו בדיקה.
- התייחסות לקישור כהוכחה. הציגו את התוצאה האחרונה לכל בנייה.
- רדיפה אחר אחוז. יעד של 100 אחוז מזמין בדיקות שטחיות שרק נוגעות בכל תכונה.
- הנחת למטריצה להתיישן. סקרו אותה בתכנון, לאחר שינויים ולפני השחרור.
- שמירת עותקים במייל. גרסאות מרובות מובילות לוויכוחים על איזו מהן נכונה.
איך תוכנה יכולה לעזור
גיליון אלקטרוני הוא התחלה סבירה. כלי לניהול בדיקות יכול לקשר בדיקות לתכונות ולעדכן תוצאות אוטומטית, מה שחוסך את התחזוקה הידנית. Genta by Cognillo היא דוגמה אחת. לפי הספק, היא כוללת ניהול מקרי בדיקה ו-suites עם מעקב אחר כיסוי תכונות, הרצות מתוזמנות ולוחות בקרה שמיוצאים ל-Excel, ל-CSV או ל-PDF. אלה הטענות של הספק ו-M365.FM לא בדקה אותן. השוו אותו לאפשרויות אחרות, ובדקו כיצד כל כלי מקשר תוצאות לדרישות לפני שאתם מתחייבים.
גילוי נאות: Cognillo היא נותנת חסות ל-M365.FM.
הצעד הבא
קחו את זרימת העסקים החשובה ביותר שלכם, רשמו את עשר התכונות שלה, ומפו כל אחת לבדיקות שלה במטריצה פשוטה עם התוצאה האחרונה והתאריך. לאחר מכן הביאו את שלושת הפערים הגדולים ביותר לישיבת השחרור הבאה שלכם, וסכמו מי יהיה אחראי על מעקב אחר כיסוי בדיקות התכונות מאותו רגע.