בדיקות קצה-לקצה לא יציבות: מדוע הן נכשלות וכיצד לצמצם אותן
By Mirko Peters · · Updated
בדיקות קצה-לקצה לא יציבות עוברות ונכשלות לסירוגין ללא שינוי בקוד. למדו על חמש הסיבות הנפוצות, איך לתקן המתנות ונתוני בדיקה, ומה לעשות עם בדיקות שאי אפשר לתקן.
Automatically translated with AI from the original post. Read the English original
בדיקות קצה-לקצה לא יציבות הן בדיקות דפדפן אוטומטיות שעוברות בהרצה אחת ונכשלות בהרצה הבאה, בלי שום שינוי בקוד, בבדיקה או בסביבה. המדריך הזה מיועד לראשי QA ולמהנדסי אוטומציה שמבלים יותר זמן בהרצה חוזרת של בילדים אדומים מאשר בתיקון באגים. תראו מדוע הבדיקות האלה אינן יציבות, מהן חמש הסיבות הנפוצות, כיצד לתקן את הגרועה ביניהן (ההמתנה), וכיצד לנהל בדיקות שעדיין אי אפשר לתקן. דוגמה מעשית עם מספרים בדויים מראה כיצד לאתר את שורש הבעיה בשלושה שלבים.
עיקרי הדברים
- בדיקה לא יציבה עוברת לפעמים ונכשלת לפעמים, בלי שום שינוי בקוד, בבדיקה או בסביבה, ולכן כישלון אינו אומר דבר עד שמריצים שוב.
- Google דיווחה שכ-1.5 אחוז מהרצות הבדיקות שלה היו לא יציבות, וכמעט 16 אחוז מהבדיקות הראו רמה כלשהי של אי-יציבות. לכן אי-יציבות היא תופעה רגילה בקנה מידה גדול, וצריך תוכנית להתמודדות איתה.
- חמש הסיבות הנפוצות הן מצב משותף (shared state), תזמון, שירותים מרוחקים, השעון של המערכת ומשאבים שדלפו, והתזמון הוא הדבר הראשון לבדוק בבדיקות דפדפן.
- החליפו השהיות קבועות (sleep) בהמתנה לתנאי גלוי, ותנו לכל בדיקה נתונים משלה, כדי שבדיקות לא יפריעו זו לזו.
- העבירו בדיקה לא יציבה לבידוד (quarantine) כפתרון זמני, אבל הגבילו כמה בדיקות רשאיות להימצא שם ולכמה זמן, אחרת חבילת הרגרסיה תאבד בהדרגה את ערכה.
מדוע בדיקות לא יציבות גורמות כל כך הרבה נזק
בדיקה היא לא יציבה כאשר התוצאה שלה אינה ניתנת לשחזור. המאמר של Martin Fowler על אי-דטרמיניזם בבדיקות מגדיר בדיקה לא דטרמיניסטית כבדיקה ש"עוברת לפעמים ונכשלת לפעמים", "ללא שינוי מורגש בקוד, בבדיקות או בסביבה".
הנזק נובע מאובדן אמון. אם בילד אדום עשוי להיות באג אמיתי או רעש בלבד, אנשים לומדים להתעלם מבילדים אדומים. ואז באג אמיתי חומק החוצה. הצוותים גם מבזבזים זמן: כל כישלון דורש הרצה חוזרת לפני שאפשר לקבוע אם הוא חשוב. חבילת בדיקות לא יציבה מאטה גם את צינור ה-CI, כי כל הרצה שנכשלה ממתינה להרצה חוזרת וחוסמת מאחוריה את תור המיזוגים.
המספרים ממערכות גדולות מראים שזה נורמלי, לא נדיר. פוסט בבלוג הבדיקות של Google, Flaky Tests at Google and How We Mitigate Them, מדווח שכ-1.5 אחוז מכלל הרצות הבדיקות נתנו תוצאה לא יציבה, וכמעט 16 אחוז מהבדיקות הראו רמה כלשהי של אי-יציבות. הוא גם מציין שכ-84 אחוז מהמעברים מהצלחה לכישלון שהוא צופה בהם כוללים בדיקה לא יציבה, וש הפרויקט הממוצע מכיל כ-1,000 בדיקות נפרדות. ייתכן שהמספרים אצלכם יהיו שונים, אבל הלקח תקף: בקנה מידה גדול, אי-יציבות היא עניין של ודאות, ולכן צריך תהליך.
בדיקות קצה-לקצה מבוססות דפדפן חשופות במיוחד. כל בדיקה תלויה בדפדפן, ברשת, באפליקציה שנפרסה, בחשבונות בדיקה ולעיתים גם בשירותים של צד שלישי. ככל שיש יותר חלקים נעים, יש יותר סיכויים להשתנות. לכן בדיקות קצה-לקצה נוטות להיות פחות יציבות מבדיקות יחידה, שיש להן הרבה פחות חלקים נעים.
חמש הסיבות הנפוצות לבדיקות קצה-לקצה לא יציבות
המאמר של Fowler מונה חמש סיבות נפוצות. כל אחת מהן רלוונטית לבדיקות דפדפן.
- חוסר בידוד. הבדיקות חולקות מצב משותף, כמו רשומות במסד נתונים או סשן מחובר, כך שבדיקה אחת משנה את מה שבדיקה אחרת רואה. תיקון: לבנות מחדש את מצב ההתחלה לכל בדיקה, או לנקות אחריה.
- התנהגות אסינכרונית. הדף זקוק לזמן כדי להגיב, והבדיקה פועלת מוקדם מדי או מאוחר מדי. לפי העצה של Fowler, אין להשתמש לעולם בהשהיות קבועות (sleep) כדי להמתין לתגובות אסינכרוניות, ובמקום זאת להשתמש ב-callback או בפולינג.
- שירותים מרוחקים. סביבת sandbox חיה של תשלומים, שירות דואר או ספק זהויות איטיים או לא זמינים. תיקון: להחליף את המערכת המרוחקת בתחליף בדיקה (test double) במקומות שבהם הבדיקה אינה זקוקה למערכת האמיתית.
- זמן. בדיקות שקוראות את שעון המערכת מתנהגות אחרת בחצות, בסוף חודש או בין אזורי זמן. תיקון: לשלוט בשעון בתוך הבדיקה.
- דליפות משאבים. בדיקה משאירה חיבור או סשן פתוחים, ובדיקה מאוחרת ולא קשורה נכשלת כשהמשאב אוזל.
הפוסט של Google מוסיף מקביליות, הסתמכות על התנהגות לא דטרמיניסטית או לא מוגדרת, קוד צד שלישי לא יציב ובעיות תשתית. מומלץ להתייחס לשתי הרשימות כרשימת בדיקה כשחוקרים את שורש הכשל של בדיקה שנכשלת.
תחילה לתקן את ההמתנות
בבדיקות דפדפן, התזמון הוא בדרך כלל החשוד הראשון. בדיקה שלוחצת על כפתור לפני שהוא מוכן, או בודקת הודעה לפני שהיא מופיעה, תעבור במכונה מהירה ותיכשל במכונה עמוסה.
השהיה קבועה כמו "להמתין 5 שניות" היא התשובה הגרועה ביותר. היא מבזבזת זמן כשהדף מהיר, ועדיין נכשלת כשהדף איטי. Fowler מתאר פולינג כבדיקה קבועה ותדירה ולא רק פעם אחת, וטוען שערכי זמן קשיחים לעולם לא צריכים להופיע כערכים מילוליים בבדיקה.
כלים מודרניים מטמיעים את זה בתוכם. התיעוד של Playwright בנושא actionability מפרט את הבדיקות שהוא מבצע לפני פעולה: האלמנט חייב להיות גלוי, יציב (מיקומו לא משתנה בין פריימים של אנימציה), זמין, מסוגל לקבל אירועים בנקודת הלחיצה, ולגבי הקלדה, ניתן לעריכה. Playwright ממתין עד שהבדיקות עוברות, או נכשל עם שגיאת timeout. בעמוד ההמלצות שלו נכתב גם שטענות web-first מנסות שוב עד שהתנאי מתקיים.
כללים מעשיים:
- המתינו לתנאי שמשתמש יכול לראות, כמו כותרת או שורה בטבלה, ולא למספר שניות.
- העדיפו סלקטור המבוסס על role, טקסט או מזהה בדיקה (test ID) על פני נתיבי CSS או XPath ארוכים, שנשברים כששינוי בפריסת הדף.
- הגדירו timeout אחד נדיב לכל השלב, במקום הרבה השהיות קטנות.
- בדקו את התוצאה באמצעות טענה (assertion) שמנסה שוב.
בידוד נתוני הבדיקה וסביבת הבדיקה
המנוף הגדול השני הוא הנתונים. תנו לכל בדיקה חשבון משלה, הזמנה משלה או תיקייה משלה. אל תאפשרו לשתי בדיקות לערוך את אותה רשומה. אם הבדיקות חייבות לרוץ במקביל, נתונים משותפים מבטיחים כשלים אקראיים.
כדאי גם לבחון את הסביבה. מערכת staging משותפת שצוותים אחרים פורסים אליה באמצע הריצה שלכם תגרום לכשלים שאף תיקון בבדיקה לא יוכל לרפא. יש להסכים על חלונות פריסה, או להריץ את חבילת הבדיקות מול סביבה ייעודית.
אם שלב תלוי בשירות חיצוני, שאלו האם הבדיקה עוסקת בשירות הזה. אם לא, החליפו אותו ב-stub. שמרו מספר קטן של בדיקות שמשתמשות בשירות האמיתי, וטפלו בהן כקבוצה נפרדת.
לבסוף, הפכו כל כשל לקל לאבחון. שמרו את הלוג, צילום מסך ו-trace של כל ריצה כושלת בצינור ה-CI שלכם. עמוד ההמלצות של Playwright מציע לאסוף trace בניסיון החוזר הראשון של בדיקה כושלת, כדי שתוכלו לשחזר מה קרה במקום לנחש. עם לוג ו-trace, בדיקה לא יציבה הופכת לבעיית תהליך ברורה שניתן לתקן, כמו timeout בשלב UI איטי אחד.
מה לעשות עם בדיקות שעדיין לא ניתן לתקן
חלק מהבדיקות הלא יציבות דורשות יותר זמן ממה שיש לכם, וחלקן תלויות בקוד שאינו שלכם. במקרים כאלה, נהלו אותן בשקיפות, ושמרו על אמינות תוצאות הבדיקות התקינות.
- בידוד (Quarantine). Fowler מתאר העברת בדיקות לא דטרמיניסטיות לחבילה נפרדת, כך שהבדיקות התקינות ימשיכו לספק משוב אמין. הוא מוסיף שיש לתקן בדיקות מבודדות במהירות, ושיש להגביל כמה מהן יכולות להצטבר או כמה זמן הן יכולות להישאר.
- ניסיון חוזר עם תיעוד. Google מתארת הרצה חוזרת של בדיקות כושלות וסימון בדיקה כלא יציבה, כך שהיא מדווחת על כשל רק אחרי שלושה כשלים רצופים. הפוסט מציין שמדובר בפתרון רחוק מלהיות מושלם, ומזהיר שהוא עלול בקלות להסתיר תחרות תהליכים (race condition) אמיתית או באג אחר בקוד הנבדק.
- עקבו אחר חוסר היציבות לאורך זמן. גוגל מתארת גם כלים שמזהים שינויים ברמת חוסר היציבות של בדיקה. אפילו רשימה פשוטה של בדיקות ושיעור ההצלחה שלהן מראה לאן כדאי להסתכל קודם.
לא משנה מה תבחרו, הפכו את רשימת הבדיקות הלא יציבות לגלויה, הקצו לכל בדיקה בעלים וקבעו תאריך.
דוגמה: איתור הסיבה בשלושה שלבים
המספרים מומצאים.
לחבילה יש 200 בדיקות דפדפן. במשך שבועיים, 14 מהן נכשלות לפחות פעם אחת ללא שינוי בקוד. זה 7 אחוז מהבדיקות.
- קבצו לפי סיבה. הצוות קורא את יומני הכישלונות וממיין את 14 הבדיקות. שמונה נכשלות עם פסק זמן בלחצן, ארבע נכשלות משום ששתי בדיקות ערכו את אותה רשומת לקוח, ושתיים נכשלות רק אחרי פריסה ל-staging.
- תקנו את הקבוצה הגדולה ביותר. הצוות מחליף השהיות קבועות בשמונת הבדיקות התלויות בתזמון בהמתנה לתנאים גלויים. שבע מהן מפסיקות להיכשל.
- תקנו את הקבוצה הבאה. כל בדיקה ששינתה את הלקוח המשותף יוצרת כעת לקוח משלה. ארבע הבדיקות מפסיקות להיכשל.
לאחר השלב השלישי נותרות שלוש בדיקות לא יציבות. הצוות מעביר לבידוד את שתי הבדיקות הקשורות לפריסה, ומקצה לכל אחת בעלים ומועד סופי של שבועיים. שיעור הבדיקות הלא יציבות בחבילה יורד מ-7 אחוז ל-1.5 אחוז, והצוות בודק אותו מחדש מדי שבוע.
טעויות נפוצות
- הוספת השהיות. הן מסתירות את הבעיה לזמן מה ומאטות כל הרצה.
- הרצה חוזרת של הכול והמשך הלאה. הרצות חוזרות ללא תיעוד מסתירות פגמים אמיתיים, והסיבה השורשית נשארת במקומה.
- שיתוף נתוני בדיקה בין בדיקות. הרצות מקבילות הופכות זאת לכישלונות אקראיים.
- בדיקת שירותי צד שלישי בכל בדיקה. החליפו אותם בתחליפים במקומות שבהם השירות אינו עניין הבדיקה.
- תן לרשימת הבידוד לגדול ללא הגבלה. בידוד ללא בעלים הופך לבית קברות.
- האשמת הכלי קודם כול. בדקו תזמון, נתונים וסביבה לפני שאתם מחליפים מסגרת עבודה.
איך תוכנה יכולה לעזור
התחילו ממה שהמסגרת שלכם מציעה: המתנה אוטומטית, עקבות והרצות חוזרות ב-CI. הוסיפו לוח מחוונים של כישלונות לפי בדיקה ולפי סיבה, כדי שהדפוסים ייראו בבירור. בהתחלה גיליון אלקטרוני מספיק. כלים שמשתמשים בסוכן AI להרצת בדיקות משלבים בשפה טבעית עשויים לצמצם חלק מבעיות התזמון, משום שהסוכן מחליט כמה זמן להמתין, אך הם מביאים סיכונים משלהם, כמו פרשנות שגויה של הוראות. הריצו אותם כפיילוט על כמה בדיקות והשוו את שיעור חוסר היציבות לפני שתחליטו.
הצעד הבא
רשמו השבוע את עשר הבדיקות הכי פחות אמינות שלכם, שייכו לכל אחת סיבה סבירה מתוך חמש הסיבות לעיל, ותקנו קודם את בעיות ההמתנה. לאחר מכן עקבו מדי שבוע אחר שיעור בדיקות הקצה-לקצה הלא יציבות, והגנו על הערך של חבילת בדיקות הרגרסיה שלכם באמצעות הגבלה על גודל רשימת הבידוד.