טסטים עם ריפוי עצמי: מה המשמעות של המונח ואיפה הוא נגמר
By Mirko Peters · · Updated
אוטומציית טסטים עם ריפוי עצמי מתקנת לוקייטורים שבורים בזמן ריצה. למדו איך זה עובד, מה הוא לא יכול לתקן, איך הוא עלול להסתיר באגים ואילו מנגנוני הגנה כדאי להגדיר.
Automatically translated with AI from the original post. Read the English original
ריפוי עצמי באוטומציית טסטים פירושו שכלי הטסטים מתקן לוקייטור שבור בעצמו, כך שטסט ממשק משתמש ממשיך לרוץ לאחר שינוי לא מזיק, כמו שינוי שם של מזהה. מדריך זה מיועד למהנדסי אוטומציה לטסטים ששמעו את המונח במצגת מכירות ורוצים תשובה מפוכחת. תלמדו איך הריפוי פועל, מה הוא יכול לתקן, מה הוא לא יכול לתקן, איך הוא עלול להסתיר באג אמיתי, ואילו כללים שומרים על בטיחותו. דוגמה מעשית עם מספרים בדויים מדגימה גם את היתרון וגם את הסיכון.
עיקרי הדברים
- ריפוי עצמי פירושו שכלי הטסטים מאתר אלמנט בממשק לפי רמזים אחרים כאשר הלוקייטור השמור מפסיק להתאים, כך שהטסט יכול להמשיך במקום להיכשל.
- הוא פועל כמעט אך ורק על לוקייטורים, ולא על הנחות בדיקה, זרימות טסט, כללים עסקיים או בעיות תזמון, ולכן הוא מכסה חלק צר מתחזוקת הטסטים.
- הסיכון המרכזי הוא רגרסיה מוסתרת: הכלי מתאים את עצמו לאלמנט ששונה, והשינוי הזה הוא בעצם באג. הטסט עובר בזמן שחוויית המשתמש שבורה.
- תיעוד הספקים מציין שהריפוי מתבצע בזמן ריצה והסקריפט נשאר ללא שינוי, ולכן לוקייטורים שעברו ריפוי עדיין צריכים לעבור בדיקה ולהיכתב מחדש לקובץ המקור.
- שימוש בטוח משמעו לרשום כל ריפוי, לבדוק אותם לפי לוח זמנים, לעולם לא לאפשר לכלי לשנות הנחות בדיקה, ולעקוב אחרי קפיצות פתאומיות באחוז ההצלחה.
מהו טסט עם ריפוי עצמי בפועל
טסט ממשק משתמש מאתר כל אלמנט בעמוד באמצעות לוקייטור. לוקייטור הוא כלל כמו "האלמנט עם המזהה btn-pay" או "הכפתור בשם Pay". באוטומציה מסורתית של טסטים, אדם עורך את סקריפטי הטסט בכל פעם שכלל מפסיק להתאים. בחבילת טסטים גדולה, עיצוב מחדש אחד יכול להפוך מאות צעדים לאדומים. בכל כישלון של טסט, מהנדס בדיקות צריך לבדוק אותו, והצוות מבזבז ימים על עבודות תיקון או חוזר לבדיקות ידניות.
ריפוי עצמי הוא הרעיון שהכלי מתקן את הכלל הזה בעצמו, כך שטסט עם ריפוי עצמי שורד שינוי שהיה שובר טסט מסורתי. המאמר של BugBug Self Healing Test Automation: Hype & Reality מגדיר זאת כמנגנונים שמתאימים אוטומטית את האופן שבו טסט מזהה אלמנטים בממשק כאשר הלוקייטור המקורי מפסיק לעבוד.
ריפוי אינו אומר שהכלי מבין את המוצר שלכם. הוא אומר שהכלי מנסה למצוא את אותו אלמנט שוב לפי רמזים אחרים, ואז ממשיך בריצה. יש לראות בטסט עם ריפוי עצמי תיקון לסוג צר של שבירה: שינויים בממשק שמשאירים את ההתנהגות כפי שהיא.
איך פועל ריפוי לוקייטורים
הפרטים משתנים לפי מסגרת הטסטים והמוצר, אבל רוב מנגנוני הריפוי העצמי פועלים לפי אותו דפוס.
- למידה. בזמן ריצות טסט מוצלחות, הכלי רושם יותר מרמז אחד לכל אלמנט. BugBug מתארת זאת כ-fingerprint: מאפיינים כמו מזהה, טקסט, מחלקות (classes), תוויות ARIA ומיקום במבנה העמוד.
- זיהוי. כאשר הלוקייטור השמור לא מוצא דבר, הכלי לא נכשל מיד.
- חיפוש. הוא סורק את העמוד לחיפוש האלמנט שדומה ביותר לזה שזכר. רמזים חזקים ויציבים שוקלים יותר, ורמזים חלשים משמשים כגיבוי.
- המשך ודיווח. הכלי משתמש בהתאמה החדשה, משלים את הריצה ורושם מה עשה.
התיעוד של BrowserStack לתכונת ה-self-healing עם Playwright מתאר את אותו תהליך. לפי התיעוד, ה-healing מתחיל כאשר ה-locator המקורי כבר אינו מוביל לאלמנט, ודורש לפחות הרצה מוצלחת אחת קודמת עם אותו מזהה אלמנט. עוד נכתב שה-healing מתבצע בזמן ההרצה ושומר על הרצה אחת ירוקה, בעוד הסקריפט עצמו נשאר ללא שינוי. הדף ממליץ להעביר את ה-locator שתוקן בחזרה לתוך הבדיקה. הוא גם מפרט מגבלות: ה-healing מוסיף ניתוח נוסף בזמן ההרצה, התמיכה ב-Playwright מתוארת כמוגבלת, ואין אפשרות להתאושש כאשר האלמנט באמת כבר לא קיים.
כלים חדשים יותר משתמשים ב-self-healing מבוסס AI: מודל, לעיתים מבוסס על בינה מלאכותית generative, בוחר את האלמנט החלופי במקום כלל ניקוד קבוע. המדריך של T-Plan מציין ש-healing בסיוע AI מכניס התנהגות הסתברותית לתוך הבדיקות, ושאוטומציה אמינה צריכה להישאר דטרמיניסטית ככל האפשר. BugBug מוסיף שה-healing אינו כולל סוכן AI שכותב מחדש את לוגיקת הבדיקה, וגם אינו מבוסס על הבנה אמיתית של האפליקציה.
שיווק רבות טוען שבדיקות AI מבצעות את ה-healing בעצמן. בפועל, המונח AI בבדיקות תוכנה מכסה טווח רחב, החל מחישוב דמיון פשוט ועד למודל שמדרג מועמדים לאלמנט. כשמדברים עם ספק, שאלו מה ה-AI מחליט בפועל, והאם הלוג מראה מדוע. אם ה-AI בוחר אלמנט שגוי, יכול לחמוק באג, ולכן בחירה של AI דורשת את אותה בדיקה כמו כל healing אחר.
היתרונות של self-healing, ומה הוא לא יכול לתקן
Healing עוזר בעיקר לשינויים קוסמטיים:
- מפתח משנה מזהה או מחלקת CSS, וההתנהגות נשארת זהה.
- שינוי פריסה מזיז כפתור למקום אחר.
- שדרוג של ספריית רכיבים משנה את ה-markup אבל לא את המסך.
במקרים כאלה היתרונות ממשיים: פחות תחזוקה לבדיקות, ושינויים תמימים בממשק כבר לא מפילים מספר רב של בדיקות בבת אחת.
יכולות ה-self-healing של כלי משתלבות באסטרטגיה רחבה יותר של אוטומציית בדיקות, לצד בדיקות חקרניות (exploratory testing), לטובת בדיקה רציפה. הן מגינות על כיסוי הבדיקות של הממשק מפני שינויים ב-UI. בדיקות יחידה ובדיקות API אינן משתמשות ב-locators של מסך, ולכן אינן זקוקות ל-healing כלל.
הוא לא עוזר לרוב שאר הסיבות שבגללן בדיקות נכשלות. BugBug קובע ש-healing חל כמעט אך ורק על locators, ולא על assertions, ערכים צפויים, זרימות בדיקה או כללים עסקיים. הוא גם לא פותר בעיות תזמון או ארכיטקטורת בדיקות לקויה. אם הבעיה שלכם היא המתנות לא יציבות או נתונים משותפים, יש לטפל ב-flaky tests כנושא נפרד קודם לכול, כי healing לא ירפא אותם. אותו מאמר מציין ש-healing מתקשה במערכות מבוססות תפקידים, בלוחות מחוונים דינמיים, בעסקאות רב-שלביות ובמסכים עם תנאים רבים, וש ככל שנדרש יותר הקשר כדי לזהות אלמנט, כך healing נעשה קשה יותר.
locators טובים ומזהי בדיקה יציבים מונעים שברים רבים עוד לפני שנדרש healing. ההנחיות של Playwright לגבי שיטות עבודה מומלצות ממליצות על locators שמשקפים את מה שהמשתמש רואה, כמו תפקיד וטקסט, במקום נתיבי CSS או XPath שבירים. עצה זו מועילה גם בחבילות Selenium.
self-healing באוטומציית בדיקות וסיכון של רגרסיות מוסתרות
הסיכון החשוב ביותר פשוט לנסח: כלי self-healing שמסתגל עלול להסתגל גם לפגם.
המדריך של T-Plan על self-healing באוטומציית בדיקות מכנה זאת רגרסיה מוסתרת: מסגרת עבודה עלולה להתאים את עצמה באופן אוטומטי לאלמנט שהשתנה, והוא בעצם מייצג פגם, כך שהבדיקה עוברת למרות שחוויית המשתמש נפגעה. המדריך מוסיף שהדבר יוצר ביטחון כוזב ומפחית את האמון באוטומציה. הוא גם מציין שמערכות self-healing עלולות לבחור באלמנט החלופי הלא נכון, ושככל שה-healing אגרסיבי יותר, כך גדל הסיכון להתאמה שגויה, וש חלק מהכשלים צריכים להישאר גלויים.
דמיינו כפתור Save באפליקציה הנבדקת שמוחלף בכפתור Delete באותו מקום לאחר מיזוג לקוי. בדיקה שמחפשת "הכפתור בתחתית הטופס" עלולה לעבור ל-healing על הכפתור החדש, ללחוץ עליו ולהמשיך. הסוויטה נשארת ירוקה, והבאג עולה לייצור.
לכן עלייה בשיעור ההצלחה אינה תמיד חדשות טובות. אם שיעור ההצלחה קופץ אחרי פרסום גרסת ממשק ללא שינויים תואמים בבדיקות, בדקו את יומן התיקונים האוטומטיים לפני שאתם חוגגים.
מנגנוני הגנה שמאפשרים להשתמש בזה בבטחה
המדריכים של T-Plan ושל BugBug נותנים עצות דומות. הן חלות בין אם אתם מממשים החלמה עצמית בעצמכם ובין אם אתם רוכשים כלי עם החלמה עצמית:
- תעדו כל תיקון. רשמו את הלוקייטור הישן, את הלוקייטור החדש, את רמת הביטחון בהתאמה ואת השינוי שהכלי ביצע בדף.
- סקרו לפי לוח זמנים. אל תאפשרו התאמה שקטה ללא הגבלה. בדקו את יומן התיקונים אחרי כל גרסה, ואשרו או דחו כל רשומה.
- השתמשו במצב הצעה אם יש לכם אפשרות. אפשרו לכלי להציע תיקון ודרשו מאדם לאשר אותו.
- לעולם אל תאפשרו לו לשנות טענות (assertions). החלמה עשויה לשנות את האופן שבו מוצא אלמנט. היא לעולם לא צריכה לשנות את מה שהבדיקה מצפה לו, שזו מטרת הבדיקה.
- כתבו את התיקונים חזרה לקוד. מאחר שההחלמה מתקנת רק את ההרצה, עדכנו את הסקריפט עם הלוקייטור הטוב יותר.
- הגבילו את היקף הפעולה. לא every אלמנט צריך להתאושש באופן עצמאי. זרימות קריטיות כמו תשלום עשויות לדרוש בדיקות מחמירות יותר, כמו בדיקות ויזואליות, שבודקות איך הדף נראה.
- עקבו אחר המגמה. קפיצה פתאומית בשיעור ההצלחה דורשת הסבר, כי אוטומציה עם החלמה עצמית עלולה לגרום לחבילת הבדיקות להיראות בריאה יותר ממה שהיא באמת.
דוגמה: refactor לתהליך התשלום, עם החלמה ובלעדיה
המספרים מומצאים.
לצוות יש 400 בדיקות אוטומטיות שרצות בדפדפן. Refactor של הצד הקדמי משנה שמות של מזהים בכל דף התשלום. ללא החלמה, 60 בדיקות נכשלות בגלל לוקייטורים, וכל כישלון דורש בדיקה. מהנדס צריך כשני ימים כדי לתקן אותן, ובמשך אותו זמן לצוות אין תוצאת רגרסיה אמינה.
עם החלמה מופעלת, הכלי מתקן לוקייטורים במהלך הרצת הבדיקה כך שכל בדיקה ממשיכה לרוץ, ו-55 מתוך 60 הבדיקות עוברות עם הלוקייטורים שהוחלפו. מוביל ה-QA רואה כל תיקון בדוח. חמש בדיקות עדיין נכשלות כי האלמנטים שלהן הוסרו בכוונה. המהנדס מקדיש חצי יום לחמש הבדיקות האלה ועוד שעה לקריאת יומן התיקונים.
ביומן, שני תיקונים נראים שגויים. בבדיקה לעריכת כתובת, הכלי לחץ על "הסר כתובת" במקום על "שמור כתובת", שהבדיקה רצתה. הבדיקה רק בדקה שהדף עדיין נטען, ולכן עברה. המהנדס מתקן את שני הלוקייטורים ומוסיף טענה חזקה יותר שהכתובת השמורה מופיעה ברשימה.
התוצאה: כשני ימי עבודת תיקון מצטמצמים לכיום בערך. החיסכון אמיתי, אבל הוא קיים רק משום שאדם קרא את היומן. בלי הסקירה הזו, שתי בדיקות היו נשארות ירוקות ובודקות את הדבר הלא נכון.
טעויות נפוצות
- התייחסות להחלמה עצמית כתחליף ללוקייטורים טובים. לוקייטורים יציבים לפי תפקיד, טקסט או מזהה בדיקה מונעים שבירות ואינם עולים דבר.
- הפעלה שקטה ללא פיקוח. אם אף אחד לא קורא את היומן, תיקונים שגויים מצטברים ללא שים לב.
- ציפייה שהיא תתקן בדיקות לא יציבות. בעיות תזמון ונתוני בדיקה לא יציבים דורשים תיקונים אחרים.
- שימוש בבדיקות קריטיות ללא אמצעי הגנה נוספים. הוסיפו בדיקות רגרסיה ויזואליות או בדיקות נתונים לזרימות תשלום והרשאות.
- האמנה בנתוני ספק על הפחתת מאמץ תחזוקה ללא פיילוט. מדדו את ההשפעה האמיתית על חבילת הבדיקות שלכם לפני שאתם מתחייבים.
איך תוכנה יכולה לעזור
מסגרות רבות לבדיקות אוטומטיות, פלטפורמות ענן וכלי אוטומציה אחרים מציעים היום החלמה, בצורות שונות: לוקייטורים חלופיים פשוטים, ניקוד דמיון ובחירת אלמנטים מבוססת AI. השוו ביניהם לפי הנקודות שלעיל, ולא לפי התווית. שאלו האם פלטפורמת ההחלמה העצמית מציגה כל תיקון, מאפשרת לאשר אותו ומייצאת אותו כשינוי בסקריפט. חבילת Selenium או Playwright רגילה עם לוקייטורים שנבחרו בקפידה והרגל סקירה קצרה היא חלופה תקפה לכל כלי עם החלמה עצמית. הריצו פיילוט על אזור אחד בעל כישלונות תכופים והשוו את זמן התחזוקה לפני שתחליטו. כלים שנבנו על גבי סוכני AI, המכונים לעיתים agentic AI, שעובדים מתוך צעדים בשפה טבעית, מעלים את אותן שאלות לגבי סקירה.
הצעד הבא
בחרו חלק אחד מחבילת בדיקות end-to-end שנשבר לעתים קרובות, הפעילו בו החלמה לגרסה אחת, וסקרו ידנית כל תיקון. לאחר מכן החליטו אם אוטומציה של בדיקות עם החלמה עצמית ראויה לתפקיד רחב יותר בחבילה, על סמך מספר התיקונים שהיו נכונים.