M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions→ m365con.net

בלוג · Mirko Peters

מהי אוטומציית בדיקות בשפה טבעית? הסבר פשוט

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

אוטומציית בדיקות בשפה טבעית מאפשרת לבודקים לכתוב שלבים באנגלית פשוטה, ו-AI מבצע אותם בדפדפן. נסביר איך זה עובד, מהן המגבלות שלו ואיך לשפוט אותו.

Automatically translated with AI from the original post. Read the English original

אוטומציית בדיקות בשפה טבעית פירושה שכותבים בדיקה באנגלית יומיומית, ומודל AI מבצע אותה בדפדפן אמיתי. במקום סקריפט מלא בסלקטורים, כותבים "לחץ על הכפתור Log In" או "בדוק שסכום ההזמנה מציג 49.00". ההסבר הזה מיועד למובילי QA ולבודקים ששמעו את המונח ורוצים להבין מה הוא, איך הוא עובד והיכן הוא נעצר. תראו את הרעיון שלב אחר שלב, את המגבלות שיצרני הכלים עצמם מציינים, ודרך פשוטה לשפוט אם הוא מתאים לצוות שלכם.

עיקרי הדברים

  • אוטומציית בדיקות בשפה טבעית פירושה שמתארים שלב בדיקה באנגלית פשוטה, ומודל AI הופך אותו לפעולות בדפדפן כשהבדיקה רצה.
  • היא מחליפה סלקטורים ו-waits שנכתבו ביד בהוראות כמו "לחץ על הכפתור Log In", כך שבודקים שאינם מתכנתים יכולים לכתוב ולקרוא בדיקות.
  • ספקים מתעדים מגבלות: הוראות רחבות או מורכבות נכשלות לעתים קרובות יותר, והוראות של שלב אחד הן האמינות ביותר.
  • כלי AI שנבנו למשימות אינטרנט כלליות עלולים להמציא תוצאות בלי לבדוק את האפליקציה האמיתית, ולכן כל שלב שנוצר צריך בדיקה וכלל ברור של עבר או נכשל.
  • יש להתייחס לכך כאל דרך לכתוב בדיקות מקצה לקצה מהר יותר, ולא כתחליף לתכנון בדיקות, לנתוני בדיקה או לסביבות תקינות.

מה משמעות אוטומציית בדיקות בשפה טבעית

בדיקה אוטומטית קלאסית של ממשק משתמש היא קוד. מפתח או מהנדס אוטומציה כותב את השלבים ומורה לכלי איך לאתר כל רכיב בדף, למשל לפי ה-ID או לפי סלקטור CSS. הבדיקה מריצה את אותם שלבים בכל פעם. כשהדף משתנה, הסלקטור עלול להפסיק להתאים, והבדיקה נכשלת.

בגישה הזאת הבודק כותב את הכוונה במקום זאת. צוות Cypress מתאר את הפקודה cy.prompt שלו כדרך לתאר בדיקות בשפה יומיומית, כמחרוזות טקסט בתוך קובץ הבדיקה. מאמר בבלוג של Cypress מציין שניתן לבדוק ולנפות באגים בשלבים שנוצרו, ואז להמיר אותם לקוד בדיקה סטטי שאפשר לשמור.

הטכנולוגיה שמאחורי זה היא AI generativi: מודל קורא את הטקסט ואת הדף, ומחליט מה לעשות. ברוב הכלים מדובר במודל שפה גדול, מודל AI שאומן על כמויות גדולות של טקסט. חלק מהספקים מכנים את התוכנה שעושה זאת סוכן AI, מכיוון שהוא מבצע פעולות ולא רק עונה על שאלות. המטרה זהה בכל מקרה. אנשים שמכירים את המוצר יכולים לכתוב ולקרוא בדיקות בלי ללמוד שפת תכנות, ולכן הגישה נמכרת לעתים כבדיקות ללא קוד.

עבור צוותי בדיקות תוכנה, שינוי זה נוגע ביצירת הבדיקות ולא בתהליך הבדיקה עצמו. תכנון הבדיקות, נתוני הבדיקה והרצת הבדיקות נשארים כשהיו, ועדיין אדם מחליט איזה מקרה בדיקה לכסות.

בבדיקות אוטומטיות מסורתיות, מהנדסים כותבים ומתחזקים סקריפט בדיקה לכל תהליך. כלי בינה מלאכותית משתמשים במקום זאת בעיבוד שפה טבעית כדי לקרוא כל משפט. חלק מהספקים הולכים רחוק יותר ומכנים את הכלים שלהם "אג'נטיים". מדריך של ספק אחד בשם Autosana, שהוא מדריך שיווקי, מגדיר את ההבדל: כלי אג'נטי מפרש מטרה שנכתבה באנגלית פשוטה, חוקר את הדף החי, פועל ומתאים את עצמו תוך כדי הריצה, וחוסר קוד אינו זהה לאג'נטיות. אותו מדריך מזהיר שמוצרים רבים טוענים לבדיקות מבוססות AI רק because הוסיפו השלמה אוטומטית לעורך סקריפטים. יש להתייחס לתוויות האלה בזהירות, ולשמור על כלל עובר-או-נכשל שאתם שולטים בו.

כך פועלת בדיקה שנכתבת בהוראות כתובות

הפרטים משתנים בין כלים, אך הזרימה דומה. BrowserStack מתעדת את הגרסה הביתא שלה, "NL Test Automation Agent" עבור Selenium, והדף שלה נותן תמונה ברורה:

  1. כותבים הוראה קצרה. כל פקודה היא משפט אחד באנגלית, ולא סלקטור או קוד. הדף ממליץ להתחיל בפועל פעולה, למשל "Click the Submit button".
  2. הבינה המלאכותית מפרשת אותה בזמן הריצה. שלבי האוטומציה נוצרים תוך כדי ריצת הבדיקה, כך שלא נכתבים ידנית סלקטורים או המתנות.
  3. הכלי מבצע את הפעולה בדפדפן. הדף מציג סוגי פקודות כמו לחיצה, הקלדה, חיפוש, ריחוף וגלילה.
  4. הכלי מדווח על התוצאה. ריצות מוצלחות מציגות יומני הצלחה, וריצות שנכשלו מציגות יומני שגיאה עם הסיבה.

השוו זאת לגישה ש-Playwright ממליצה עליה בשיטות העבודה המומלצות שלה: לבדוק את מה שהמשתמשים רואים ועושים, ולהעדיף מאתרים לפי תפקיד, טקסט או מזהה בדיקה על פני XPath או סלקטורי CSS שנשברים כששינוי קטן מתרחש בדף. הגישה הזו מקדמת את אותו רעיון צעד אחד קדימה. הבודק מתאר מה משתמש היה רואה, כמו "the Log In button", והכלי מוצא את האלמנט.

היכן בדיקות בשפה טבעית עוזרות

הגישה מתאימה למשימות מסוימות יותר מאחרות.

  • בדיקות עשן ומסלולי משתמש נפוצים. התחברות, חיפוש, הוספה לסל, תשלום. אלה זרימות של בדיקות מקצה לקצה החשובות ביותר, והן קלות לתיאור במשפט אחד.
  • צוותים שבהם הבודקים אינם כותבים קוד. בודק שמכיר את התהליך העסקי יכול לכתוב ולקרוא את הבדיקה.
  • יצירת בדיקות. חלק מהכלים יכולים ליצור בדיקה מתיאור קצר. אדם עדיין צריך לסקור את תכנון הבדיקה ואת הכיסוי.

העזרה פחותה במקרים שבהם הבדיקה תלויה במספרים מדויקים, בהכנת נתונים מורכבת או בתזמון הדורש שליטה עדינה, כמו בבדיקות ביצועים. בדיקת יחידה של חישוב אינה דורשת דפדפן או מודל AI, ובדיקה חקרנית עדיין דורשת אדם סקרן.

המגבלות שהספקים מודים בהן

יצרני כלים כנים מציינים את המגבלות. השתמשו בהן כרשימת בדיקה בכל פעם שאתם מעריכים מוצר.

  • הוראות מורכבות נכשלות לעתים קרובות יותר. הדף של BrowserStack מציין שמטרות מורכבות או רחבות מדי עלולות להיכשל עם השגיאה UNSUPPORTED_OBJECTIVE, שהאמינות יורדת ככל שהפקודות מסובכות יותר, ושהוראות של שלב אחד הן המדויקות ביותר. פצלו משימה ארוכה לשלבים קצרים.
  • התוצאות עשויות להשתנות. מודל AI מפרש כל הוראה בזמן הריצה, ולכן משפט עמום עלול להוביל לפעולות שונות בריצות שונות. שמרו על כל שלב קצר וספציפי.
  • היכולת עשויה להיות בגרסת ביתא. אותו דף מסמן את היכולת כביתא ומציין שסביבות הנתמכות עשויות להשתנות.
  • תוצאות מומצאות הן סיכון. המאמר של Cypress מזהיר שכלים רבים לדפדפן מבוססי AI נבנו למשימות אינטרנט כלליות ולא לבדיקות. הם עלולים להפיק פלט מומצא בלי לבדוק את האפליקציה בפועל, ולעתים קרובות חסרה להם תמיכה בניפוי שגיאות, באסרציות ובמחזור החיים של הבדיקה.

שמרו על בדיקות קצרות, סקרו את מה שה-AI יצר, ודרשו כלל עובר-או-נכשל ברור לכל שלב.

כשלים, תחזוקה ו-CI

התחזוקה היא המקום שבו בדיקות בשפה פשוטה אמורות להחזיר את ההשקעה, ולכן כדאי לשאול איך כל כלי מתמודד עם שינויים. המדריך של Cypress בנושא יצירת בדיקות בעזרת AI מציג גישה אחת. הוא שומר במטמון את הקוד שנוצר, והמטמון משותף בין מכונות וסביבות, כולל CI, כך שהרצה חוזרת של בדיקה אינה קוראת ל-AI שוב, אלא אם הפרומפט או הדף משנים את המטמון. כאשר סלקטור או הטקסט שלו משתנה בין הרצות, נוצר מחדש הקוד עבור השלב הזה, והשלב מסומן כ"self-healed" ביומנים. המדריך מזהיר שריפוי בכל הרצה מוסיף קריאות AI ומאט את ההרצה, ומייעץ למקד אלמנטים לפי טקסט גלוי ויציב. הוא גם מאפשר לצפות בקוד שנוצר, עם הערות שממפות כל פקודה לשלב הפרומפט המתאים, ולשמור אותו במקום הפרומפט.

המדריך של Autosana מציע הוכחת היתכנות של שבועיים על תהליכי משתמש אמיתיים, כולל תהליכים שנשברו בעבר, עם סקירה של צילומי מסך והקלטות סשן כדי לבקר את מה שהסוכן עשה. הוא אינו מספק שיעורי כשל מדודים, ולכן כדאי להריץ פיילוט משלכם.

האם זה יכול להחליף מהנדסי QA? לא על סמך הראיות האלה: אנשים עדיין מתכננים מה לבדוק, מכינים נתונים ומחליטים אם תוצאה היא נכונה.

שאלות שכדאי לשאול לפני שבוחרים כלי

השתמשו בשאלות האלה בשיחה עם ספק או בפיילוט. הן מתאימות לכל מוצר.

  1. מה בדיוק המודל רואה? האם הוא בודק את הדף האמיתי, או מנחש לפי הטקסט של ההוראה שלכם?
  2. האם אני יכול לקרוא ולייצא את מה שהוא עשה? אתם צריכים יומן של כל שלב שנוצר, וככל האפשר סקריפט קבוע שאפשר לשמור בבקרת גרסאות.
  3. איך הוא מחליט מה עבר ומה נכשל? חפשו בדיקות מפורשות שאתם כותבים, ולא רק את שיקול הדעת של המודל עצמו.
  4. איפה הבדיקה רצה, ומי יכול לראות את הנתונים? חשבונות בדיקה וצילומי מסך עלולים להכיל מידע אמיתי.
  5. מה דוח כשל כולל? צילומי מסך, יומנים והשלב שנכשל חוסכים שעות של ניפוי שגיאות.
  6. האם זה מתאים לחבילת הבדיקות הקיימת שלנו? בדקו את מסגרת האוטומציה שלכם, את צינור ה-CI ואת תהליך הבדיקות הידניות.

דוגמה: בדיקת התחברות אחת, שלוש דרכים

המספרים הם לדוגמה בלבד.

צוות אחד משווה שלוש דרכים לכתוב בדיקת התחברות.

  1. קוד עם סלקטורים. מהנדס כותב כ-12 שורות. זה לוקח 30 דקות. כאשר מפתח משנה את ה-ID של הכפתור, הבדיקה נכשלת ודורשת תיקון.
  2. שפה טבעית. בודק כותב ארבע שורות: לפתוח את דף ההתחברות, להקליד את שם המשתמש, להקליד את הסיסמה, ללחוץ על "Log In" ולבדוק שכותרת הדשבורד מופיעה. זה לוקח 5 דקות. הבודק קורא את השלבים שנוצרו ומאשר שהם תואמים, ומשתמש ב-AI רק כדי להריץ אותם.
  3. שפה טבעית, ואז ייצוא. הצוות שומר את הגרסה באנגלית פשוטה לחקירה, ומייצא סקריפט קבוע לרגרסיה הליליית, כפי שהמאמר של Cypress מתאר לגבי הכלי שלו.

במהלך חודש, שני כשלים נובעים מבאגים אמיתיים, ואחד נובע משלב עמום: "click the button" התאים לכפתור הלא נכון. הם שכתבו אותו כ-"click the Log In button". הדיוק במשפט חשוב לא פחות מהדיוק בסלקטור.

טעויות נפוצות

  • כתיבת הוראות ארוכות ומעורפלות. השתמשו בכוונה אחת לכל שלב, וציינו את שם האלמנט.
  • סמיכה על שלבים שנוצרו ב-AI בלי לקרוא אותם. קראו כל שלב לפחות פעם אחת, ושמרו את היומן.
  • השמטת התוצאה הצפויה. בדיקה צריכה בדיקה ברורה, כמו כותרת או סכום. "לוודא שזה עובד" אינו בדיקה.
  • שימוש בו לכל דבר. בדיקות יחידה ובדיקות אינטגרציה שייכות לקוד, קרוב למפתחים.
  • אימוץ כלי בלי פיילוט. הריצו תחילה עשר בדיקות אמיתיות והשוו את סיבות הכשלים.

איך תוכנה יכולה לעזור

קיימים כמה סוגים של כלי בדיקות מבוססי AI. חלקם מוסיפים פקודות בשפה פשוטה למסגרת מבוססת קוד, כמו התכונות של Cypress ו-BrowserStack שהוזכרו לעיל. אחרים הם פלטפורמות נפרדות לכל צוות ה-QA. מסגרות קוד פתוח כמו Playwright ממשיכות להיות מתאימות היטב לצוותים שמעדיפים קוד.

Genta by Cognillo הוא דוגמה אחת לפלטפורמה נפרדת. לפי הספק, בודקים מתארים בשפה פשוטה מה אפליקציה צריכה לעשות, ו-Genta מריצה את הבדיקה בדפדפן על מכונה וירטואלית בענן ומדווחת על הצלחה או כישלון, עם צילומי מסך ויומנים. הספק טוען שהפלטפורמה מיועדת למובילי QA, ל-SDET ולמהנדסי אוטומציה. אלו הן טענות הספק. לפני שמחליטים, השוו אותה לאפשרויות אחרות במסגרת פיילוט.

גילוי נאות: Cognillo היא נותנת חסות של M365.FM.

הצעד הבא

בחרו מסלול משתמש יציב אחד, למשל כניסה וחיפוש, וכתבו אותו בחמישה צעדים פשוטים באנגלית. הריצו אותו גם בכלי אוטומציה לבדיקות בשפה טבעית וגם במסגרת הבדיקות הנוכחית שלכם, ואז השוו את המאמץ, הכשלים ואיכות היומנים.

Entities in this article

End-to-end testing Generative AI AI agent Genta Automation

Related articles

RSS