M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions→ m365con.net

בלוג · Mirko Peters

עדויות בדיקה לביקורות: צילומי מסך, יומנים ורשומות עבר/נכשל

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

עדויות בדיקה אוטומטיות לביקורות: מה על מנהל QA לתעד, איך צילומי מסך, יומנים ורשומות עבר/נכשל נשארים ניתנים לבחינה, וכיצד לענות למבקר.

Automatically translated with AI from the original post. Read the English original

עדויות בדיקה אוטומטיות לביקורת הן אוסף הרשומות שמוכיח שבדיקה בוצעה, מראה מה היא בדקה ומציין מה קרה, בצורה שמי שלא היה מעורב יוכל לבחון גם חודשים מאוחר יותר. מדריך זה מיועד למנהלי QA שצוותיהם נדרשים להציג הוכחות בבדיקת ציות או באימות. תלמדו מה מחפש המבקר, אילו חלקים מהרצת בדיקה שווה לשמור, כמה פירוט לתעד וכיצד לארגן את המידע. דוגמה מעובדת עם נתונים בדויים מראה צוות שעובר מהתארגנות בלחץ למענה של חמש דקות.

עיקרי הדברים

  • המבקר צריך לראות מהרשומות בלבד מה נבדק, מה היה צפוי, מה קרה ומי או מה הריץ את הבדיקה, ולכן תוצאה של עבר או נכשל לבדה כמעט אף פעם אינה מספיקה.
  • עדות שימושית מורכבת מחמישה חלקים: צילומי מסך או הקלטות, יומני הרצה, קבצים מצורפים כגון נתוני בדיקה, מטא-דאטה של ההרצה וקישורים בין כשלים לליקויים.
  • צילומי מסך אינם נדרשים מבחינה משפטית, וניתן להשתמש ביומני מערכת כעדות אם היומנים אמינים וכלי האוטומציה לבדיקות עצמו מאומת.
  • התאימו את עומק העדות לסיכון: שמרו רשומות מלאות לפונקציות בסיכון גבוה, ורשומות קלות יותר לפונקציות בסיכון נמוך.
  • קשרו כל בדיקה לדרישה, ומדדו כמה מהר אתם יכולים לאסוף עדות מלאה לדרישה אחת.

מה המבקרים באמת מבקשים

מבקר לא רוצה את כלי הבדיקה שלכם. המבקר רוצה להעריך האם המוצר עושה מה שהוא אמור לעשות, והאם הרשומות שלכם מראות זאת. המאמר של Johner Institute על objective evidence, שנכתב עבור איכות במכשור רפואי, מנסח זאת כך: התיעוד צריך להיות מפורט מספיק כדי שאדם שאינו מעורב יוכל להבין מה בוצע ומדוע הדרישות מתקיימות.

אותו מאמר מתאר ארבע רמות פירוט ברשומות בדיקה, מ"עבר" או "לא עבר" פשוטים ועד לסרטון מלא. הוא מדרג את הרמה הראשונה כלא מספקת, קובע שהשנייה מספקת מעקב מוגבל, ומציין שמהרמה השלישית, שכוללת צילומי מסך, לבוחנים צריך להיות די חומר לעבוד איתו. כמו כן הוא קובע שתוצאה של עבר או נכשל בלבד אינה מתקבלת כשגרה.

לתחום שלכם יש כללים משלו, אך בכמעט כל מסגרת או תקן עולות אותן שאלות:

  • מה נבדק, ונגד איזו דרישה?
  • מה ציפיתם שיקרה?
  • מה קרה, ומי או מה הריץ את הבדיקה?
  • מתי ובאיזו סביבה זה קרה?
  • אם הבדיקה נכשלה, מה עשיתם בנידון?

עדות ביקורת שעונה על חמש השאלות הללו ללא שיחה נוספת היא מה שמאפיין תיק טוב. התייחסו לכך כחלק ממוכנות לביקורת של צוות הבדיקות שלכם, כך שתהיו מוכנים לביקורת לאורך כל השנה ולא רק בשבועות שלפני בדיקה.

עדויות בדיקה אוטומטיות לביקורת: מה לתעד

המדריך של TestCollab על אסטרטגיית עדויות בדיקה מונה חמישה סוגי עדויות. זוהי רשימת בדיקה טובה לכל תיעוד.

  1. צילומי מסך והקלטות. הוכחה חזותית למצבי מסך, הודעות שגיאה וכשלים, וזה עוזר במיוחד ב-end-to-end testing מבוסס דפדפן.
  2. יומני ביצוע. תיעוד שלב אחר שלב של מה שעבר, מה נכשל ולמה.
  3. קבצים מצורפים. נתוני בדיקה, תמונות מצב של תצורה, תגובות API או דוחות מיוצאים.
  4. מטא-נתונים של הרצה. מי הפעיל את ההרצה, מתי, באיזו סביבה ועם איזו תצורה.
  5. קישורים לתקלות. קשר בין כל בדיקה שנכשלה לבין כרטיס הבאג שלה.

אוטומציה של איסוף הראיות היא הצעד הטבעי הבא, וצוותים שמאוטמטים אותו מפסיקים להסתמך על הזיכרון. כלי יכול לצרף צילום מסך בעת כישלון ולשלוח את התוצאות יחד עם הקבצים המצורפים למערכת ניהול בדיקות, וראיות אוטומטיות מסוג זה לא דורשות מאף אחד לזכור דבר. המדריך מוסיף נקודה שימושית: ראיות שנלכדות במהלך הבדיקה מדויקות יותר מראיות שנבנות מחדש בדיעבד. לכידה טובה של ראיות, כשהרישומים שמורים לצד התוצאות, עדיפה על גיליון אלקטרוני שמישהו ממלא לפני הביקורת.

לא every בדיקה צריכה כל ארטיפקט. המדריך מציע שבדיקת smoke עשויה להזדקק רק לסטטוס, בדיקת קבלה עשויה להזדקק לצילום מסך של כל מסך קריטי, ובדיקת רגרסיה עשויה להזדקק לרישומי ביצוע ולפרטי סביבה. רשמו את הכללים האלה פעם אחת, לפי סוג בדיקה, כך שתהליך הביקורת לא יסתמך על ניחושים.

צילומי מסך, יומנים או וידאו: כמה מספיק

Johner מעלה שלוש נקודות שחוסכות זמן.

  • צילומי מסך אינם דרישה משפטית. הם דרך אחת להראות מה קרה, למשל שאזהרה מסוימת הופיעה.
  • יומנים יכולים לשמש כראיה. התנאים הם שפלט המסך והרשומות תואמים, שהתוצאות מוערכות מול הדרישות, שכלי אוטומציית הבדיקות עבר אימות, ושהרישומים עומדים בכללים החלים, כגון 21 CFR Part 11 לרישומים אלקטרוניים בארצות הברית.
  • לוידאו יש עלויות. הוא מראה את הביצוע אך אינו מעריך את התוצאה, לוקח זמן לבדוק אותו, צורך הרבה אחסון וקשה להשתמש בו לבדיקות רגרסיה.

טיוטת ההנחיה של ה-FDA בנושא computer software assurance, כפי שמוסבר במאמר של Jama Software, הולכת באותו כיוון. לפי המאמר, צילומי מסך אינם נדרשים, ולוגים של המערכת, יומני ביקורת ונתונים אלקטרוניים אחרים יכולים לשמש כרישום. הרישום צריך להראות את השימוש המיועד, קביעת הסיכון, פעילויות ההבטחה שבוצעו, כל בעיה שנמצאה ומסקנה לגבי קבילות התוצאות. המאמר מתאר גם גישה מבוססת סיכון: בדיקה מתוסרטת לפונקציות בסיכון גבוה ובדיקה לא מתוסרטת לפונקציות בסיכון נמוך יותר. בדקו איזו גרסה של ההנחיה חלה עליכם, כי המאמר מתאר את הטיוטה.

הכלל המעשי הוא להתאים את עומק הרישום לסיכון. שמרו על רישומים מלאים, עם שלבים, תוצאות צפויות, צילומי מסך ויומנים, במקומות שבהם כשל עלול לפגוע באנשים, בכסף או בציות לרגולציה.

Johner מזכיר גם רובוטים לבדיקה שמדמים פעולות משתמש ומתעדים את התגובות, כאשר AI עשוי לסייע בהערכה. אם אתם משתמשים ב-AI כדי לשפוט תוצאות, התייחסו לפלט ה-AI כטיוטה, שמרו על אדם האחראי לפסיקה הסופית, ואמתו את תכונות ה-AI כמו כל חלק אחר בכלי. פסיקה של AI ללא תיעוד של הנימוקים היא ראיה חלשה, ובדיקות מונעות AI זקוקות לאותו רישום כמו כל בדיקה אחרת. גם את לכידת הרישום הזה אפשר להפוך לאוטומטית.

הפכו את הרישום לאמין וקל למציאה

איסוף ראיות ידני משמעו עבודה ידנית, ועבודה ידנית מזמינה טעויות אנוש, במיוחד בעונת הביקורות כשצוותים מצרפים ראיות ביד. ראיות שאי אפשר למצוא, או שמישהו יכול היה לערוך, הן ראיות חלשות. ארבע הרגלים עוזרים.

  1. קשרו כל בדיקה לדרישה. TestCollab ממליצה לקשר כל בדיקה לדרישה שהיא מאמתת, כך שהראיות יראו איזו בדיקה כיסתה איזו דרישה ובאיזו תוצאה. מטריצת traceability יכולה ליצור קישורים אלה באופן אוטומטי.
  2. שמרו על שובל ביקורת של הרצות הבדיקות. שמרו את ההיסטוריה, כך שבודק יוכל לראות כל הרצה של בדיקה, ולא רק את הירוקה האחרונה. הרצות שנכשלו, תוקנו והורצו שוב צריכות להיכלל בהיסטוריה.
  3. שליטה במי יכול לשנות מה. הגבילו את הרשאות העריכה לתוצאות ולקבצים המצורפים, ותעדו מי שינה בדיקה או את התוצאה הצפויה שלה. שאלו את צוות האיכות שלכם אם נדרשות חתימות רשמיות.
  4. הוסיפו שער בדיקה. TestCollab מציעה סטטוס מותאם אישית כמו "Needs Evidence Review", שחוסם סימון של בדיקה כהושלמה עד שהארטיפקטים הנדרשים מצורפים.

המדריך מציע שלושה מדדים שאפשר לעקוב אחריהם:

  • כיסוי ראיות: שיעור הרצות הבדיקה שיש להן את הארטיפקטים הנדרשים. לפי הדוגמה במדריך, 60 אחוז מול מדיניות שדורשת צילומי מסך מצביעים על בעיית תהליך.
  • זמן עד לראיה: כמה מהר לאחר הרצה מצורפים הארטיפקטים.
  • מהירות שליפה: האם אפשר להוציא ראיות מלאות לכל דרישה תוך פחות מחמש דקות, שהיא הנורמה שהמדריך מציע.

יש לזכור שהמדריך אינו מכסה כמה זמן יש לשמור רשומות או כיצד למנוע שינוי שלהן. התשובות לכך מגיעות מהרגולטור שלכם, מהחוזים שלכם ומהמדיניות הפנימית שלכם. אם החברה כפופה גם למסגרת ציות כמו SOC 2, שאלו את אחראי הציות אם אותן רשומות יכולות לשרת את שתיהן, וחברו את זרימת הבדיקות לצינור שלכם באמצעות אינטגרציה, כך שהרשומות יגיעו בלי העתקה ידנית.

אילו משימות ראיות כדאי לאוטומט, ואילו דורשות אדם

אוטומציה של ראיות עובדת הכי טוב על צעדים חוזרים: איסוף נתונים מהרצות בדיקה, צירוף יומני בדיקה וצילומי מסך, וקישור כל תוצאה לדרישה שלה. לדעתנו, כך נחסך מכם העבודה המשעממת של איסוף ידני של ראיות לפני כל סבב הכנה לביקורת. עדיין צריך שאדם יבדוק את הראיות התומכות, כי רק אדם יכול להעריך אם הן מתאימות לבקרה מסוימת או לדרישת ביקורת מסוימת. יש לשמור את סקריפטי הבדיקה, יומני הבדיקה והתוצאות מהרצות הבדיקה במאגר אחד שמשמש כמקור האמת, ולהשתמש באותן ראיות ציות לכל מסגרת שדורשת אותן, אם צוות האיכות שלכם מסכים.

דוגמה: מבהלה לחמש דקות

המספרים בדויים.

מנהלת צוות QA תומכת ביישום חשבוניות שנופל תחת בדיקת בקרה פנימית. הצוות מריץ 60 בדיקות אוטומטיות לפני כל שחרור. לפני הבדיקה, הבודק בוחר חמש דרישות ומבקש הוכחה לביצוע הבדיקות.

הניסיון הראשון כואב. תוצאות הבדיקה נמצאות בפלט של צינור שפג תוקפו לאחר 30 יום. יש צילומי מסך רק ל-27 מתוך 60 הרצות, כלומר כיסוי ראיות של 45 אחוז. אף אחד לא יכול לומר איזו בדיקה מכסה זיכויים. לצוות לוקח יומיים לענות, והתשובה מלאה פערים.

לאחר הבדיקה, המנהלת מבצעת ארבעה שינויים. לכל בדיקה יש מזהה דרישה. הצינור מצרף צילום מסך ורשומת הרצה לכל צעד שנכשל, וצילום מסך סופי לכל בדיקה קריטית. התוצאות, יחד עם ההיסטוריה, עוברות למאגר שנשמר לכל תקופת הבדיקה, ושער סטטוס בודק חוסם השלמה עד שהארטיפקטים מצורפים. המנהלת גם כותבת כלל של עמוד אחד לכל סוג בדיקה.

בסבב הבדיקה הבא, הבודק שוב שואל על חמש דרישות. הצוות מייצא את ההיסטוריה לכל אחת מהן בערך תוך חמש דקות לדרישה. כיסוי הראיות עומד כעת על 58 מתוך 60 הרצות, ושני החריגים הם בדיקות עשן מתועדות עם סטטוס בלבד, כפי שהכלל מאפשר.

טעויות נפוצות

  • שמירה רק על עובר או נכשל. הבודק לא יכול לדעת מה נבדק בפועל.
  • איסוף ראיות בדיעבד. רשומות שנבנו מחדש מדויקות פחות ונראות חלשות יותר.
  • הקלטת הכול, תמיד. וידאו מלא לכל בדיקה עולה באחסון ובזמן בדיקה, ומעט מאוד ממנו נצפה.
  • אין קישור לדרישות. בלי מעקב (traceability) אי אפשר להראות מה בדיקה מוכיחה.
  • זריקת ההיסטוריה. בודקים עשויים לשאול על הרצות שנכשלו, ולא רק על התוצאה הסופית.
  • אמון עיוור בכלי הבדיקה. אם הרשומות שלו הן הראיות שלכם, ייתכן שגם הכלי שייצר אותן יצטרך אימות.

איך תוכנה יכולה לעזור

התחילו מכלי ניהול הבדיקות ומערכת ה-CI שלכם. הם יכולים לשמור תוצאות, לצרף ארטיפקטים ולשמור היסטוריה. חלק מכלי הבדיקות ופלטפורמות הבדיקה כוללים גם יכולות לתיעוד ראיות. Genta by Cognillo היא דוגמה אחת. לפי הספק, הכלי מדווח על הצלחה או כישלון עם צילומי מסך, יומנים וארטיפקטים של כשלים, ומציע בקרת גישה מבוססת תפקידים, יומן ביקורת וייצוא לוחות מחוונים ל-Excel, CSV או PDF. מדובר בהצהרות של הספק, ו-M365.FM לא בדקה אותן. בדקו את הכלים בפיילוט, ובדקו אם הרשומות עומדות בכללי הציות שלכם.

גילוי נאות: Cognillo היא נותנת חסות ל-M365.FM.

הצעד הבא

בחרו תכונה מפוקחת אחת, ורשמו את חמש העובדות שמבקר יצטרך לראות עבור הבדיקות שלה. לאחר מכן בדקו הרצת בדיקה אחרונה מול הרשימה הזו, והשתמשו בפערים שתגלו כדי לקבוע את הכלל שלכם לראיות בדיקה אוטומטית לצורך ביקורות.

עקבו אחרי הפודקאסטSpotify

Entities in this article

End-to-end testing Audit readiness Compliance Genta Automation

Related articles

RSS