M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions→ m365con.net

בלוג · Mirko Peters

פיתוח, סביבת staging וייצור: הרצת בדיקות אוטומטיות בכל סביבה בבטחה

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

איך מריצים בדיקות אוטומטיות ב-staging ובייצור בבטחה: מה מריצים היכן, איך מגדירים כתובות בסיס וסודות, ואיך מגנים על נתוני לקוחות אמיתיים.

Automatically translated with AI from the original post. Read the English original

כדי להריץ בדיקות אוטומטיות ב-staging ובייצור בבטחה, הקצו לכל סביבה תפקיד שונה: חבילת הרגרסיה המלאה ב-staging, וקבוצה קטנה ולקריאה בלבד בייצור. מדריך זה מיועד למובילי QA שמתבקשים לבדוק לעיתים קרובות יותר, מבלי להסתכן בלקוחות או בנתונים אמיתיים. תראו מה משמשת כל סביבה, מה מריצים היכן, איך מגדירים כתובות וסודות, כיצד מתייחסים לנתוני בדיקה, ואילו מנגנוני הגנה כדאי להגדיר. דוגמה מעובדת עם מספרים בדויים מציגה חלוקה שצוות קטן יכול להעתיק.

עיקרי הדברים

  • לכל סביבה יש תפקיד: הפיתוח מספק משוב מהיר, ה-staging הוא הבדיקה האחרונה לפני השחרור, והייצור היא המערכת החיה שעליה משתמשים סומכים.
  • הריצו את חבילת הרגרסיה המלאה, כולל בדיקות הורסניות, ב-staging, והשאירו בייצור חבילת smoke קטנה לקריאה בלבד ומוניטורים מתוזמנים.
  • הגדירו לכל סביבה כתובת בסיס, זמני המתנה ומדיניות ניסיונות חוזרים משלה, ושמרו על פרטי גישה מחוץ לקוד הבדיקות ולמאגר.
  • השתמשו בנתונים סינתטיים או מוסתרים ב-staging, ובחשבונות בדיקה ייעודיים בייצור שאינם נכללים בחיוב, בניתוחים או בדוחות לקוחות.
  • בנו קודם מנגנוני הגנה: ניטור, תוכנית חזרה לאחור, פעולות לקריאה בלבד ודגלי תכונות, ואל תתייחסו לייצור כקו ההגנה הראשון.

למה משמשת כל סביבה

המדריך של Flagsmith על testing environment best practices מתאר ארבע סביבות.

  • פיתוח מעמיד משוב מהיר לפני ריאליזם. מפתחים עובדים מקומית או בסביבת sandbox משותפת.
  • בדיקות או QA הוא מרחב מבוקר לבדיקות פונקציונליות, אינטגרציה ורגרסיה על build.
  • Staging מוגדרת כך שתידמה לייצור ככל האפשר, ומשמשת כבדיקה האחרונה לפני השחרור.
  • ייצור היא הסביבה החיה שבה משתמשים מתקשרים.

יחד הן יוצרות את המסלול של שחרור דרך application lifecycle management: הקוד עובר מסביבה לסביבה, וכל שלב הוא הזדמנות למצוא בעיות בזול.

אותו מדריך מציג שתי נקודות שחשובות לאוטומציה. ראשית, ככל שסביבת הבדיקה דומה יותר לייצור, כך אפשר לסמוך יותר על מה שהיא מראה, והתאמה צריכה לכלול מערכות הפעלה, גרסאות תלויות והגדרות רשת, ולא רק קוד יישום. שנית, סביבות בדיקה לא צריכות לחלוק מסדי נתונים, פרטי גישה או תשתית עם הייצור או זו עם זו. בדיקה שנוגעת במסד הנתונים הלא נכון היא הדרך המהירה ביותר להפוך ריצת בדיקות לתקלה.

בצינור DevOps, כל פריסה יכולה להפעיל קבוצה שונה של בדיקות אוטומטיות. לאחר merge, הפריסה לסביבת הבדיקה מריצה בדיקות מהירות. הפריסה לשלב הבא, staging, מריצה את החבילה המלאה, והשחרור ממתין לתוצאה. בדיקות אוטומטיות בכל שלב נותנות משוב מהיר, ומאוטומטים את המעבר משלב לשלב רק כאשר הבדיקות עוברות. הגישה הזו עובדת בין אם בדיקות ממשק המשתמש משתמשות ב-Selenium, ב-Playwright או בכלי אחר.

איך מריצים בדיקות אוטומטיות בסביבת Staging ובסביבת Production

המאמר של TestDino Playwright Staging vs Production: What to Run Where מציג חלוקה ברורה, והיא חלה על כל כלי.

בסביבת Staging, הריצו את חבילת הרגרסיה המלאה. היא כוללת בדיקות הורסות שמוחקות חשבונות או מרוקנות עגלות קניות, בדיקות ביצועים ועומס, בדיקות רגרסיה ויזואליות ובדיקות למיגרציות של מסדי נתונים. השתמשו בפרטי גישה של סביבת ארגז חול (sandbox) או מצב בדיקה עבור שירותי צד שלישי. Staging הוא המקום לכל בדיקה שכותבת נתונים או מדמה מקרה קצה.

בסביבת Production, הריצו חבילת smoke קטנה של מסלולים קריטיים, שלפי המאמר עומדת על כחמישה עד עשרה תהליכים, וכן ניטורים סינתטיים מתוזמנים, בערך בכל חמש עד חמש עשרה דקות. הוסיפו בדיקות תקינות API לקריאה בלבד ובדיקות קלות דומות. הכלל של המאמר מחמיר: כל בדיקה על המערכת החיה חייבת להיות לקריאה בלבד, או להשתמש בחשבונות בדיקה מבודדים לחלוטין.

החלוקה הזו מתאימה לרעיון שמאחורי end-to-end testing. מסלולים בדפדפן איטיים ולעיתים לא יציבים, ולכן שמרו את הרשימה הארוכה לסביבת Staging, ואפשרו רק למספר קטן של המסלולים החשובים ביותר לרוץ מול המערכת החיה. סמנו בדיקות, למשל כ-smoke או כהורסות, כך שההרצה ב-Production תוכל להחריג את קבוצת הבדיקות ההורסות לפי כלל ולא לפי זיכרון.

הגדירו כל סביבה בלי לחשוף סודות

התייחסו לכל סביבה כאל תצורה נפרדת. TestDino ממליץ להגדיר פרויקט נפרד לכל סביבה ב-Playwright, כשלכל אחד מהם Base URL, timeout ומספר ניסיונות חוזרים משלו. בדוגמה שלו, ב-Staging מותרים ניסיונות חוזרים וב-Production לא, וב-Production נשמרים traces וסרטונים רק במקרה של כשל. הרעיון עובד גם בכלים אחרים.

כללים לתצורה ולסודות:

  1. אל תשמרו פרטי גישה בקובצי תצורה. טענו ערכים ספציפיים לסביבה מקובצי סביבה שאינם נכללים בבקרת גרסאות, והעלו רק קובץ placeholder שמפרט את שמות המשתנים.
  2. השתמשו במאגר הסודות של פלטפורמת ה-CI בצנרות. המאמר ממליץ לשלוף סודות מהגדרות הסביבה של ה-CI ולא מקבצים.
  3. בדקו את המשתנים לפני ההרצה. Base URL חסר גורם לשגיאות מבלבלות, ולכן יש לוודא שכל משתנה נדרש מוגדר לפני שהבדיקה הראשונה מתחילה.
  4. הגדירו את היקף ה-Production בתוך התצורה. סננו את בדיקות ה-Production בקובץ התצורה, ולא רק בדגלים של שורת הפקודה שמישהו עלול לשכוח.
  5. בצעו בקרת גרסאות להגדרת הסביבה. Flagsmith ממליץ לנהל את תצורת הסביבה תחת בקרת גרסאות, כדי ששינויים לא מתועדים לא יגרמו לסטייה ולכשלים בלתי מוסברים.

השתמשו בחשבון נפרד לכל סביבה, והעניקו לכל חשבון את מינימום ההרשאות שהבדיקות שלו צריכות.

נתוני בדיקה: סינתטיים ב-Staging, מבודדים ב-Production

הנתונים הם המקום השני שבו בדיקות בטוחות ובדיקות מסוכנות נפרדות.

  • Staging: השתמשו בנתונים סינתטיים, מנוננים (anonymized) או נתוני זרע (seeded). Flagsmith ממליץ לשקף תרחישים מהעולם האמיתי בעזרת נתונים סינתטיים, להסתיר או לנונימיזציה של כל נתוני ייצור שמועתקים, ולרענן את נתוני הבדיקה לפי לוח זמנים במקום לתת להם להתיישן.
  • Production: הסביבה מכילה נתוני לקוחות אמיתיים ורגישים. TestDino ממליץ על חשבונות בדיקה ייעודיים שמוחרגים מחיוב ומאנליטיקה ואינם מופיעים לעולם בדוחות הנשלחים ללקוחות. אם האפליקציה מטפלת בנתונים מוסדרים רגולטורית, הוא מציע דיירי בדיקה ייעודיים עם נתונים סינתטיים.
  • נתונים ייחודיים לכל הרצה: צרו ערכים ייחודיים לכל הרצה, למשל באמצעות חותמת זמן, והגדירו את מצב המערכת באמצעות קריאת API ולא דרך המסך.
  • ניקוי: אם בדיקה חייבת ליצור רשומה, מחקו אותה לאחר מכן באמצעות קריאת API.

המדריך של BugBug על production testing מוסיף אזהרה על נזק בלתי הפיך. הדוגמאות שלו למה לא לעשות כוללות מקרי קצה בתשלומים עם כרטיסים אמיתיים, מיגרציות נתונים ללא גיבוי, וגבולות הרשאות שנבדקים עם משתמשים אמיתיים.

מסננים לפני בדיקה על המערכת החיה

הכלל המרכזי של BugBug הוא שבדיקות ב-Production עובדות רק כאשר המסננים (guardrails) מקדימים. הרשימה שלו קצרה ומעשית:

  • ניטור, כדי לזהות כשלים במהירות, כולל כשלים שהבדיקות עצמן גורמות להם.
  • פעולות לקריאה בלבד בכל מקום אפשרי, למשל בדיקת דף במקום שליחת טופס. עצרו לפני פעולות סופיות כמו אישור הזמנה.
  • דגלי תכונה (Feature flags) כדי לחשוף שינוי לקבוצה קטנה, להרחיב את קהל המשתמשים בשלבים ולכבות אותו בלי פריסה מחדש. המדריך מזהיר גם מפני דגלים שנשכחו והפכו לחוב טכני.
  • תוכנית חזרה לאחור (rollback) שמוגדרת לפני הבדיקה, כי חזרה לאחור צריכה להיות שגרתית ולא גיבורית.
  • זיהוי, לא אבחון. השתמשו בבדיקות ייצור כדי לסמן בעיה, ואת שורש הבעיה אתרו בסביבה אחרת.

המדריך מציב את הגבולות בצורה ברורה: ייצור הוא לולאת המשוב האחרונה ולא קו ההגנה הראשון, ובדיקות בייצור אינן תירוץ לדלג על בדיקות איכות (QA).

דוגמה: פיצול של חבילת בדיקות בת 120 בדיקות

המספרים לדוגמה בלבד.

לצוות יש 120 בדיקות דפדפן וסביבת staging אחת. כיום כל החבילה רצה ב-staging לפני כל שחרור, ואחרי העלאת השחרור לאוויר לא רץ דבר.

מוביל ה-QA מגדיר שלוש קבוצות. כל 120 הבדיקות נשארות ב-staging, כולל 18 שמסומנות כהרסניות. קבוצת smoke של 8 בדיקות לקריאה בלבד מכסה כניסה, חיפוש, פתיחת חשבונית והורדת דוח. היא רצה על המערכת החיה אחרי כל שחרור ואז כל 15 דקות, באמצעות חשבון בדיקה ייעודי ללא גישה לחיוב. קבוצה שלישית של 4 בדיקות בריאות API רצה כל 5 דקות.

שבועיים מאוחר יותר, קבוצת ה-smoke נכשלת בשעה 2 לפנות בוקר כי הסיסמה של חשבון הבדיקה פגה. ההתראה נשלחת למהנדס התורן, שמזהה מהלוג שהסיבה היא החשבון ולא היישום. הצוות מעביר את הסיסמה למאגר הסודות של ה-CI עם תאריך החלפה. אף לקוח לא נפגע, והצוות למד שלבדיקות בייצור חייב להיות בעלים.

טעויות נפוצות

  • הרצת החבילה המלאה בייצור. בדיקות הרסניות ובדיקות כתיבה שייכות ל-staging.
  • שיתוף מסד נתונים או פרטי גישה בין סביבות. כתובת URL שגויה אחת פוגעת אז בנתונים אמיתיים.
  • שמירת סיסמאות או טוקנים במאגר הבדיקות. השתמשו במאגר סודות ובקובץ placeholder.
  • שימוש בחשבונות לקוחות אמיתיים כחשבונות בדיקה. השתמשו בחשבונות ייעודיים שנשארים מחוץ לחיוב ולאנליטיקה.
  • דילוג על תוכנית החזרה לאחור. החליטו איך תבטלו שינוי גרוע לפני שאתם בודקים אותו.
  • הסחפה של staging מהייצור. בדיקות שעוברות בתצורה שונה אומרות לכם מעט מאוד.

איך תוכנה יכולה לעזור

התחילו ממה שמציעים מערכת ה-CI ומסגרת הבדיקות שלכם: פרויקטים לכל סביבה, מאגר סודות, הרצות מתוזמנות ותגיות. הוסיפו כלי ניטור שמתריע על בדיקות ייצור שנכשלו. יש פלטפורמות בדיקה שמאגדות את החלקים האלה. Genta by Cognillo היא דוגמה אחת: לפי היצרן, היא תומכת בסביבות כמו פיתוח, staging וייצור, עם משתנים מוצפנים, הרצות מתוזמנות ויומן ביקורת. אלה הצהרות של היצרן ו-M365.FM לא בדקה אותן. השוו אותה לאפשרויות אחרות בפיילוט, ובדקו איך כל כלי שומר סודות ומי יכול לקרוא אותם.

גילוי נאות: Cognillo היא נותנת חסות ל-M365.FM.

הצעד הבא

רשמו את הסביבות שלכם, ולכל אחת כתבו אילו בדיקות מותר להריץ בה, באיזה חשבון היא משתמשת ואיפה נמצאים הסודות שלה. לאחר מכן העבירו בדיקה הרסנית אחת מחוץ לייצור, והשתמשו ברשימה הזו כדי להריץ בדיקות אוטומטיות ב-staging ובייצור לפי כללים ברורים.

Entities in this article

End-to-end testing Application lifecycle management (ALM) Genta Automation

Related articles

RSS