איך לבדוק סוכני AI ותוספי Copilot בצורה שניתנת לחזרה
By Mirko Peters · · Updated
איך לבדוק סוכני AI בצורה שניתנת לחזרה: בונים סט בדיקות, בוחרים שופטים (graders), מדרגים קריאות לכלים ועוקבים אחרי רגרסיות, עם דוגמה של Copilot Studio לראשי צוותי QA.
Automatically translated with AI from the original post. Read the English original
איך בודקים סוכני AI היא שאלה מעשית לכל ראש צוות QA שנדרש לאשר אחד כזה: אותו קלט יכול להניב תשובות שונות, ולכן ההרגל הישן של השוואת הפלט לערך צפוי יחיד כבר לא עובד. המדריך הזה מיועד לראשי צוותי QA שצריכים שיטה שניתנת לחזרה לסוכנים שנבנו ב-Copilot Studio או בכלים אחרים. תראו מה הופך סוכנים לקשים לבדיקה, גישה שכבתית, איך בונים סט בדיקות, אילו שופטים להשתמש בהם, ואיך שומרים על תוצאות בנות השוואה לאורך זמן. דוגמה מעובדת עם מספרים מומצאים מראה צוות קטן שמרכיב את הכול יחד.
עיקרי הדברים
- סוכן AI נותן תשובות שונות לאותו קלט, ולכן בדיקה שניתנת לחזרה פירושה מדידה לפי קריטריונים מוסכמים וספים, ולא התאמה למחרוזת מדויקת אחת.
- מפצלים את הבדיקות של הסוכן לשכבות: unit tests רגילים לניתוב ולפענוח, מדידת איכות של הפלט של מודל השפה, ותרחישי end-to-end לזרימות שמורכבות מכמה שלבים.
- סט בדיקות טוב מתחיל בקטן, מכסה משימות אמיתיות של משתמשים, כשלים ידועים, מקרי קצה והתנהגות בסיכון גבוה, ונשמר תחת בקרת גרסאות לצד הפרומפטים.
- בודקים גם את המסלול ולא רק את התשובה: תשובה שנשמעת נכון אבל דילגה על קריאה לכלי נדרש עדיין נחשבת לכישלון.
- מריצים כל מקרה כמה פעמים, משווים שיעורי כישלון ל-baseline, ושומרים על מקרי חובה ופעולות אסורות כשערי חסימה קשיחים.
מה הופך סוכני AI לקשים לבדיקה
יישום קלאסי מתנהג באופן צפוי: אותו קלט מוביל לאותה תוצאה. סוכן AI פועל על גבי מודל שפה גדול, ולכן התשובות שלו משתנות, והוא גם מחליט אילו כלים להפעיל ובאיזה סדר. כלומר יש שני דברים לבדוק: התשובה הסופית והמסלול שהסוכן עבר כדי להגיע אליה.
מודלי שפה עלולים להזות (hallucinate), כלומר לומר עובדות שגויות בביטחון, ולכן לכל מערכת AI שמשחררים צריכות להיות בדיקות לכך. הסיכון גדל בזרימות agentic, שבהן סוכן AI קורא ל-API, קורא קובץ או משנה רשומה בשם המשתמש. בדיקת סוכן כזה כוללת הרבה יותר מהמילים שהוא כותב.
המאמר של SitePoint על בדיקת סוכני AI בעולם לא דטרמיניסטי דוחה התאמה מדויקת של מחרוזות לפלט מודל, כי תשובות נכונות יכולות להינוסח בדרכים רבות. הוא מחליף את השאלה "האם זה זהה?" בשאלה "האם זה טוב מספיק?". המעבר הזה הוא לב הבדיקה של סוכני AI, והוא משפיע על איך כותבים תוצאות צפויות, קובעים ציוני עובר ומדווחים על סיכון.
השונות לא הופכת את הבדיקה לבלתי אפשרית. היא אומרת שבדיקת סוכנים משתמשת בטווחים, בספים ובהרצות חוזרות, בעוד הקוד הרגיל נשאר תחת בדיקות רגילות.
איך בודקים סוכני AI בארבע שכבות
המאמר של SitePoint מחלק את בדיקת הסוכנים לשלוש שכבות, והמדריך של LangChain על בדיקת LLMs וסוכני AI מוסיף רעיון רביעי, שערי שחרור (release gates). יחד הם יוצרים תוכנית עבודה ישימה:
- לוגיקה פשוטה. ניתוב כלים, ניתוח קלט, עיצוב פלט ושינויי מצב הם קוד רגיל. בדיקות יחידה רגילות עם הנחות מדויקות מתאימות מאוד לכאן, ו-SitePoint ממליצה להריץ אותן בכל commit.
- איכות הפלט. הערכו את תשובות מודל השפה מבחינת נאמנות למקור, רלוונטיות והזיות. הבדיקות האלה איטיות יותר ועולות כסף כשמעורב מודל שופט, ולכן SitePoint ממליצה להריץ אותן במיזוגים או לפי לוח זמנים.
- תרחישים מקצה לקצה. הריצו שיחות מרובות תורות ושימוש בכלים במספר שלבים, החל מההודעה הראשונה של המשתמש ועד התוצאה הסופית. זו הגרסה של סוכן ה-AI לעקרון בדיקות מקצה לקצה, והשכבה שמוצאת בעיות בין הרכיבים.
- שערי שחרור. LangChain ממליצה להריץ את הבדיקות בצינור ההפצה על כל שינוי מועמד, עם ספים מוסכמים לאיכות, להתנהגות ולביצועים, כמו זמן תגובה ועלות.
אל תדלגו על השכבה הראשונה רק משום שסוכן ה-AI נראה כמו קסם. כשלים רבים של סוכני AI הם באגים פשוטים בניתוח הקלט או בבחירת הכלי, והם זולים מאוד לתפיסה.
בניית קבוצת בדיקות שממשיכה לשרת
קבוצת הבדיקות, שנקראת לעיתים eval set, היא לב העבודה על הערכת AI. העצה של LangChain היא להתחיל בקטן, עם מקרים איכותיים שמכסים משימות אמיתיות של משתמשים, כשלים known ומצבי סיכון, ולהרחיב כשהשיחות האמיתיות חושפות בעיות חדשות. יש לכלול בקשות נפוצות, קלטים עוינים, מקרי קצה ודוגמאות שתוקנו על ידי מומחי תחום. כל מקרה יכול לכלול קלט, פלט ייחוס, קריטריוני הערכה, צעדים נדרשים או אסורים ומטא-דאטה לסינון.
SitePoint מוסיפה הרגל שהופך את התוצאות לניתנות למעקב: שמרו את מערך הנתונים בבקרת מקור, וגרסו אותו לצד תבניות הפרומפט, כך שניתן לקשור שינוי בציונים לשינוי מסוים בסוכן.
קבוצת פתיחה לראש צוות QA עשויה להיראות כך:
- שאלות נפוצות בניסוח שבו המשתמשים באמת שואלים.
- כשלים ידועים מתקריות או תלונות קודמות, שנשמרים כמקרי רגרסיה קבועים.
- מקרי קצה, כמו שאלות עמומות, שפות מעורבות, מידע חסר ובקשות שסוכן ה-AI צריך לדחות.
- בקשות בסיכון, כולל ניסיונות הזרקת פרומפט, שאלות על מידע שהמשתמש אינו אמור לראות ובקשות לפעולות מחוץ להיקף הסוכן.
- מקרי חובה, שבהם כשל יחיד חוסם שחרור.
נסחו את התוצאה הצפויה בדיוק ככל האפשר. ציפיות מעורפלות מייצרות ציונים רועשים, לא משנה איזה כלי מבצע את הניקוד.
בחרו מעריכים: קוד, מודל שופט או אדם
LangChain מתארת שלושה סוגים של מעריכים, ולכל אחד יש מקום:
- בדיקות קוד מתאימות לכללים דטרמיניסטיים: JSON תקין, מזהה חשבון נדרש, או קריאה לכלי מסוים. הן זולות וניתנות לחזרה.
- מודל שופט מדרג איכויות שדורשות שיקול דעת, כמו נאמנות לקונטקסט (groundedness), ביצוע הוראות והשלמת המשימה. LangChain ממליצה לאמת את ציוני המודל השופט מול דוגמאות שנבדקו על ידי בני אדם לפני שסומכים עליהם.
- בדיקה אנושית מטפלת במקרים עמומים או בסיכון גבוה. הבודקים מסמנים כשלים, וניתן להוסיף את המקרים האלה לקבוצת הבדיקות כבדיקות רגרסיה עתידיות.
בדקו את המסלול, לא רק את התשובה. LangChain קוראת לזה הערכת trajectory: סדר הכלים, הארגומנטים, שלבי האישור והלולאות. הדוגמה שלה היא סוכן החזרים כספיים שאמור לבצע חיפוש במדיניות לפני מתן תשובה. תשובה שנשמעת נכון אך דילגה על החיפוש עדיין נחשבת לכשל. לכן כל מקרה בדיקה צריך לתעד את הקריאה לכלי הצפויה, ולא רק את הטקסט הצפוי.
לציונים צריכים להיות ספים. SitePoint ממליצה על מינימום לכל מדד במקום יעד מדויק אחד, והדוגמאות שלה כוללות 0.85 לנאמנות ו-0.7 לרלוונטיות התשובה. יש לראות במספרים האלה דוגמאות בלבד, ולקבוע ספים משלכם בהתאם לרמת הסיכון.
בדיקת סוכן Copilot Studio
ל-Copilot Studio יש הערכה מובנית, ודף ה-Microsoft על יצירת קבוצת בדיקות מפרט את הפרטים שראש צוות QA צריך.
- קבצי בדיקה: קובץ בדיקה של תשובה יחידה מכיל עד 100 מקרי בדיקה. ניתן ליצור במהירות סט של עשר שאלות מתוך תיאור הסוכן, ליצור עוד שאלות ממקור ידע או מנושאים, להשתמש מחדש בשאלות משיחת בדיקה, לייבא קובץ CSV או TXT, או לכתוב מקרים באופן ידני.
- שיטות בדיקה: איכות כללית, בטיחות תוכן, השוואת משמעות, שימוש בכלים, התאמת מילות מפתח, דמיון טקסט, התאמה מדויקת וקריטריונים מותאמים אישית. כל השיטות למעט איכות כללית דורשות תשובה צפויה, מילות מפתח או יכולות לכל מקרה.
- זהות: בדיקה אוטומטית משתמשת באימות של המשתמש המחובר כדי לגשת למקורות ידע ולכלים. הריצו תמיד עם אותו משתמש כדי ששהתוצאות יישארו השוואתיות, וודאו שלמשתמש הזה יש גישה לכל מקור שהסוכן צריך.
- מגבלות: קבצים שנוצרו אוטומטית אינם יכולים לזהות פערים במידע, מכיוון שהם שואבים רק ממה שהסוכן כבר יודע. התוצאות נשמרות 89 ימים, לכן ייצאו אותן ל-CSV כדי לשמור קו בסיס.
משתי הנקודות שבדף נובעות שתי אזהרות. מקרי בדיקה שנוצרו עשויים להכיל מידע רגיש שהחשבון המחובר יכול לגשת אליו, וייצרים אחרים עם גישה לסוכן יכולים לראות את קבצי הבדיקה המקושרים, לכן בדקו אותם לפני השיתוף. וקובץ שנוצר הוא נקודת התחלה, לא קובץ מוגמר. הוסיפו בעצמכם כשלים ידועים ובקשות מסוכנות.
הפיכת התוצאות לניתנות לשחזור
יכולת שחזור נובעת מהרגלים בתהליך הבדיקה שלכם, ולא מתכונה מסוימת:
- הריצו כל מקרה יותר מפעם אחת. SitePoint ממליצים על לפחות שלוש הרצות ועל ממוצע. LangChain ממליצים להשוות שיעורי כשל עבור פלטים משתנים.
- השוו מול קו בסיס. הריצו את הגרסה המועמדת ואת הגרסה הנוכחית על אותו קובץ בדיקה. LangChain מזהירים שממוצע טוב יותר עשוי להסתיר רגרסיה במקרה קריטי אחד, ולכן עקבו אחר דוגמאות החובה שחייבות לעבור.
- השתמשו בשערי חסימה קשיחים לפעולות אסורות. LangChain ממליצים על בדיקות דטרמיניסטיות עם סף של אפס כשלים לפעולות שהסוכן לעולם אינו צריך לבצע.
- הריצו מחדש אחרי כל שינוי, ואוטומטו את התהליך. אוטומציה בצינור הפיתוח שלכם שומרת על ההרגל. שינוי בהנחיה נחשב לשינוי קוד, וכך גם שינוי במודלים, באחזור מידע, בהגדרות כלים, בזיכרון או בניתוב.
- שמרו את הראיות. ייצאו את התוצאות ושמרו אותן יחד עם גרסת קובץ הבדיקה וגרסת הסוכן.
דוגמה: סוכן למדיניות חופשה
המספרים מומצאים.
צוות בונה סוכן Copilot Studio שעונה על שאלות בנוגע למדיניות החופשה. מובילת ה-QA יוצרת 40 מקרי בדיקה. עשרים ושניים הם שאלות נפוצות, שמונה הם כשלים ידועים מהפיילוט, שישה משתמשים בניסוח לא שגרתי, כגון תאריכים לא ברורים, וארבעה הם בקשות מסוכנות, כולל שאלה על חופשה של עובד אחר. שישה מסומנים כחובה לעבור.
המובילה משתמשת בהתאמת מילות מפתח לעובדות קבועות, כמו מספר ימי החופשה, בהשוואת משמעות להסברים, ובבדיקת שימוש בכלי שמוודאת שהסוכן מפעיל את חיפוש המדיניות לפני מתן תשובה. כל מקרה רץ שלוש פעמים.
בהרצה המלאה הראשונה, 34 מתוך 40 מקרים עברו בכל שלוש ההרצות. מתוך ששת הכשלים, שניים נוגעים למקרה חובה לעבור, ובאחד מהם הסוכן ענה מבלי להפעיל את חיפוש המדיניות. הצוות תיקן את ההוראה, הריץ שוב, והגיע ל-38 מתוך 40, כששכל מקרי החובה עוברים. המובילה מייצאת את התוצאות כקו בסיס וקובעת כלל: כל שינוי בהנחיה או במודל מריץ מחדש את כל 40 המקרים, וירידה בכל מקרה חובה חוסמת את השחרור בתהליך ההפצה.
טעויות נפוצות
- התאמה מדויקת של טקסט. תשובות נכונות משתנות, ולכן התאמה מדויקת יוצרת כשלים שגויים.
- שיפוט התשובה בלבד. הסוכן עשוי להגיע לתשובה שנראית טוב על ידי דילוג על שלב נדרש.
- הרצת כל מקרה פעם אחת. הצלחה בהרצה אחת בלבד מוכיחה מעט מאוד.
- הסתמכות על קובץ בדיקה שנוצר בלבד. הוא לא יכול לזהות פערים במה שהסוכן מעולם לא קיבל עליו מידע.
- סמכות עיוורת למודל השופט. אמתו את הציונים שלו מול דוגמאות שנבדקו על ידי בני אדם.
- בדיקה רק של המסלול התקין. כללו ניסוחים לא שגרתיים, בקשות מסוכנות וכשלים ידועים.
איך תוכנה יכולה לעזור
התחילו ממה שפלטפורמת הסוכנים שלכם מציעה. ל-Copilot Studio יש הערכה מובנית, וקיימות מסגרות הערכה בקוד פתוח ומסחריות לסוכני AI מותאמים אישית. בחרו כלי בדיקה שמאפשר לגרסה קבצי בדיקה, להריץ כל מקרה מספר פעמים, לבדוק קריאות לכלים ולייצא תוצאות. הוסיפו את צינור ההפצה שלכם כשער, והשתמשו בגיליון אלקטרוני או בכלי ניהול בדיקות כדי לעקוב אחר המקרים והבעלים שלהם. בצעו פיילוט על סוכן AI אחד לפני שתיישמו סטנדרט.
הצעד הבא
כתבו עשרה מקרי בדיקה לסוכן AI אחד שכבר פועל אצלכם, כולל שלושה כשלים ידועים ושתי בקשות מסוכנות, וניקדו כל אחד מהם שלוש פעמים. לאחר מכן שמרו את התוצאות כקו בסיס, כך שבדיקת סוכני AI תהפוך לשלב שגרתי בצוות ולא לוויכוח חוזר.