M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions m365con.net

AI guardrails

Concept

הגנות AI (Guardrails) הן בקרות כגון הנחיות מערכת (system prompts), חשיפת פונקציות מוגבלת ושכבות הרשאות, שמגבילות את מה שמשתמשים יכולים לגרום למודל או לסוכן של בינה מלאכותית לעשות. הן משמשות למניעת דליפות נתונים והזרקת פרומפטים (prompt injection).

✦ CONCEPTAI guardrailsM365.FM
Title graphic: AI guardrails (Concept)

נושאים שנדונים גם

בפרקים על AI guardrails עולים גם: Agentic SDLC, GitHub Copilot CLI, GitHub Copilot coding agent, Gentle AI, Gentleman Programming ו-Ralph loop.

Description

הגנות AI (AI guardrails) הן בקרות שמגבילות את מה שמשתמשים יכולים לגרום למודל בינה מלאכותית או לסוכן לעשות. דוגמאות טיפוסיות הן הנחיות מערכת (system prompts), חשיפת פונקציות מוגבלת ושכבות הרשאות. הן משמשות למניעת דליפות נתונים ולמניעת הזרקת פרומפטים (prompt injection), והן נמצאות תחת הנושא הרחב יותר של ממשל בינה מלאכותית (AI governance), שכולל את המדיניות והאחריות שההגנות מיישמות ברמה הטכנית.

הצורך בהגנות נובע מאופן השימוש ביישומים מבוססי בינה מלאכותית. בפרק של M365.FM "How AI Changed Software Development Forever — Building the Agentic Future with Andre Baltieri [MVP]" מתוארת הזרקת פרומפטים כשטח תקיפה חדש. משתמשים יכולים לתמרן פרומפטים בכוונה, לנסות לאחזר מידע שמחוץ להקשר המיועד, לצרוך משאבים של החברה, או לשכנע מערכת בינה מלאכותית לבצע פעולות שמעצביה לא צפו. הפרק דן בהנחיות מערכת, במגבלות ברמת היישום ובגישה מבוקרת כדרכים להתמודד עם כך.

דפוס מוחשי אחד מאותו פרק נוגע לגישה לנתונים. במקום לתת לסוכן גישה בלתי מוגבלת למסד נתונים, מפתחים צריכים לחשוף פונקציות מבוקרות בקפידה שמחזירות רק את המידע הנדרש למשימה מסוימת. זה חשוב במיוחד כאשר סוכנים יכולים לקרוא או לשנות נתונים ארגוניים, משום שאז שכבת הפונקציות מגדירה את גבולות מה שהסוכן יכול לראות או לשנות, ללא קשר למה שמשתמש מקליד בפרומפט. במובן הזה, הגנה אינה רק הוראת טקסט למודל, אלא גם מגבלה מבנית על הכלים והנתונים שהמודל יכול להגיע אליהם.

הגנות מופיעות גם בהקשר של עלות ואחריות. הפרק "How to Build Low-Cost AI Agents in Microsoft Cloud" כולל קטע על הגנות אחראיות לבינה מלאכותית ב-Azure. לפי הפרק, ארגונים צריכים ליישר את כל הסוכנים עם מדיניות ממשל פנימית, לבודד נתונים חסויים ולהגביל את הגישה כך שסוכנים ישתמשו רק במה שהם צריכים. הוא ממליץ גם על סטנדרטיזציה של שילובי ידע וכלים כדי לצמצם כפילויות ולפשט תחזוקה, וכן על הבהרה שבכל פעם שסוכן בינה מלאכותית מעורב באינטראקציה. אותו פרק מקשר לכך ניטור, ומזכיר כלים כמו Evidently AI לזיהוי דפוסי הוצאה חריגים, וממליץ לבחון את הגדרות הניטור לעיתים קרובות כדי לתקן בעיות לפני שהן מתרחבות.

הצד הרגולטורי מכוסה בפרק "Govern High-Risk Power Platform AI Under the EU AI Act". הפרק בוחן מה משתבש כאשר ארגונים מטמיעים קופיילוטים או צ'אטבוטים ללא הגנות אחראיות לבינה מלאכותית. הוא מציין שמודלי שפה גדולים מודרניים אינם דטרמיניסטיים, שהזרקת פרומפטים אינה היפותטית, ושפלטים שגויים יכולים להתפשט בתהליכים עסקיים מהר יותר מטעות אנוש. לאחר מכן הוא מקשר זאת ל-EU AI Act וליישומיו עבור בוני Power Platform ו-Microsoft 365, במיוחד עבור כל מה שנוגע לתחומים כמו תעסוקה או אשראי.

בסך הכול, המקורות מתארים הגנות כאמצעים מרובי שכבות ולא כתכונה בודדת. הנחיית מערכת קובעת את ההתנהגות המיועדת, חשיפת פונקציות מוגבלת מגבילה מה סוכן יכול לעשות עם נתונים ארגוניים, שכבות הרשאות שולטות במי יכול להגיע למה, ומדיניות ממשל וניטור מספקים פיקוח. החלטות בנוגע להגנות כוללות בדרך כלל שאלות כמו עד כמה לצמצם בצורה הדוקה את הגישה של סוכנים, איך להתייחס לקלט משתמשים כפוטנציאלית עוין, ואיך ליישר בקרות טכניות עם המדיניות הפנימית והרגולציה החלה.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
KindPractice

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

מהן הגנות AI (AI guardrails)? (AI)

הגנות AI (AI guardrails) הן בקרות כגון הנחיות מערכת, חשיפת פונקציות מוגבלת ושכבות הרשאות, שמגבילות את מה שמשתמשים יכולים לגרום למודל בינה מלאכותית או לסוכן לעשות. הן משמשות למניעת דליפות נתונים והזרקת פרומפטים (prompt injection).

איך הגנות עוזרות במניעת הזרקת פרומפטים (prompt injection)? (AI)

הפרק על בניית העתיד הסוכני מתאר הזרקת פרומפטים כשטח תקיפה חדש, שבו משתמשים מתמרנים פרומפטים כדי לאחזר מידע שמחוץ להקשר המיועד. הנחיות מערכת, מגבלות ברמת היישום וגישה מבוקרת נדונות כדרכים להגביל זאת.

מדוע לחשוף לסוכן פונקציות מבוקרות במקום גישה ישירה למסד נתונים? (AI)

לפי הפרק עם Andre Baltieri, פונקציות מבוקרות בקפידה מחזירות רק את המידע הנדרש למשימה מסוימת. זה חשוב במיוחד כאשר סוכנים יכולים לקרוא או לשנות נתונים ארגוניים.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: