M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions→ m365con.net

בלוג · Mirko Peters

פורום הניטור של Copilot: זיהוי דליפות מידע שנגרמות על ידי AI

By · · Updated

למדו כיצד צוותי SOC יכולים לזהות דליפות מידע הקשורות ל-Copilot באמצעות מדריכי פעולה, אותות אבטחה, חקירה, תגובה וממשל.

Automatically translated with AI from the original post. Read the English original

Cover: Fix Microsoft Teams Governance Sprawl with Enforced Decisions

כעת אתם מתמודדים עם מצב חדש. עוזרי AI אינם דומים לאפליקציות רגילות. הם מעיינים בנתונים ומקבלים החלטות. לפעמים הם הולכים רחוק מדי. צריך לדעת מהי התנהגות רגילה של AI, מהי התנהגות מסוכנת ומהי התנהגות בעייתית. תוכניות ישנות להתמודדות עם תוכנות זדוניות אינן מספיקות לדליפות מידע הנובעות מ-AI. נסו דברים כמו צמצום כמות הנתונים הנגישים, הצפנת נתונים, והגדרת כללי AI ברורים. דאגו לכך שכלי אבטחת המידע וכלי ה-SOC שלכם יעבדו יחד. המשיכו לבדוק סיכונים באופן שוטף. עבודת צוות והבנה מעמיקה של המצב חשובות מאוד כעת.

עיקרי הדברים

  • הכירו את הסיכונים המיוחדים של עוזרי AI. הם יכולים לגשת למידע ולשתף אותו בדרכים שלא תמיד תצפו להן. כך שיטות אבטחה ישנות עובדות פחות טוב.

  • הגדירו מדיניות נתונים חזקה. השתמשו בתוויות ברורות ובכללים לקביעת מי רשאי לראות מידע חשוב. זה עוזר למנוע מ-AI לדלוף מידע.

  • השתמשו בכלים חכמים לזיהוי בעיות. אספו את התובנות מכלי אבטחה שונים. זה עוזר לכם לראות את כל דליפות המידע האפשריות הנובעות מ-AI.

  • פעלו במהירות כשמתקבלות התראות. השתמשו במדריך שלב אחר שלב לבדיקת הבעיות. בחרו בדרך הטובה ביותר לשמירה על המידע שלכם.

  • עודדו עבודת צוות. אבטחה, ציות ו-IT צריכים לפעול יחד. זה עוזר להתמודד עם סיכוני AI ולשמור על המידע.

למה התראות גישה של AI מאתגרות צוותי SOC

שרשרת ההתקפה הקלאסית לעומת דליפות מידע של AI

ייתכן שאתם מכירים את מודל שרשרת ההתקפה הקלאסי. הוא עוזר לזהות איומים כמו תוכנות זדוניות או הודעות דיוג. אתם מחפשים שלבים כמו מסירה, ניצול ובריחת מידע. מודל זה עובד היטב עבור מתקפות רבות. כעת, דליפות מידע של AI אינן פועלות לפי שלבים אלו. עוזרי AI יכולים לגשת לקבצים ולשתף מידע בדרכים חדשות. ייתכן שתראו התראה לפיה Copilot ניגש לקובץ סודי. זה לא נראה כמו מתקפה רגילה. עליכם להחליט האם מדובר בפעולה בטוחה, מסוכנת או באיום ממשי.

עוזרי AI פועלים כמשתמשים חדשים במערכת שלכם. הם יכולים להעביר נתונים במהירות. הם לא תמיד משאירים סימנים ברורים לבעיה. עליכם לבחון יותר מהתראה אחת. צריך לבדוק את ההקשר, כמו מי ביקש מ-Copilot לגשת לקובץ ומה קרה לאחר מכן. זה מקשה על העבודה שלכם. אי אפשר להסתמך על כללים ישנים בלבד.

בלבול אצל אנליסטים: רעש או איום?

ייתכן שכמות ההתראות גורמת לכם להרגיש מוצפים. צוותי SOC רבים מתמודדים עם עייפות מהתראות. יש כל כך הרבה אזהרות, שקשה לזהות בעיות אמיתיות. הטבלה שלהלן מציגה כמה אתגרים נפוצים שתפגשו בהתראות גישה של AI:

אתגר

תיאור

עייפות מהתראות

עומס עבודה מוגבר מקשה על זיהוי איומים משמעותיים בין התראות רבות.

מורכבות החקירות

החקירות נעשות מסובכות יותר בשל אופיין של התראות AI, בהשוואה להתראות מסורתיות.

הצורך בתגובה מהירה יותר

צוותי SOC נדרשים להגיב במהירות תוך שמירה על דיוק, וזה מאתגר בהתראות AI.

גם אתם צריכים לעבוד מהר יותר. כלי AI יכולים לעזור לכם לסיים חקירות מהר יותר. אנליסטים רבים שעובדים עם AI שומרים על דיוק גבוה יותר ומספקים ממצאים מפורטים יותר מאלה שעובדים בשיטות ידניות. עם זאת, עליכם ללמוד להבחין בין שימוש רגיל ב-AI לבין סימנים לדליפות מידע הנובעות מ-AI. דרך עבודה חדשה זו דורשת כלים טובים יותר וכללים ברורים.

חשיפת יתר ותוויות חלשות: הסיכון האמיתי

כיצד כשלים בממשל נתונים מאפשרים דליפות מידע של AI

קיימים סיכונים ממשיים כשממשל הנתונים חלש. אם אינכם שולטים במי יכול להשתמש בנתונים שלכם, כלי AI עלולים לשתף מידע פרטי. כללים חלשים ומעקב לקוי הופכים טעויות לקלות. דליפות מידע של AI יכולות לקרות אם קבצים אינם מתויגים כראוי או אם יותר מדי אנשים יכולים לראות תיקיות חשובות.

סיפורים אחרונים מראים כיצד בעיות אלו יכולות לפגוע בארגון שלכם. הטבלה שלהלן מפרטת סיכונים שונים הנובעים מממשל נתונים לקוי:

סוג סיכון

תיאור

אבטחת נתונים

גורמים זדוניים יכולים לגנוב או לקחת מערכי נתונים המשמשים ל-AI. זה עלול להוביל לאובדן נתונים ולחשיפת סודות.

פרטיות מידע

AI משתמש לעיתים קרובות במידע פרטי או אישי. טיפול שגוי עלול להפר כללי פרטיות ולגרום לקנסות.

שלמות נתונים

נתונים לא אמינים או מוטים עלולים לגרום ל-AI לתת תשובות שגויות או להציג הטיה.

מקור הנתונים (Data provenance)

אם אינכם יודעים מאיפה הנתונים מגיעים, קשה לבדוק אותם או לוודא שהכללים נשמרים.

זמינות הנתונים

אם אין לכם גישה לנתונים הנדרשים, מודלי AI עלולים לא לעבוד כראוי או להפסיק לפעול.

כדי לשמור על הנתונים שלכם בטוחים, נדרשת ממשל נתונים חזק. כללים טובים עוזרים לראות מי משתמש בנתונים שלכם ואיך כלי AI מנצלים אותם. תוויות ברורות וכללי גישה ברורים מונעים דליפות לפני שהן קורות.

תצורות שגויות של קונטיינרים ובעיות בתוויות

אתם עשויים לחשוב שהקבצים שלכם מוגנים, אבל הגדרות שגויות יכולות לגרום לבעיות. אם מאפשרים ל"כולם בארגון" לראות תיקיות, אתם עלולים לחשוף סודות בטעות. תוויות חלשות או חסרות מקשות על AI לזהות מה פרטי. בלי מערכת תוויות פשוטה, אתם מאבדים שליטה על הנתונים שלכם.

כדי לשמור על הקבוצה שלכם בטוחה, כדאי:

  • לבדוק מי יכול לראות כל תיקייה או אתר.

  • להגדיר תוויות ברורות וחזקות לכל הקבצים החשובים.

  • להשתמש בכלים שמאתרים שיתוף יתר ומזהירים על הגדרות מסוכנות.

אפשר למנוע את רוב דליפות הנתונים דרך AI על ידי תיקון הבעיות האלה מוקדם. כללים טובים ותוויות חכמות שומרים על הנתונים שלכם ועוזרים לצוות ה-SOC שלכם לפעול מהר.

מסגרת החלטה לאירועי AI

מוצדק, חריגה או זדוני?

כשמתקבלת התראה על AI, נדרשת בחירה חשובה. צריך לקבוע אם הפעולה מוצדקת, חורגת או זדונית. הבחירה הזו עוזרת לדעת מה לעשות הלאה ושומרת על הנתונים שלכם.

  • מוצדקת היא פעולה שבה כלי Copilot מסייעים לאנשים בעבודתם. המשתמש, תווית הקובץ וזרימת העבודה כולם פועלים לפי הכללים שלכם. לדוגמה, עובד בצוות הכספים מבקש מ-Copilot לסכם דוח שכבר רשאי לראות. לא הופר שום כלל.

  • חריגה היא מצב שבו AI ניגש לנתונים שאסור לו להשתמש בהם, גם אם המשתמש יכול לראות אותם. ייתכן שלמשתמש מותר לפתוח קובץ, אבל הכללים שלכם קובעים ש-AI אינו יכול לקרוא קבצים עם תווית "סודי ביותר". נקודת חולשה כזו בכללים עלולה לגרום לדליפות נתונים דרך AI.

  • זדונית היא פעולה שמעידה בבירור על מישהו שעושה דבר לא נכון. ייתכן שתראו תווית ששונתה, לאחר מכן Copilot ניגש לקובץ, ועוד רגע הקובץ נשלח החוצה. זה מעיד על סיכון מבפנים או על תקיפה מתוכננת.

אפשר להשתמש בטבלה כדי לזהות פעולות נפוצות שאולי תבחינו בהן:

קטגוריה

תיאור

Prompt Injection והפרת מגבלות (Jailbreaks)

הוראות שגויות שגורמות למודל לפעול בדרכים שאסור לו.

ניצול אוטונומי לפרצות סייבר ושימוש לרעה בכלים

שימוש בכלים כמו יומנים או ממשקי API כדי לבצע פעולות שלא תכננתם.

איומים ברמת סוכנים מרובים ופרוטוקולים

תקיפות שבהן יותר מסוכן אחד פועל יחד כדי לגרום לנזק גדול יותר.

סיכוני ממשק וסביבה

נקודות חולשה באופן שבו מערכות AI והסביבה שלהן פועלות יחד.

חששות בנושא ממשל ואוטונומיה

בעיות שמתעוררות כשאין דרך מרכזית לבדוק זהות או אמון במערכות AI.

ייתכן שתראו גם פעולות מסוכנות אלה:

  • הרעלת זיכרון, שמאפשרת למישהו לשנות את אופן פעולתו של AI לאורך זמן.

  • שימוש לרעה בכלים, כמו שימוש בתכונות של יומן או API בדרכים שלא ציפיתם להן.

  • שימוש לרעה בזהות של סוכן, שבו מישהו מתחזה למשתמש אחר או מעניק לסוכן AI יותר הרשאות מהנדרש.

חשוב לאתר את הבעיות האלה מוקדם. זה עוזר לעצור דליפות ולשמור על הקבוצה שלכם בטוחה.

שאלות מיון מרכזיות ל-SOC

כשמתקבלת התראה, צריך לפעול מהר. יש לשאול שאלות טובות כדי להבין מה קרה ומה לעשות. הנה כמה שאלות חשובות שיעזרו לכם:

  1. מי המשתמש?
    בדקו אם מדובר במשתמש הנכון. חפשו סימנים לכך שהחשבון נפרץ או שנעשה בו שימוש חריג.

  2. מהי התווית והיסטוריית התוויות?
    בדקו את התווית של הקובץ. ראו אם מישהו שינה את התווית לפני שה-AI ניגש אליו.

  3. לאן התוכן הלך אחר כך?
    עקבו אחר שיתוף הקובץ, שליחתו בדוא"ל או העברתו להתקן אישי לאחר הגישה של ה-AI.

  4. האם זה תואם את פרופיל הטיפול בנתונים הרגיל של המשתמש?
    השוו את הפעולה למה שהמשתמש עושה בדרך כלל. שימו לב לשינויים פתאומיים או לצעדים מסוכנים.

  5. האם הגישה של ה-AI התאימה למדיניות או הפרה כלל?
    בדקו אם ה-DLP או מנגנוני ההגנה של ה-AI אמורים היו לעצור את הפעולה.

טיפ: תמיד רשמו את מה שמצאתם. זה עוזר לכם להשתפר ולאמן את הצוות.

אפשר להשתמש בשאלות האלה כדי להכריע אם האירוע מוצדק, חריגה או זדוני. התוכנית הזו עוזרת לפעול מהר ומפחיתה את הסיכוי לדליפות נתונים דרך AI.

קורלציה של אותות בין כלים

כשאתם רוצים לזהות דליפות נתונים הקשורות ל-AI, צריך להסתכל על יותר מכלי אחד. כל כלי נותן לכם חלק מהתמונה. אם תסתכלו רק על התראה אחת, אתם עלולים לפספס את התמונה הרחבה. כדאי לחבר בין אותות מ-Purview, מ-DSPM, מ-Defender XDR ומביקורת הפרומפטים. כך תוכלו לראות מה באמת קרה.

Purview, DSPM והיסטוריית תוויות

Purview ו-DSPM עוזרים לכם לעקוב אחר הנתונים שלכם. אתם יכולים לראות איפה נמצאים הקבצים, מי יכול לגשת אליהם ואילו תוויות יש להם. אם מישהו משנה תווית מ-"Highly Confidential" ל-"General", חשוב שתדעו על כך. היסטוריית התוויות מראה אם מישהו ניסה להסתיר את הערך האמיתי של קובץ. אפשר להשתמש בכלים האלה כדי לזהות שינויים מסוכנים לפני שכלי AI נוגעים בנתונים. כשמחברים בין שינויים בתוויות לבין גישה של AI, מקבלים סימן ברור לבעיה אפשרית.

Defender XDR וביקורת פרומפטים

Defender XDR וביקורת הפרומפטים נותנים לכם פרטים נוספים. Defender XDR מנטר פעולות חריגות בנקודות הקצה, בענן ובמערכות הזהויות שלכם. הוא יכול לזהות מתי כלי AI פועלים בדרך שלא ציפיתם לה. ביקורת פרומפטים מאפשרת לראות מה משתמשים וסוכני AI מבקשים ומה הם מקבלים בחזרה. אפשר לבדוק אם מישהו ניסה לקבל מידע רגיש דרך פרומפט של AI.

כך Defender XDR וביקורת הפרומפטים עוזרים לכם:

התפקיד של Defender XDR

התפקיד של ביקורת הפרומפטים

מקשר בין אותות התקפה ספציפיים ל-AI בנקודות הקצה, בזהויות ובענן

מנטר ושולט בשימוש במידע רגיש בפרומפטים ובתשובות של AI

מזהה שימוש לרעה ב-AI וקלטים זדוניים בשלב מוקדם

מונע דליפות נתונים ומבטיח עמידה במדיניות ובתקנות

  • Defender XDR מספק לכם המלצות אבטחה (posture) לסוכני AI.

  • הוא מציג לכם מסלולי התקפה שמכוונים לסוכני AI.

כשמחברים בין שינויים בתוויות, גישה של AI ותנועת נתונים, רואים את התמונה האמיתית. זה עוזר לעצור דליפות לפני שהן מתרחבות.

Runbook מהיר ל-SOC לדליפות נתונים של AI

כשאתם מתמודדים עם דליפת נתונים אפשרית של AI, צריך לפעול במהירות ולפי תוכנית ברורה. ה-runbook הזה נותן לכם מדריך שלב אחר שלב שיעזור לכם לבצע מיון (triage), לקבל החלטות ולבלום את האירוע. אפשר להשתמש בו כרשימת בדיקה בדקות הראשונות של התראה.

עשר הדקות הראשונות: שלבי מיון

צריך לפעול מהר כשרואים התראה על AI ומידע רגיש. עשר הדקות הראשונות הן קריטיות. זה מה שכדאי לעשות:

  1. אשרו את קבלת ההתראה מיד.
    אל תחכו. ודאו שרואים ומתעדים כל התראה ברגע שהיא מופיעה.

  2. התחילו בחקירה.
    חשבו מה ההתראה יכולה להעיד. האם זו פעולה רגילה, טעות או משהו רע? אספו כמה שיותר מידע.

  3. אספו את כל הנתונים.
    בדקו לוגים מה-SIEM, בדקו פעילות בנקודות הקצה, סקרו את זהות המשתמש והשתמשו בכל מודיעין איומים שיש לכם. אל תחכו שמישהו אחר יעשה זאת.

  4. הריצו כמה בדיקות במקביל.
    ייתכן שתקבלו יותר מהתראה אחת. התחילו לבדוק כל אחת מהן כדי לא לפספס שום דבר חשוב.

טיפ: תמיד רשמו את הממצאים בשלבים הראשונים האלה. רישום טוב עוזר לכם ולצוות ללמוד מכל אירוע.

עץ החלטות ובלימה

אחרי שסיימתם את הבדיקות הראשונות, צריך להחליט מה לעשות הלאה. השתמשו בעץ החלטות שיעזור לכם לבחור את הפעולה הנכונה. הטבלה שלהלן מראה איך אפשר להתאים בין אותות לפעולות:

אות

וקטור חומרה

קלטים מרכזיים

תוכנית פעולה

שימוש לרעה בכלי על סוכן בסיכון גבוה

CVSS:9.4/AARS:8.5 ⇒ 8.7

ניצול גבוה; השפעה גבוהה

בידוד המערכת, ביטול הגישה והסלמה כעדיפות עליונה

חריגה בשרשרת האספקה

CVSS:9.3/AARS:1.0 ⇒ 5.0

ניצול בינוני; השפעה בינונית

מעקב אחר הבעיה, תיקון המערכת והודעה לבעלים

צריך לבחור את הפעולה הנכונה לפי מה שרואים. אם מזהים שימוש לרעה בכלי על סוכן בסיכון גבוה, יש לבודד את המערכת ולבטל כל הרשאת גישה מיוחדת. אם רואים בעיה בשרשרת האספקה, יש לעקוב אחר הבעיה, לתקן אותה ולעדכן את הבעלים.

לבלימה יש לכם כמה אפשרויות לעצור את הדליפה ולהגן על הנתונים:

  • הגדירו הגבלת קצב וסימני מים לכל פלט של מודל ה-AI. כך תשלטו בכמות הנתונים שיוצאת מהמערכת שלכם.

  • שימו לב לשאילתות חריגות או חוזרות. דפוסים לא שגרתיים יכולים להראות היכן עלולה להתחיל דליפה.

  • השתמשו בכלי פרטיות כמו השחרה (redaction) או פרטיות דיפרנציאלית (differential privacy). כלים אלה מסתירים או מגינים על מידע רגיש.

  • הפעילו ניתוח התנהגותי (behavioral analytics). כך תוכלו לזהות פעולות חריגות בזמן אמת ולהגיב מהר.

אם תפעלו מהר ותלכו לפי השלבים האלה, תוכלו להפחית את הסיכון לדליפות נתונים באמצעות AI ולשמור על הארגון מוגן.

מעקות בטיחות שמונעים AI Data Leaks

הערכת שיתוף-יתר ותיוג

אפשר למנוע הרבה בעיות מוקדם על ידי בדיקת שיתוף-יתר ושימוש בתוויות ברורות. אם אתם יודעים מי יכול לראות כל קובץ ואיך הוא מתויג, אתם מקטינים את הסיכוי לדליפות נתונים באמצעות AI. השתמשו בכלים שעוזרים לאתר קבצים או תיקיות שיותר מדי אנשים יכולים לראות. כלים אלה מאפשרים לתקן בעיות במהירות. הטבלה שלהלן מציגה דרכים לשפר את התהליך שלכם:

שיטה/כלי

תיאור

הערכת סיכוני נתונים מותאמת אישית

עוזרת לאתר שיתוף-יתר ולתקן אותו עבור כל פריט.

תיוג רגישות

מסמן פריטים לפי רמת הרגישות שלהם, כך שתוכלו לשלוט בשיתוף.

כלי ניטור

מציג אילו פריטים משותפים יתר על המידה ועוזר להסיר קישורים מסוכנים.

אפשר גם להשתמש במפות גילוי כדי לעקוב אחר תנועת הנתונים. רשימות מלאי של יישומים עוזרות לאתר יישומים או מחברים (connectors) מסוכנים. מודל איומים (threat modeling) מאפשר לראות היכן שיתוף-יתר עלול לגרום לבעיות.

DLP מודע ל-AI וכללי זיהוי

נדרשים כללים מיוחדים כדי לשמור על הנתונים שלכם מפני סיכוני AI חדשים. כלי מניעת אובדן נתונים (DLP) יכולים לסרוק את מה ש-AI מייצר או משתף. כלים אלה מחפשים מידע פרטי לפני שהוא יוצא מהמערכת שלכם. חלק מהכלים משתמשים בסריקה בזמן אמת, במיסוך אוטומטי או בהשחרה כדי להסתיר מידע רגיש. אפשר להגדיר כללים מותאמים אישית כדי לחסום סוגים מסוימים של מידע מלהגיע למשתמשים.

נוהל מומלץ

תיאור

מסגרת ממשל נתונים

עוזרת לנהל איכות נתונים, גישה ותאימות.

עדכון מדיניות שוטף

שומר על חוזק הכללים מול איומים חדשים.

פרטיות דיפרנציאלית

מגינה על פרטים אישיים ומאפשרת לראות מגמות רחבות.

בקרות גישה

מוודאת שרק האנשים והמערכות המתאימים יכולים להשתמש בנתונים שלכם.

ניטור רציף

מזהה בעיות בזמן אמת.

בדיקות תאימות אוטומטיות

מבצעת ביקורות כדי לוודא שאתם עומדים בכללים.

אפשר גם להשתמש במאמתים שסורקים פלטי AI כדי לזהות מידע רגיש. חלקם אף בודקים פרטים מזהים אישיים (PII) או סודות עסקיים לפני ששיתוף התוצאות.

ממשל וטקסונומיית תוויות

ממשל טוב ומערכת תוויות ברורה עוזרים לכם לשמור על השליטה. כשמשתמשים במסגרת מובנית, מוודאים שהנתונים שלכם מוגנים ונכונים. אפשר לפעול לפי תקנים כמו עקרונות FAIR או DMBOK כדי להנחות את העבודה. מסגרות אלה עוזרות לנהל את הנתונים, לשמור עליהם מאובטחים ולעמוד בדרישות הפרטיות.

AI יכול לעזור לכם לנהל נתונים טוב יותר. הוא יכול לאתר בעיות ולסייע בתיקונן מהר. כדי למנוע דליפות במהלך אימון, כדאי ללפצל את הנתונים בצורה נכונה. לדוגמה, אפשר להשתמש בחלוקה מבוססת זמן עבור תאריכים, או לקבץ את הנתונים לפי משתמש. פצלו תמיד את הנתונים אחרי שסיימתם כל שינוי, כדי להימנע מטעויות.

טיפ: מערכת תוויות פשוטה עם כללים ברורים מקלה על כולם לפעול לפי נהלי העבודה המומלצים ולמנוע דליפות.

מדדים ובעלי עניין

יעדי OKR מרכזיים לדליפות נתונים באמצעות AI

אתם צריכים יעדים ברורים כדי לבדוק אם אתם עוצרים דליפות נתונים באמצעות AI. היעדים האלה מראים מה עובד ומה דורש תיקון. OKR, קרי Objectives and Key Results (יעדים ותוצאות מפתח), עוזר לעקוב אחר העבודה. להלן כמה דוגמאות שאפשר להשתמש בהן:

יעד

דוגמה לתוצאה מרכזית

צמצום שיתוף-יתר של מידע רגיש

הפחתת מספר הקבצים המשותפים יתר על המידה ב-50% תוך 3 חודשים

שיפור כיסוי התיוג

הגעה ל-95% תיוג בכל מאגרי הנתונים בסיכון גבוה

האצת תגובה לאירועים

קיצור זמן התגובה הממוצע לדליפות נתונים דרך AI ל-10 דקות

שיפור איכות הראיות

איסוף יומני מלא של הנחיות ותשובות עבור 100% מהאירועים

כדאי לבדוק את יעדי ה-OKR האלה לעיתים קרובות. מעקב אחר ההתקדמות עוזר לזהות בעיות מוקדם ולקבל החלטות טובות יותר.

טיפ: שתפו את יעדי ה-OKR עם הצוות. זה עוזר לכולם לעבוד יחד על אותם יעדים.

תפקידים באבטחה וממשל

כדי לעצור דליפות נתונים דרך AI צריך את האנשים הנכונים. צוותים רבים צריכים לעזור כדי לשמור על הנתונים שלכם בטוחים. לכל קבוצה יש תפקיד מיוחד:

  • מובילי אבטחה, כמו ה-CISO, קובעים כללים ושומרים על מערכות AI בטוחות.

  • צוותי ציות בודקים אם אתם עומדים בחוקי ובכללי הגנת המידע.

  • צוותי ניהול זהויות שולטים במי יכול לראות ולהשתמש בנתונים רגישים.

  • יש להגדיר גבולות ברורים למה שסוכני AI רשאים לעשות.

  • יש להעניק הרשאות נכונות לכל משתמש ולכל מערכת.

  • יש למנות אדם שיפקח על השימוש ב-AI ויוודא שהכללים נשמרים.

  • ממשל מרכזי עוזר להפחית סיכונים מסוכני AI.

  • צוותים שעובדים יחד יכולים לפתור בעיות מהר יותר ולשתף את הידע שלהם.

כאשר כל הקבוצות האלה עובדות יחד, נבנית הגנה חזקה מפני דליפות נתונים דרך AI. כולם יודעים מה תפקידם ועובדים לעבר אותו יעד.

מבט קדימה על מרכזי אבטחה (SOC) ו-AI

מגמות באבטחת AI

אבטחת AI תשתנה במהירות בקרוב. תוקפים משתמשים כעת ב-AI כדי ליצור איומים חכמים יותר. כופרה משתכללת כל הזמן, לכן יש להיות עירניים לטריקים חדשים. יש יותר כללים לעמוד בהם, ולכן צריך לשים לב.

הנה כמה מגמות שכדאי להכיר:

  • התקפות מונעות AI מתרחשות לעיתים קרובות יותר. תוקפים משתמשים בלמידת מכונה כדי למצוא נקודות חולשה מהר יותר.

  • כופרה פוגעת כיום גם בנתונים וגם בגיבויים. זה מקשה על תיקון הבעיות.

  • יש לעמוד ביותר כללים כדי לשמור על בטיחות הנתונים.

  • למידת מכונה עוזרת לזהות איומים על ידי למידה של מה שנחשב נורמלי. היא מסמנת כל דבר שנראה חריג.

  • ביומטריה התנהגותית בודקת אם משתמש מתנהג כמו עצמו. זו שכבת אבטחה נוספת.

  • ארכיטקטורת Zero Trust פירושה שלא סומכים על אף אחד מיד. בודקים תמיד לפני שמאפשרים גישה.

המשיכו ללמוד ושמרו על סקרנות. המגמות האלה ישנו את הדרך שבה אתם מגינים על הנתונים שלכם.

היערכות לסיכוני AI מהדור הבא

אפשר להתכונן לסיכוני AI חדשים על ידי עדכון הכלים והחשיבה שלכם. התחילו להשתמש ב-AI בכל חלק של זיהוי האיומים והתגובה להם. השתמשו ב-AI כדי לחפש דפוסים חריגים בנתוני האבטחה שלכם. תגובות אוטומטיות עוזרות לפעול מהר כשמשהו משתבש. מודיעין איומים חזוי מאפשר לזהות התקפות לפני שהן קורות. מערכות למידה אדפטיבית משתפרות עם הזמן, ולכן ההגנות שלכם נשארות חזקות.

נסו את הצעדים האלה כדי להתכונן:

  1. ערכו סדנאות לאיתור והעלאת סיכונים במערכות שלכם.

  2. בדקו מה הסבירות של כל סיכון ומה הנזק שהוא עלול לגרום.

  3. החליטו כמה סיכון אתם מוכנים לקחת ובחרו בדרכים הטובות ביותר להפחית אותו.

  4. המשיכו לבדוק את המערכות שלכם ועדכנו את התוכניות ככל שכלי ה-AI משתנים.

איזון בין רעיונות חדשים לבטיחות דורש עבודת צוות. ממשל טוב מחבר בין כל חלקי מערכת ה-AI שלכם ושומר על אחריות של כולם. מובילי אבטחה קובעים בקרות ועוזרים לצוותים לעבוד יחד. ועדת היגוי ל-AI יכולה להנחות את התוכנית שלכם ולוודא שאתם עומדים בכללים. סביבות ניסוי בטוחות מאפשרות לנסות רעיונות חדשים בלי לסכן את המערכות המרכזיות שלכם. דיווחים שוטפים שומרים על כולם מעודכנים ועוזרים לקבל החלטות חכמות.

היבט מרכזי

תיאור

ממשל

מחבר בין כל חלקי מערכת ה-AI ושומר על כולם במסלול.

תפקיד מובילי האבטחה

קובע בקרות ועוזר לצוותים ליישר את אסטרטגיות ה-AI שלהם.

סביבות ניסוי בטוחות

מאפשרות לבדוק רעיונות חדשים בבטחה ולעמוד במדיניות החברה.

שקיפות ודיווח

שיתוף עדכונים באופן שוטף כדי לשמור על מודעות של כולם ולתמוך בהחלטות טובות.

בעזרת ערנות ועבודת צוות, אפשר לעמוד בעתיד של אבטחת AI בביטחון.

רוב הדליפות של מידע רגיש דרך AI נובעות מכך שהנתונים שלכם לא מנוהלים היטב והתוויות חלשות. הבעיה אינה בעוזרי ה-Copilot עצמם. מחקרים מראים ש-68% מהדליפות מתרחשות כאשר מידע פרטי מגיע לכלי AI. בנוסף, ב-60% מהבעיות הקשורות ל-AI מסתיים הדבר בדליפת נתונים החוצה.

תיאור

אחוז

דליפות נתונים ממידע רגיש ב-AI

68%

אירועי AI שגרמו לפגיעה בנתונים

60%

אפשר לטפל בכך באמצעות כללים חזקים ושיתוף פעולה. ראשית, הגדירו תוויות ברירת מחדל לקבצים. לאחר מכן, הוסיפו כללי DLP שפועלים יחד עם AI. הפעילו ביקורת הנחיות (prompt auditing) כדי לעקוב אחר הפעולות של AI. נסו ספרint של שעה אחת להטמעת השלבים האלה. המשיכו ללמוד ושנו את ההגנות שלכם ככל שהאיומים של AI גוברים.

שאלות נפוצות

מהי "דליפת נתונים של Copilot"?

דליפת נתונים של Copilot מתרחשת כאשר עוזרי AI ניגשים לנתונים רגישים שאמורים להישאר פרטיים או משתפים אותם. זה עלול לקרות אם לקבצים יש תוויות חלשות או אם יש יותר מדי אנשים שיכולים לצפות בהם.

איך אפשר לזהות שפעולה של AI מסוכנת?

כדאי לבדוק מי ביקש מה-AI לגשת לנתונים, איזו תווית הייתה לקובץ, ולאן הנתונים הגיעו לאחר מכן. חפשו שינויים בתוויות, התנהגות חריגה של משתמשים, או קבצים שנשלחו מחוץ לארגון.

אילו כלים עוזרים לזהות דליפות נתונים של AI?

  • Microsoft Purview ו-DSPM: מעקב אחר נתונים ותוויות.

  • Defender XDR: זיהוי פעולות חריגות.

  • Prompt auditing: בחינה של מה שמשתמשים ו-AI מבקשים.

טיפ: השתמשו בכלים האלה יחד כדי לקבל את התוצאות הטובות ביותר.

איך מונעים מ-AI לדלוף מידע רגיש?

אפשר להגדיר תוויות חזקות, להגביל מי יכול לראות קבצים, ולהשתמש בכללי DLP שחוסמים ל-AI קריאה של נתונים בתווית "Highly Confidential". הפעילו ביקורת הנחיות (prompt auditing) כדי לעקוב אחר פעולות AI.

מי צריך לעזור בניהול סיכוני נתונים של AI?

תפקיד

אחריות

אנליסטים של SOC

זיהוי ותגובה לדליפות

ממשל נתונים

הגדרה ובדיקה של כללי נתונים

מנהלי IT

תיקון בעיות של הרשאות ותוויות

כולם צריכים לעבוד יחד כדי לשמור על הנתונים


כדאי גם להאזין לאלה

אם אתם חוקרים ניטור אבטחה של Copilot, הפרקים האלה מוסיפים הקשר מעשי על הטמעה, ארכיטקטורה, אבטחה וממשל:

Entities in this article

Microsoft Defender Microsoft To Do Data governance Microsoft Purview Prompt Logistics Oversharing Phishing

Related articles

RSS