משבר הנראות: איתור ואבטחה של Shadow AI בארגון שלכם
By Mirko Peters ·
ברוכים השבים להעמקה המתמשכת שלנו בטכנולוגיות מקום העבודה המודרני, באבטחה ובאסטרטגיה ארגונית. אם אתם מנהלים מחלקת IT, מרכז מבצעי אבטחה או צוות כספים, כנראה שאתם חשים בשינוי עמוק באופן שבו תוכנה נכנסת לארגון ופועלת בתוכו. עברו הימים שבהם כל כלי תוכנה דרש בקשה רשמית למחלקת הרכש, בדיקת אבטחה קפדנית וכרטיס הקצאה שטופל על ידי מוקד תמיכה מרכזי. היום, כל מי שיש לו דפדפן, כרטיס אשראי של החברה או גישה לכלי
Automatically translated with AI from the original post. Read the English original

ברוכים השבים להעמקה המתמשכת שלנו בטכנולוגיות מקום העבודה המודרני, באבטחה ובאסטרטגיה ארגונית. אם אתם מנהלים מחלקת IT, מרכז מבצעי אבטחה או צוות כספים, כנראה שאתם חשים בשינוי עמוק באופן שבו תוכנה נכנסת לארגון ופועלת בתוכו. עברו הימים שבהם כל כלי תוכנה דרש בקשה רשמית למחלקת הרכש, בדיקת אבטחה קפדנית וכרטיס הקצאה שטופל על ידי מוקד תמיכה מרכזי. היום, כל מי שיש לו דפדפן, כרטיס אשראי של החברה או גישה לכלי low-code יכול להקים יכולות תוכנה חזקות בתוך דקות. באף תחום זה הדבר לא נכון יותר, ולא מסוכן יותר, מאשר בתחום הבינה המלאכותית.
ארגונים רבים פועלים כיום תחת אשליה מסוכנת. הם מאמינים that מכיוון שאימצו פלטפורמה ארגונית אחידה – בין אם זו Microsoft 365, Google Workspace או מערכת ענן אחרת – יש להם שליטה מלאה על טביעת הרגל של הבינה המלאכותית שלהם. הם מביטים בלוחות הרישוי המרכזיים, סופרים את מושבי Copilot או עוזרי AI הפעילים, ומניחים שהם מחזיקים בתמונה מלאה של הפעילות התפעולית. אך ביחידות העסקיות, רחוק מעיניו הפקוחות של ה-IT המרכזי, מתרחשת מהפכה שקטה. מנהלי מחלקות, מתוסכלים מהחסמים באספקת תוכנה, בונים פתרונות משלהם. הם מחברים מקורות נתונים, מפעילים סוכנים אוטונומיים ומתזמרים תהליכי עבודה מורכבים באמצעות פלטפורמות low-code וכלי ענן מקומיים. התוצאה היא מערכת אקולוגית עצומה ומבוזרת של סוכני AI לא מנוהלים, הפועלים ממש מתחת לאפכם. זהו משבר הנראות, ועד שהארגון שלכם ילמד למפות את טביעת הרגל של Shadow AI, אתם טסים בעיוורון.
מבוא למשבר הנראות ול-Shadow AI
Shadow IT אינו תופעה חדשה. במשך עשרות שנים, צוותי שיווק השתמשו בכלי SaaS לא מאושרים, ומחלקות כספים תחזקו מאקרואים לא רשמיים באקסל ששימשו כמנועים פיננסיים קריטיים. עם זאת, Shadow AI מייצג סדר גודל שונה מהותית מבחינת סיכון, יכולת ומורכבות. Shadow IT מסורתי כלל לרוב תוכנה פסיבית: מסדי נתונים ששמרו מידע, כלי הדמיה שהציגו נתונים, או אפליקציות שיתוף פעולה שהשתפו קבצים. כלים אלה המתינו לקלט ולפעולה אנושית.
לעומת זאת, Shadow AI הוא פעיל, אוטונומי ומסוגל לבצע תהליכי עבודה מורכבים במהירות של מכונה. כאשר מחלקה מפעילה סוכן AI לא מנוהל באמצעות כלים כמו Copilot Studio, Power Automate או שילובי API של צד שלישי, היא לא רק מתקינה תוכנה. היא מפעילה עובד דיגיטלי אוטונומי. עובד זה יכול לקרוא מסמכים רגישים, לסנתז נתונים לא מובנים, לתקשר עם לקוחות, להפעיל עסקאות פיננסיות ולעדכן רשומות ארגוניות. מכיוון שסוכנים אלה נפרסים מחוץ למסגרת הממשל הרשמית, לצוותי ה-IT והאבטחה המרכזיים אין מלאי של המקום שבו הם פועלים, אילו נתונים הם צורכים או אילו פעולות הם מבצעים. היעדר ידע בסיסי זה הוא מה שאנחנו מכנים משבר הנראות. בלי לדעת מה קיים, אי אפשר לאבטח אותו, לבקר אותו או לתקצב אותו.
חשיפת היקף האמיתי של סוכני AI לא מנוהלים
כדי להבין את היקף הבעיה האמיתי, יש להסתכל על האופן שבו פלטפורמות ארגוניות מודרניות מתוכננות. הפלטפורמות נבנו כדי להנגיש פיתוח לכולם. הן מעצימות מפתחים אזרחים – מומחי תחום ללא רקע אקדמי פורמלי במדעי המחשב – לבנות אוטומציות מתוחכמות. אף שההנגשה הזו מניעה גמישות עסקית מרשימה, היא גם מבזרת את השליטה הטכנית. מנהלת משאבי אנוש יכולה לבנות סוכן קליטה הניגש לביקורות ביצועים של עובדים. איש תפעול מכירות יכול לבנות סוכן לדירוג לידים שמושך נתוני תמחור קנייניים מ-SharePoint. רכזת רכש יכולה לפרוס סוכן לניתוח חוזי ספקים.
במבט ראשון, יוזמות מחלקתיות אלה נראות כשיפורי פרודוקטיביות חסרי נזק. במצטבר, הן יוצרות כלכלת בינה מלאכותית צללית שאינה מנוהלת. רוב הארגונים מגלים את היקף הפעילות הזו רק לאחר שמתרחש אירוע: דליפת מידע, הודעה לא מורשית שנשלחה ללקוח חיצוני, או זינוק בלתי צפוי בחשבונית. כדי לחשוף את ההיקף האמיתי נדרשות טכניקות גילוי יזומות. צוותי אבטחה חייבים לחרוג מניטור רשתי פשוט ולבדוק יומני פלטפורמה, שערי API ומדדים של יצירת סביבות low-code. צריך לשאול שאלות קשות: מי מורשה ליצור סביבות? כמה מחברים מותאמים אישית פעילים? אילו מקורות מידע ארגוניים נשאלים על ידי יישומים לא סטנדרטיים? עד שתבצעו סריקת גילוי מקיפה, הערכת הסיכון הארגונית שלכם נשארת תיאורטית לחלוטין.
מיפוי טביעת הרגל של האוטומציה הארגונית שלכם
ברגע שמזהים שבינה מלאכותית צללית קיימת בארגון, הצעד הבא הוא מיפוי טביעת הרגל של האוטומציה הארגונית. תהליך המיפוי הזה דורש מתודולוגיה מובנית שחוצה את הגבולות המחלקתיים המסורתיים. אי אפשר להסתמך על IT לבדו כדי לאתר את הנכסים האלה; יש לערב מנהלי יחידות עסקיות, קציני ציות ובעלי נתונים.
מתחילים בבדיקת הדיירים בענן לאיתור סביבות יתומות או סביבות שאינן מנוטרות. יש להתמקד בפלטפורמות שבהן משתמשים יכולים לבנות בוטים, זרימות עבודה ומשימות אוטומטיות ללא התערבות של IT. בוחנים את השימוש במחברים מותאמים אישית שמחברים את הסביבה הארגונית המאובטחת שלכם עם ממשקי API חיצוניים, מודלים שפה גדולים ציבוריים ויישומי SaaS של צדדים שלישיים. כל מחבר מייצג נקודת דליפת מידע פוטנציאלית או כניסה אפשרית לבינה מלאכותית צללית. ממפים אילו מאגרי נתונים — אתרי SharePoint, תיקיות OneDrive, מסדי נתונים מסוג SQL ומערכות ניהול קשרי לקוחות — נגישים על ידי זרימות העבודה האוטומטיות הללו. על ידי תרשים חזותי של הקשרים בין מקורות מידע, זהויות וסוכנים אוטונומיים, מתחילים לראות את הטופולוגיה האמיתית של מערכת האוטומציה שלכם. המפה הזו הופכת לתוכנית היסוד לכל יוזמת אבטחה, ציות ואופטימיזציה פיננסית שתבוא אחריה.
ההשפעה הפיננסית של עומסי עבודה נסתרים של בינה מלאכותית
בעוד שסיכוני אבטחה תופסים לרוב את הכותרות, ההשפעה הפיננסית של עומסי עבודה נסתרים של בינה מלאכותית מדאיגה באותה מידה, ובמקרים רבים מיידית הרבה יותר, עבור מחלקות הכספים של הארגונים. תוכנה ארגונית עקבה באופן מסורתי אחר מודל פיננסי צפוי המבוסס על רישיונות משתמשים. רכשתם חמישים רישיונות, שילמתם דמי שנה קבועים, והתקציב נקבע לשנה. בינה מלאכותית משנה לחלוטין את הפרדיגמה הזו, ועוברת מרישוי קבוע לכלכלה מבוססת צריכה.
פלטפורמות בינה מלאכותית מודרניות צורכות משאבים בהתאם למורכבות ההסקה, למשך זמן ההרצה, לגודל חלון ההקשר, לשימוש בכלים ולבחירת המודל. בכל פעם שסוכן אוטונומי מבצע מחזור הסקה, מבצע שאילתה למסד נתונים או מתזמר משימה רב-שלבית, הוא צורך קרדיטים. כאשר מחלקות פורסות סוכני בינה מלאכותית צללית הפועלים ברציפות ברקע — מעבדים הודעות דוא"ל, מנטרים פידים ומבצעים משימות שגרתיות — הם צורכים קרדיטים בקצב חסר תקדים. צוותי הכספים מוצאים את עצמם פתאום מול חשבונות ענן בלתי צפויים שאינם מתיישבים עם מודלים תחזיתיים מסורתיים. החלטות מקומיות וקטנות לאוטומציה של זרימות עבודה קטנות יכולות לגדול להוצאות תפעוליות עצומות, משום שהצריכה גדלה באופן אקספוננציאלי ככל שהסוכנים פועלים יותר והארגון מאמץ אותם. אם לא תמפו ותנהלו את טביעת הרגל של הבינה המלאכותית הצללית שלכם, תמשיכו לדלוף משאבים לעומסי אוטומציה נסתרים שאינם מספקים שום החזר השקעה מאומת.
הפחתת הגברת הרשאות וסיכוני אבטחה
אחד הסיכונים הערמומיים ביותר של סוכני בינה מלאכותית לא מנוהלים הוא הגברת הרשאות. בארגונים רבים, שנים של שינויים ארגוניים, מיזוגים, רכישות והזנחה של היגיינת IT הותירו סביבות דיגיטליות הסובלות מהתפשטות הרשאות חמורה. משתמשים מחזיקים לעיתים קרובות בגישה לנתונים רבים הרבה יותר ממה שהם באמת צריכים כדי לבצע את עבודתם. כאשר משתמש יוצר סוכן בינה מלאכותית, או כאשר זרימת עבודה אוטומטית מקבלת גישה תחת זהותו של משתמש, הסוכן יורש כל הרשאה שקשורה לאותו משתמש.
אם עובד בעל כוונות טובות מחזיק בהרשאות קריאה לגיליונות כספיים רגישים, לרשומות משאבי אנוש סודיות ולמפות דרכים מוצריות קנייניות, סוכן ה-AI הצללי שהוא מפעיל יקבל גם הוא גישה למאגרי המידע הרגישים האלה. אלא שבניגוד לבני אדם, סוכנים אינם מעיינים בנתונים בקצב אנושי. הם יכולים לסרוק, לקלוט ולעבד גיגה-בייטים של קבצים רגישים בתוך שניות. אם הסוכן מחובר לשירות חיצוני או ל-webhook לא מאובטח, נתוני הארגון הסודיים עלולים לדלוף החוצה מיידית. הבינה המלאכותית אינה יוצרת בעצמה את בעיות הממשל האלה; היא פועלת כעדשה מהירה במיוחד שמגדילה את חולשות ההרשאות הקיימות עד לממדים הרסניים. אבטחת מערכת האוטומציה שלכם מחייבת אכיפה נוקשה של עקרון הרשאות המינימום, לפני שמותר לסוכן אוטונומי כלשהו לגעת בנתונים הארגוניים.
ביסוס בסיסים לממשל בר-קיימא של AI
כדי לעבור מניהול משברים לשליטה תפעולית בת-קיימא, על הארגונים להגדיר בסיסי ממשל ברורים. ממשל בארגון מונע בינה מלאכותית אינו יכול להסתכם במסמכי מדיניות סטטיים שיושבים בדף באינטרנט פנימי. הוא חייב להיות יכולת תפעולית פעילה ומאוטומטת.
ביסוס הבסיסים האלה מתחיל בניהול זהויות. סוכנים אוטונומיים לעולם לא צריכים לפעול באמצעות פרטי התחברות משותפים או חשבונות של עובדים בודדים. לכל סוכן נדרשת זהות ייעודית ומנוהלת, עם הרשאות מוגדרות בדיוק, מסלול ביקורת עצמאי ומחזור חיים מוגדר. כמו כן, על הארגונים להנהיג שערי אישור תכניתיים וסיווגי סיכון לאוטומציה. לא כל עומסי העבודה של AI נושאים את אותה רמת סיכון. סוכן שמנסח סיכומים של הניוזלטר הפנימי דורש פיקוח שונה לגמרי מסוכן שמתקשר ישירות עם רשומות פיננסיות של לקוחות או מקבל החלטות משאבי אנוש אוטומטיות. על ידי סיווג תהליכי העבודה לפי רמת סיכון, ניתן להחיל מעקות בטיחות מתאימים, כגון אימות חובה עם מעורבות אנושית, ספי הוצאות וניטור רציף, מבלי לחנוק חדשנות עסקית לגיטימית.
צעדים מעשיים לאבטחת מערכת האוטומציה שלכם
הידיעה על משבר הנראות היא רק חצי מהקרב. אבטחת הארגון דורשת מפת דרכים החלטית ומעשית שמוציאה את ה-AI הצללי מהחושך ומכניסה אותו למסגרת מנוהלת. הנה הצעדים המעשיים שהארגון שלכם חייב לנקוט כבר עכשיו:
- ביצוע סריקת גילוי מקיפה: השתמשו בכלי ממשל של הפלטפורמה, ביומני אבטחה ובמוניטורים של שערי API כדי לזהות כל בוט פעיל, כל תהליך אוטומטי וכל שילוב AI מותאם אישית בכל יחידות העסק.
- אכיפת זהויות סוכנים ייעודיות: הפסיקו לאפשר לסוכנים אוטונומיים לפעול באמצעות פרטי התחברות של משתמשים אנושיים. הקצו זהויות שירות נפרדות, עם הרשאות מוגבלות בהתאם לעיקרון הרשאות המינימום, לכל אוטומציה מאושרת.
- ביקורת וניקוי הרשאות: טפלו מיד בהצטברות ההרשאות המיושנות. צמצמו את סיכוני החשיפה של המידע, כך שאם סוכן ייפרס, רדיוס הפגיעה שלו יישאר במינימום ההכרחי לתפקידו הספציפי.
- הטמעת מעקב צריכה ו-FinOps: שתפו פעולה עם צוות הכספים כדי להקים ניטור של צריכת קרדיטים ושל עלויות התפעול של ה-AI. הגדירו התראות על זינוקים בלתי צפויים בשימוש, הקשורים לתהליכים מחלקתיים בלתי מבוקרים.
- הקמת תהליכי ממשל מבוססי סיכון: צרו תהליך בדיקה רשמי לפרויקטים חדשים של אוטומציה. הטמיעו שערי אישור אנושיים, כללי העלאה ובדיקות התאמה לרגולציה, במיוחד עבור מקרי שימוש בסיכון גבוה שמושפעים מרגולציות מתפתחות כמו חוק ה-AI של האיחוד האירופי.
המעבר מרישיונות תוכנה סטטיים לכלכלה של סוכני AI אוטונומיים הוא השינוי הטכנולוגי המכריע של העשור שלנו. הוא מביא עמו הזדמנויות מדהימות לפרודוקטיביות ולשינוי עסקי, אך גם יוצר תנודתיות פיננסית עמוקה וחולשות אבטחה אם לא נשלטים. ארגונים שימפו בהצלחה את טביעת הרגל של ה-AI הצללי שלהם, יקימו בקרות זהות קפדניות ויישרו את תחזיות הכספים שלהם עם מודלים מבוססי צריכה, יצליחו בעידן החדש הזה. מי שנשאר עיוור למערכת האוטומציה הצללית שלו ימצא את עצמו מתקשה לרסן עלויות עולות ופריצות אבטחה מצטברות.
כדי להעמיק בנושא ולהבין איך שינויים במודלים הכלכליים משפיעים על האסטרטגיה של הארגון שלכם, מומלץ להאזין לפרק הקשור שלנו, The Copilot Credit Trap- Why Your AI Economy is Already Broken. בפרק הזה אנחנו מפרקים מדוע תקצוב IT מסורתי נכשל, איך קרדיטים של AI מבוססי צריכה משנים את כללי המשחק בניהול הכספים של הארגון, ומה צריך לעשות עכשיו כדי להחזיר לידיים שלכם את השליטה במקום העבודה הדיגיטלי.