אז מה בדיוק משתנה כשחברה עוברת מתשעדבות AI 1 לעשרות כלי בינה מלאכותית? בהתחלה זה מרגיש פשוט. צוות 1 מוסיף תשעדבות לתמיכת לקוחות. אחר משתמש ב-AI כדי לחפש במסמכי החברה וסיכומי פגישות נכתבים באופן אוטומטי. זרימת עבודה יכולה לקרוא אימייל, לחלץ ממנו בקשה ולשלוח אותה למערכת המתאימה. תוך זמן קצר, לחברה יש כמה מודלים, סוכנים שיכולים לבצע פעולות וחלים שניגשים לנתונים עסקיים. כל צוות מתחבר לעתים קרובות ישירות לספק AI שונה עם מפתח משלו, מגבלות משלו וחוקי הבטחה משלו. קשה לעקוב אחרי עלויות. מפתח עלול להגיע למקום הלא נכון. וכשסוכן מפעיל כלי, ייתכן שלאף אחד אין תיעוד ברור של מה שהוא ניסה לעשות. כאן נכנס לתמונה Microsoft Eye Gateway. עד סוף הפרק הזה, תבינו מה זה, איך אבני הבניין שלו משתלבות ומתי זה מתחיל להיות הגיוני לעסק שלכם. חישבו על זה כעל בניין משרדים עם הרבה דלתות צדדיות. אפשר להשאיר כל דלת פתוחה ולקוות שאנשים משתמשים בהן כראוי, או להעביר את כולם דרך כניסה אחת מנוהלת. דלת כניסה אחת עבור ה-AI. Microsoft Eye Gateway הוא אוסף של תכונות ניהול API ב-Azure שמעניק לתעבורת ה-AI שלכם נקודת בקרה אחת. בואו נפרק את זה לשפה פשוטה. דמיינו את מערך ה-AI של החברה שלכם כבניין משרדי מודרני. מודלי ה-AI הם חדרים שבהם מתרחשת החשיבה. הסוכנים שלכם הם עובדים שנעים בבניין ומחליטים איזו משימה מאושרת לבצע הבאה. כלים הם דלתות שירות שמובילות למקומות כמו משאבי אנוש, כספים, רשומות לקוחות וקבצים פנימיים. ה-AI Gateway הוא דלפק הקבלה ועמדת ההבטחה בחזית. הוא בודק מי נכנס, מכיל את הכללים ומתעד לאן בקשות הולכות לפני שהן מגיעות לשאר הבניין. בקשה עוקבת אחר נתיב פשוט. אפליקציה, קופ הילות או סוכן שולחים בקשה לגייטווי. הגאטווי בודק את הכללים החלים על אותו קורא, ואז שולח אותה למודל, לכלי, לסוכן או ל-API העסקי המאושר. וכשתגובה חוזרת, היא עוברת שוב דרך הגאטווי לפני שהיא מגיעה למשתמש. הנתיב האחד הזה מעניק לעסק מקום לנהל גישה, מגבלות, בדיקות בטיחות ורישום לוגים, בלי לבנות בקרות אלו בכל אפליקציה בנפרד. זה גם מפריד בין שני תפקידים שלעיתים קרובות מתערבבים זה בזה. צוותי פיתוח יכולים להתמקד בחוויה שאנשים באמת משתמשים בה. הם בונים את עוזר התמיכה, את ממשק חיפוש המסמכים, או את זרימת העבודה שחוסכת זמן. בינתיים, צוות הפלטפורמה מנהל את הכללים המשותפים מאחורי הקלעים, ומחליט אילו שירותים מאושרים, אילו זהויות יכולות להשתמש בהם, כמה תעבורה פרויקט יכול לשלוח ומה מתועד. אתם לא רוצים שכל צוות ימציא תוכנית הבטחה חדשה לכל שדבות. מייקרוסופט AI Gateway יכול לשבת לפני סוגים שונים של תעבורת AI. הוא יכול לנהל קריאות למודלי AI וקריאות לכלי MCP, פרוטוקול הקשר מודל. הוא יכול גם לנהל תעבורת סוכן לסוכן, אש טיים-אי, ואת האפיס העסקיים שהחברה שלכם כבר משתמשת בהם, כמו API לבדיקת הזמנה, קריאת מדיניות משאבי אנוש או פתיחת כרטיס תמיכה. החלק האחרון הזה חשוב, כי רוב החברות לא צריכות לזרוק את המערכות הקיימות שלהן כדי להשתמש ב-AI. הן רק צריכות דרך בטוחה עבור ה-AI לעבוד עם המערכות האלה. ושאר, Gateway, עוזר להציב בקרות סביב החיבור הזה. כעת, מייקרוסופט AI Gateway אינו מודל. הוא לא כותב תשובות בעצמו, הוא גם לא בונה סוכנים. אז לא משתמשים בו כדי לעצב עוזר משאבי אנוש או ללמד סוכן כספים מה לעשות. והוא לא מחליף את מייקרוסופט פאונדרי, שבו צוותים יכולים לבנות, לבדוק ולנהל פרויקטי AI. במקום זאת, הוא יושב באמצע. פאונדרי יכול לעזור לכם לעבוד עם מודלים וסוכני AI. בעוד ש-Azure API Management AI Gateway עוזר לשלוט בתעבורה שהמודלים, הסוכנים והכלים האלה יוצרים. אולי אתם כבר מכירים את Azure API Management כדרך לנהל APIs רגילים. API הוא פשוט דרך שבה פיסת תוכנה אחת מבקשת משהו מפיסת תוכנה אחרת. AI Gateway מרחיב את אותו רעיון עבור עבודה עם AI, מכיוון שבקשות AI מביאות איתן שאלות חדשות. מי ישתמש באיזה מודל? כמה סימונים? תוקנים? הוא צרך. האם הסוכן הזה יכול לקרוא לכלי ההוא? האם ההנחיה, פרומפט, הזאת צריכה להגיע למודל בכלל? הצוות השער באמצע נותנת לכם מקום אחד לענות על השאלות האלה. ונקודת הלחץ הראשונה מופיעה כשכל אפליקציה מתחילה לבחור את נקודת הקצה, Endpoint, של המודל שלה. נקודת קצה אחת, מודלים רבים. כשהאפליקציה שלכם מתחברת ישירות לנקודת קצה של מודל יחיד, הבחירה הזו מוטמעת בקוד עצמו. לעתים קרובות, הקוד קשור לספק אחד, פריסה ספציפית אחת, אזור Azure 1 וקבוצה קבועה של מגבלות. זה עובד בסדר כשהפרויקט קטן, אבל דמיינו שמערכת התמיכה שלכם רצה על מודל אחד באזור אחד. חודשים לאחר מכן, המודל מגיע לקיבולת שלו, מודל טוב יותר מגיע בפחות כסף, או שהעסק שלכם צריך לעבור לאזור אחר. ללא שכבה משותפת, כל צוות אפליקציה צריך לשנות את הקוד שלו, לבדוק אותו שוב ולהוציא עדכון. זה מוביל לשינוי איטי ומבולגן. מייקרוסופט AI Gateway מעניק ליישומים שלכם דלת כניסה יציבה. הם שולחים לשם בקשות, ובחירת המודל יכולה להשתנות מאחורי הקלעים מבלי שתצטרכו לגעת באפליקציה. חישבו על זה כעל מספר טלפון של חברה. לקוחות מחייגים למספר אחד, גם אם השיחה מועברת לצוות או למשרד אחר. הם אף פעם לא צריכים לדעת איך זה מטופל. עם AI Gateway, האפליקציה שלכם קוראת לנקודת קצה אחת מאושרת, ומאחורי נקודת הקצה הזו, השער שולח את הבקשה על המודל המתאים למשימה. למיקרוסופט יש גם גישה חדשה יותר שנקראת Unified Model API. במילים פשוטות, היא מאפשרת לאפליקציה להשתמש בדרך של OpenAI לביצוע בקשה, בעוד שהשער יכול לחבר את הבקשה לספקי מודלים שונים מאחורי הקלעים. אז האפליקציה שלכם שולחת סוג אחד מוכר של בקשה, והשער מטפל בכל פרטי השפה. בהתאם להגדרות שלכם, הבקשה הזו יכולה להגיע להטמעה של Azure OpenAI, למודל ב-Microsoft Foundry, ל-Enthropic, לגוגל Gemini או לאמזון Bedrock. הנתיב עוקב אחר כללים שאתם קובעים, ולא אחר בחירה מקובעת שמוטמעת בתוך כל אפליקציה. זה נותן לצוות הפלטפורמה מרחב לבצע שינויים מבלי להפריע לאנשים שמשתמשים באפליקציה. נניח שהחברה שלכם מפעילה עוזר AI לתמיכת לקוחות. רוב השאלות פשוטות. איפה ההזמנה שלי? איך אני מאפס את הסיסמה שלי? על אלה יכול לענות מודל קטן וזול יותר במהירות, בלי להוציא יותר מהנדרש? ואז לקוח שולח שאלה ארוכה וחריגה שדורשת עסקה זהירה או ידע במוצר. השער מנתב את סוג הבקשה הזה למודל חזק יותר. אפליקציית התמיכה עדיין שולחת בקשות באותה דרך, כך שהצוות שלכם לעולם לא צריך לדעת איזה מודל טיפל בשאלה, והמפתחים שלכם לא צריכים לחבר חיבורים נפרדים לכל אפשרות. מה לגבי קיבולת? לנקודות קצה של מודל EAI יש מגבלות. הן יכולות לטפל רק בחמות מסוימת של תעבורה במהלך פרק זמן. אם כל בקשה פוגעת בהתמעה אחת, שעה אחת עמוסה עלולה להעט או לחסום את כל החוויה. שער יכול לפזר תעבורה על פני מספר התמעות מאושרות, לנתב לאזור אחר כשנקודה אחת מתמלט, או להשתמש בנתיב גיבוי עם נקודת קצה מושבטת. זה לא אומר שבקשות צריכות לקפוץ מסביב באופן אקראי. אתם עדיין קובעים את הכללים. לדוגמה, תעבורה מול לקוחות מקבלת עדיפות במודל הראשי שלכם, בעוד בדיקות פנימיות משתמשות בנתיב אחר, או שאזור אחד מטפל במשתמשים מקומיים בעוד אחר משמש כגיבוי. הנקודה פשוטה. היישומים שלכם מתחברים לדלת כניסה מבוקרת אחת, ומאחוריה הפלטפורמה יכולה להתאים מודלים, אזורים או ספקים במינימום שיבושים. זה משנה כי איי מתקדם במהירות. מודל שעובד היום עשוי לא להיות הבחירה הטובה ביותר בחודש הבא. אם כל אפליקציה מתקשרת ישירות עם הספק שלה, החלפת מודלים הופכת לפרויקט עבור כל צוות. עם הגאטאווי, ההחלטה על המודל נמצאת במקום אחד משותף. הערה קצרה על ה-Unifid Model API. מייקרוסופט מגדירה אותו כתצוגה מקדימה ציבורית, לכם יכול כבר עכשיו לעמוד לפני נקודות הקצה של המודלים, להכיל חוקי ניתוב ולסייע בניהול יותר מבקנד אחד. ה-Unifid Model API נועד להקל על חוויית העבודה מול ספקים מרובים עבור אפליקציות. בחירת המודל הנכון היא רק חצי מהעבודה, כי מודל יכול לענות על שאלה, אבל סוכן יכול להחליט לבצע פעולה שמשפיעה על מערכות אמיתיות בארגון. ניהול ובקרה של סוכנים וחלים. סוכן לוקח את הבינה המלאכותית מעבר למתן תשובות בלבד. זו תוכנה שיכולה לבחון משימה, לבחור מתוך אפשרויות מאושרות ולהפעיל כלי או שירות כדי לבצע את העבודה. סוכן משאבי אנוש עשוי לחפש מדיניות חופשות, סוכן תמיכה עשוי לבדוק הזמנה, וסוכן פיננסי עשוי להכין בקשת תשלום. היכולת הזו שימושית, אך היא גם משנה את פרופיל הסיכון. תשובה שגויה ממודל עלולה לבלבל מישהו, אך סוכן שמשתמש בכלי הלא נכון עלול לחשוף מידע, לשנות רשומה או להפעיל תהליך שהוא לעולם לא אמור לגעת בו. זו הסיבה שכלים זקוקים לחוקים משלהם. אתם תשמעו את המונח MCP, או Model Context Protocol. תחשבו על זה כעל צורת חיבור סטנדרטית שנותנת לסוכן דרך מוכרת למצוא ולהשתמש בכלי ארגוני, כמו שירות חיפוש מסמכים או API ליתור הזמנו. במקום לבנות חיבור שונה לכל סוכן ולכל מערכת, MCP מעניק לצוותים תבנית עבודה משותפת. ויש גם אש טיים-א, סוכן לסוכן, Agent2Agent, דרך סטנדרטית עבור סוכן אחד ליצור קשר עם אחר. לדוגמה, סוכן תמיכה מבקש מסוכן משלוחים פרטי משלוח במקום לנסות להבין את מערכת המשלוחים בעצמו. זה נשמע מסודר על הנייר, אבל שרשרת סוכנים הופכת למורכבת כשכל חיבור כולל חוקי גישה שונים, אישורים חבויים וחלים לא מוכרים. דמיינו סוכן פיננסי שעונה על שאלות בנושא חשבוניות. עליו להשתמש רק בכלי מאושר לאיתור חשבוניות, אך מי שהוא נותן לו גישה רחבה למערכת הפיננסית כי זה מהיר יותר מהגדרת כלי מוגבל. משתמש שולח הנחיה שנראית תמימה, אך הוראות חבויות במסמך מצורף דוחפות את הסוכן לפעולה לא מאושרת. אם לסוכן יש יותר מדי גישה, הוא עלול לבקש מידע מיותר או להתחיל תהליך עבודה שהיה אמור לדרוש אישור אנושי. הסוכן אינו סדוני, פשוט הייתה לו יותר מדי חופש פעולה בטיפול בכלת לא מהימן. Microsoft AI Gateway מאפשר לך להציב בקרות לפני שרתי MCP וממשקי API עסקיים. במקום נתיב ישיר מאפליקציית AI למסעד נתונים, אתה חוסף כלי קטן ומבוקר למשימה ספציפית אחת. לדוגמה, סוכן מבקש בדוק את הסטטוס של ההזמנה הזו. הכלי מחזיר רק את הסטטוס, לא את כל ההזמנות או את רשומת הלקוח המלאה. זו משימה מוגדרת, והגאטווי בודק מי מבקש לפני שהוא מאשר את הקריאה. זהות עומדת במרכז ההגדרה הזו. עם Microsoft Entry ID אפליקציות מתחברות באמצעות זהויות מנוהלות במקום שיתוף מפתחות ספק. זהות מנוהלת מוכיחה מי ללא צורך של מפתח להעתיק סוד לתוך הקוד. לכל סוכן צריכה להיות זהות משלו. כך תוכל לראות איזה סוכן קרה לכלי, לבטל גישה לסוכן אחד מבלי לפגוע באחרים ולהכיל חוקים שונים. סוכן משאבי אנוש לא אמור לרשת הרשאות של סוכן פיננסים רק בגלל ששניהם משתמשים ב-AI. זה עוקב אחרי עיקרון, 0 אמון, Zero Trust. בדוק כל בקשה, תן רק את הגישה הדרושה למשימה הנוכחית, והנח שכל הנחיה או תגובת כלי עלולה להיות לא בטוחה. בפועל, הסוכן מקבל הרשאה לכלי ולפעולה ספציפיים בלבד. הוא יכול לקרוא יתרת חופשה, אך לא להוריד את קובץ השכר. הוא יכול ליצור טיוטת כרטיס תמיכה, אך לא לסגור מקרה. הגאטאווי מכיל גם בדיקות בטיחות על הנחיות, PROMAPTS ותעבורת כלים. אם בקשה מכילה תוכן מזיק או מידע שאסור שיצא מהמערכת, מדיניות עוצרת אותה לפני שהיא מגיעה לקצה האחורי. שום פילטר לא תופס הכל, אך בדיקת תעבורה בנקודה משותפת בטוחה בהרבה, מאשר לקוות שכל בונה סוכנים יוסיף את אותה הגנה. אתה זקוק גם לקטלוג של כלים מאושרים. API Center משמש כקטלוג פרטי עבור ממשקי API ושירותי MCP, כך שצוותים מוצאים את הכלי הנכון בלי לחפש במסמכים ישנים או להעתיק כתובות אינטרנט לא מעומתות. זה עוזר להפוך את השאלה באיזה כלי הסוכן שלי יכול להשתמש להחלטה עסקית מבוקרת. בקרות הבטחה מגנות על הנתיב, אך הן גם מעלות שאלה חדשה. אילו צוותים משתמשים בנתיב הזה וכמה שימוש ב-AI הם יוצרים? עלויות תוכנים, מגבלות ונירות. עלויות AI עובדות אחרת מרישיון תוכנה רגיל. המונה פועל על תוכנים. מה זה תוכן? זהו חלק קטן מטקסט. מילה קצרה עשויה להשתמש בתוכן אחד. מילה ארוכה יותר משתמשת ביותר. המודל סופר את כל מה שאתה שולח פנימה. השאלה שלך, ההנחיות שאתה מוסיף, כל מסמך שאתה מצרף, והתשובה שהוא מחזיר. לכן, שאלה פשוטה צורכת מעט מאוד, אך סוכן שקורא מסמך מדיניות ארוך, שואל שאלות המשך, קורא לכלי ואז יוצר תשובה מפורטת, יכול לצרוך הרבה יותר ממה שאתה מצפה. בוודאי נתקלתם בזה בתמלול של פגישה. אתם רואים כמה עמודים של הערות. מערכת ה-AI מאבדת גם את הוראות המערכת, את התמלול, נתוני חברה שנשלפו, תוצאות כלים והתגובה הסופית. כל חלק מוסיף לשימוש הכולל. זו הסיבה שסוכן עמוס אחד, יכול לקלות מכסה משותפת של מודל במהירות מפתיעה. תארו לעצמכם צוות שבוכן, עוזר שיווקי חדש ביום שישי אחר הצהריים. מי שהוא נותן לו סט גדול של קבצי קמפיין ומבקש ממנו להשוות, לשכתב ולסכם אותם בלו. בינתיים, תמיכת הלקוחות תלויה באותה קיבולת מודל עבור אנשים שמנסים לקבל עזרה. אם אומס העבודה של הבדיקה משתמש במכסה המשותפת, עוזר התמיכה עלול להעט או לקרוז כשלקוחות זקוקים לו. הבעיה היא לא רק שהחברה הוציאה כסף. אומס העבודה הלא נכון גזל קיבולת מאומס העבודה שהיה הכי חשוב. שער ה-AI של ניהול ה-API ב-Azure יכול להכיל מגבלות לפני שזה קורה. ניתן להגדיר מגבלות בקשות, מגבלות הסימונים, טוקנס ומכסות עבור אפליקציה, צוות, פרויקט או צרכן. מכסה יכולה לחסות חלון זמן קצר, הסימונים לדקה או תקופה ארוכה יותר כמו הקצבה יומית או חודשית. זה מעניק לכל עומס עבודה גבולות משלו. לעוזר השיווקי יכול להיות תקציב שמתאים למטרה שלו. לתמיכת הלקוחות יכולה להיות הקצבה משלה ועדיפות גבוהה יותר. כשהעוזר השיווקי מגיע למגבלה שלו, השער יכול לדחות או להעט את הבקשות הבאות שלו. תמיכת הלקוחות ממשיכה לפעול כי פרויקט בדיקה אחד לא יכול להשתמש בכל מה שזמין. זה גם משנה את השיחה על העלויות החודשיות. ללא תצוגה משותפת, צוות פיננסי עשוי לקבל חשבון AI אחד גדול ולשאול מי ישתמש בכל זה. התשובה יכולה להיות קשה למציאה כשצוותים מתחברים ישירות לשירותים שונים עם מפתחות משותפים. שער יכול לתעד את הקורא, את המודל, את השימוש בסימונים, את סטטוס התגובה ואת קריאות הכלי המקושרות לבקשה. זה נותן לכם עקבות ברורים יותר. אתם יכולים לראות אם ההוצאה הגיע מעוזר משאבי אנוש, סביבת בדיקות של מפתחים, שדבות מול לקוחות או סוכן שימשיך לנסות שוב אחרי שגיאה. אתם יכולים גם לזהות דפוסים חריגים, כמו אפליקציה אחת ששולחת הנחיות, פרומפס, גדולות בהרבה מהרגיל. אם הצוות שלכם מתחיל במיקרוסופט פאונדרי, השער יכול להתחבר גם לעבודה הזו. פרויקטים בפאונדרי יכולים להשתמש במגבלות הסימונים ברמת הפרויקט בזמן שהשער מיישם את חוקי התעבורה סביבם. זה נותן לבוני איי נקודת התחלה פשוטה יותר, בעוד לצוות הפלטפורמה עדיין יש מקום משותף לניהול מגבלות וניטור. יש גם תכונה שימושית שנקראת שמירה במטמון סמנטית, סמנטיק קשים. נניח שעובד אחד שואל, איפה אני יכול למצוא את מדיניות הנסיעות? כמה שניות לאחר מכן, עובד אחר שואל, איפה המדיניות שלנו לנסיעות עסקיות? המילים שונות, אך המשמעות עשויה להיות קרובה מספיק, כדי שהשער יוכל לעשות שימוש חוזר בתשובה הקודמת, מתאימה במקום להפעיל את המודל שוב. זה יכול להפחית עלויות ולהאיץ את התגובה. זה מתאים רק לשאלות שבהן שימוש חוזר הגיוני. לא היית שומר במטמון בקשה להתרת חופשה נוכחית של מי שהוא או סטטוס הזמנה, כי תשובות אלו יכולות להשתנות. ניתוב יכול לעזור גם עם עלויות. חברה עשויה לשלוח עבודה מתאימה למודל זול יותר, להשתמש בקיבולת שכבר שוריינה לפני תשלום על שימוש נוסף, ולעבור לנתיב גיבוי כשמופיעה מגבלה. ובכל זאת, שער אינו מבטל את הצורך באחריות. צוותים זקוקים לתקציבים. מי שהוא צריך לבחון את תשובות המודל. מי שהוא צריך להחליט אם סוכן מסוים צריך בכלל להתקיים. השער מספק לך את המדד, את מנגנוני הבקרה ואת רישום התעבורה. הוא לא מקבל החלטות עסקיות עבורך. ברגע שניתן לראות ולשלוט בתעבורה, כל המערך הופך לקל יותר להבנה באמצעות דוגמה יומיומית. מסלול בקשה פשוט. דמיינו עוזר משאבי אנוש בתוך חברה. עובד שואל כמה ימי חופשת לדעני יכול לקחת, והאם תוכל להתחיל את הבקשה עבורי. המטרה פשוטה, לתת לעובד תשובה מהירה ומועילה, ואז לעזור בשלב הבא המאושר. אך עוזר משאבי האנוש אסור לו לחשוף נתוני שכר, לפתוח כל קובץ משאבי אנוש, או להחזיק מפתח של ספק מודל בתוך הקוד שלו. הבקשה מתחילה כאשר העובד מתחבר למערכת. לפני שהעוזר שולח משהו למודל או לכלי, השער בודק מהעובד האם הוא מורשה להשתמש בעוזר משאבי האנוש, ואילו מגבלות חלות על אפליקציה זו. העובד רואה חלון צ'אט פשוט אחד, בזמן שהבדיקות הללו קורות מאחורי הקלעים. לאחר מכן, העוזר זקוק לתשובה. שאלה בסיסית על מדיניות יכולה לעבור לנקודת הקצה המאושרת של המודל בחברה. אם נקודת הקצה הזו עמוסה או מגיעה למגבלה שהוגדרה, השער יכול לעקוב אחר נתיב גיבוי שהחברה כבר ישרה. העובד עדיין מקבל תשובה דרך אותו עוזר משאבי אנוש, במקום לראות שגיעה בגלל פריסה של מודל אחד שנהייתה עמוסה מדי. ואז, העובד מבקש להתחיל את בקשת החופשה. בשלב זה, הסוכן זקוק ליותר ממודל. הוא זקוק לכלי שיכול לבדוק את פרטי העובד וליצור את הבקשה הנכונה. הסוכן מבקש להשתמש בכלי MCP מאושר לניהול חופשות. השער בודק גם את הבקשה הזו. האם סוכן משאבי האנוש הזה יכול להפעיל את הכלי הזה? האם עובד זה מורשה להתחיל סוג זה של בקשה? האם הפעולה מתאימה להרשאות שהוקצו לסוכן? רק אז הכלי מקבל את הקריאה. הכלי אינו מחזיר רשימה ענקית של רשומות עובדים. הוא מחזיר רק את מה שהמשימה דורשת, יתרת החופשה הפנויה של העובד, המדיניות שחלה עליו ואישור שהבקשה נוצרה כטיוטה. לתגובה מצומצמת זו יש חשיבות. לסוכן יש מספיק מידע כדי לעזור, אך הוא אינו מקבל גישה רחבה רק משום ששאל שאלה באנגלית פשוטה. כעת, דמיינו שהעובד מדביק טקסט ממסמך חיצוני לתוך התשט. הטקסט מכיל הוראות שמנסות להטעות את העוזר להתעלם מהכללים שלו או לבקש מידע חסוי. השאר, גייטווי, יכול להכיל בדיקות בטיחות לפני שההנחיה מגיעה למודל או לפני שכלי מקבל בקשה. אם הבקשה מפרה כלל, הוא יכול לעצור אותה שם. אותו סוג של בדיקה יכול לזכור תגובה לפני שהיא מגיעה לעובד. לא כל בעיה נובעת מהנחיה גרועה. מודל עלול להפיק תגובה הכוללת מידע שהוא אינו אמור להחזיר. נקודת בקרה משותפת נותנת לחברה מקום לבחון את המסלול הזה ולפעול בהתאם. בינתיים, הבקשה יוצרת תיעוד. החברה יכולה לקשר את האסימון, טוקן, שבו נעשה שימוש לפרויקט עוזר משאבי האנוש. היא יכולה לראות איזה מודל טיפל בשאלה, האם קריאת הכלי הצליחה, האם בקשה נחסמה וכמה זמן התהליך ערך. זה הופך את התמיכה והבקרה להרבה יותר קלות. אם צוות משאבי אנוש מדווח שעובדים אינם יכולים ליצור בקשות חופשה, צוות התפעול יכול לחפש קריאות כלי שנכשלו. אם כלל בטיחות חוסם שאלות תקינות, הם יכולים לראות את הדפוס ולשפר את המדיניות. אם סוכן אחד משתמש לפטע בקיבולת AI רבה מהרגיל, השינוי הזה הופך לגלוי. ואם החברה מעדכנת כלל, כמו דרישה לבדיקה נוספת לפני בקשות חופשה מסוימות, היא יכולה לעדכן את מדיניות השאר פעם אחת. היא לא צריכה לחכות לעדכוני קוד נפרדים בכל אפליקציית משאבי אנוש, שדבות או תהליך עבודה שמשתמשים באותו מסלול מבוקר. אותו דפוס בקשה עדיין עובד כשהחברה מוסיפה מודל אחר, אזור חדש, יותר כלים פנימיים או סוכן אחר שמטפל במשימת משאבי אנוש קשורה. התחילו בקטן. בכל זאת, שער הופך לשימושי כאשר תעבורת AI מתחילה להפוך לתעבורה משותפת. מאיפה מתחילים? אז איפה אתם באמת מתחילים? התחילו בבחירת עומס עבודה אמיתי אחד. אולי עוזר תמיכה שכבר קורא למודל, או סוכן שהצוות שלכם מתכנן למשאבי אנוש, כספים או חיפוש מסמכים פנימיים. אל תנסו להתמודד עם כל מודל וכל כלי בבת אחת. זהו מסלול מהיר לקאוס. במקום לתת מפתחות ספק ישירות לכל אפליקציה, שימו את קצה המודל של עומס העבודה הזה מאחורי שער ה-AI של Azure API Management. תחשבו על זה כעל נקודת ביקורת הבטחה אחת לתעבורת ה-AI שלכם. אחר כך, הגדירו את הבסיס. קבעו בעלים ברור לעומס העבודה. השתמשו בגישה מבוססת ENTRA כדי שרק האנשים או השירותים הנכונים יוכלו להגיע אליו. הגדירו מגבלת הסימונים שמתאימה למשימה, לא יותר ולא פחות. הפעילו רישום כדי שתוכלו לראות מה קורה. הוסיפו כלל בטיחות תוכן אחד שהצוות שלכם יוכל לבדוק ולבחון. התחילו פשוט. ברגע שמסלול המודל וגבולות הגישה עובדים, הוסיפו כלי MCP מאושרים אחד בכל פעם. לכל כלי צריך להיות תפקיד מוגדר וסיבה ברורה לשימוש מצד הסוכן. בלי תוספות מיותרות. משם, אתם צומחים מאומס עבודה מבוקר אחד למודלים, כלים וסוכנים משותפים. ללא נקודת הבקרה הראשונית הזו, כל אפליקציית AI חדשה יוצרת עוד נתיב לא מנוהל לנתוני החברה ועוד שורה בחשבון ה-AI. לטיפ הידע הבא, היינו ב-Azure API Management Simply Explained. זהו הבסיס שעליו נבנה המיקרוסופט AI Gateway.