WEBVTT

00:00:00.000 --> 00:00:04.420
אז מה בדיוק משתנה כשחברה עוברת מתשעדבות AI 1 לעשרות כלי בינה מלאכותית?

00:00:04.580 --> 00:00:06.120
בהתחלה זה מרגיש פשוט.

00:00:06.340 --> 00:00:08.800
צוות 1 מוסיף תשעדבות לתמיכת לקוחות.

00:00:08.960 --> 00:00:13.980
אחר משתמש ב-AI כדי לחפש במסמכי החברה וסיכומי פגישות נכתבים באופן אוטומטי.

00:00:14.100 --> 00:00:18.420
זרימת עבודה יכולה לקרוא אימייל, לחלץ ממנו בקשה ולשלוח אותה למערכת המתאימה.

00:00:18.540 --> 00:00:24.180
תוך זמן קצר, לחברה יש כמה מודלים, סוכנים שיכולים לבצע פעולות וחלים שניגשים לנתונים עסקיים.

00:00:24.180 --> 00:00:30.440
כל צוות מתחבר לעתים קרובות ישירות לספק AI שונה עם מפתח משלו, מגבלות משלו וחוקי הבטחה משלו.

00:00:30.560 --> 00:00:31.920
קשה לעקוב אחרי עלויות.

00:00:32.120 --> 00:00:33.980
מפתח עלול להגיע למקום הלא נכון.

00:00:34.140 --> 00:00:37.880
וכשסוכן מפעיל כלי, ייתכן שלאף אחד אין תיעוד ברור של מה שהוא ניסה לעשות.

00:00:38.000 --> 00:00:40.220
כאן נכנס לתמונה Microsoft Eye Gateway.

00:00:40.420 --> 00:00:46.080
עד סוף הפרק הזה, תבינו מה זה, איך אבני הבניין שלו משתלבות ומתי זה מתחיל להיות הגיוני לעסק שלכם.

00:00:46.240 --> 00:00:49.100
חישבו על זה כעל בניין משרדים עם הרבה דלתות צדדיות.

00:00:49.100 --> 00:00:54.940
אפשר להשאיר כל דלת פתוחה ולקוות שאנשים משתמשים בהן כראוי, או להעביר את כולם דרך כניסה אחת מנוהלת.

00:00:55.140 --> 00:00:56.740
דלת כניסה אחת עבור ה-AI.

00:00:57.000 --> 00:01:02.920
Microsoft Eye Gateway הוא אוסף של תכונות ניהול API ב-Azure שמעניק לתעבורת ה-AI שלכם נקודת בקרה אחת.

00:01:03.040 --> 00:01:04.680
בואו נפרק את זה לשפה פשוטה.

00:01:04.820 --> 00:01:07.880
דמיינו את מערך ה-AI של החברה שלכם כבניין משרדי מודרני.

00:01:08.020 --> 00:01:10.620
מודלי ה-AI הם חדרים שבהם מתרחשת החשיבה.

00:01:10.620 --> 00:01:14.960
הסוכנים שלכם הם עובדים שנעים בבניין ומחליטים איזו משימה מאושרת לבצע הבאה.

00:01:15.020 --> 00:01:20.720
כלים הם דלתות שירות שמובילות למקומות כמו משאבי אנוש, כספים, רשומות לקוחות וקבצים פנימיים.

00:01:20.900 --> 00:01:24.520
ה-AI Gateway הוא דלפק הקבלה ועמדת ההבטחה בחזית.

00:01:24.740 --> 00:01:30.620
הוא בודק מי נכנס, מכיל את הכללים ומתעד לאן בקשות הולכות לפני שהן מגיעות לשאר הבניין.

00:01:30.860 --> 00:01:32.820
בקשה עוקבת אחר נתיב פשוט.

00:01:32.820 --> 00:01:36.520
אפליקציה, קופ הילות או סוכן שולחים בקשה לגייטווי.

00:01:36.680 --> 00:01:43.700
הגאטווי בודק את הכללים החלים על אותו קורא, ואז שולח אותה למודל, לכלי, לסוכן או ל-API העסקי המאושר.

00:01:43.820 --> 00:01:48.320
וכשתגובה חוזרת, היא עוברת שוב דרך הגאטווי לפני שהיא מגיעה למשתמש.

00:01:48.500 --> 00:01:56.040
הנתיב האחד הזה מעניק לעסק מקום לנהל גישה, מגבלות, בדיקות בטיחות ורישום לוגים, בלי לבנות בקרות אלו בכל אפליקציה בנפרד.

00:01:56.040 --> 00:01:59.480
זה גם מפריד בין שני תפקידים שלעיתים קרובות מתערבבים זה בזה.

00:01:59.600 --> 00:02:02.800
צוותי פיתוח יכולים להתמקד בחוויה שאנשים באמת משתמשים בה.

00:02:02.920 --> 00:02:07.340
הם בונים את עוזר התמיכה, את ממשק חיפוש המסמכים, או את זרימת העבודה שחוסכת זמן.

00:02:07.540 --> 00:02:11.300
בינתיים, צוות הפלטפורמה מנהל את הכללים המשותפים מאחורי הקלעים,

00:02:11.540 --> 00:02:15.040
ומחליט אילו שירותים מאושרים, אילו זהויות יכולות להשתמש בהם,

00:02:15.120 --> 00:02:17.220
כמה תעבורה פרויקט יכול לשלוח ומה מתועד.

00:02:17.220 --> 00:02:20.660
אתם לא רוצים שכל צוות ימציא תוכנית הבטחה חדשה לכל שדבות.

00:02:20.780 --> 00:02:24.340
מייקרוסופט AI Gateway יכול לשבת לפני סוגים שונים של תעבורת AI.

00:02:24.520 --> 00:02:29.040
הוא יכול לנהל קריאות למודלי AI וקריאות לכלי MCP, פרוטוקול הקשר מודל.

00:02:29.160 --> 00:02:31.900
הוא יכול גם לנהל תעבורת סוכן לסוכן, אש טיים-אי,

00:02:32.080 --> 00:02:34.900
ואת האפיס העסקיים שהחברה שלכם כבר משתמשת בהם,

00:02:35.080 --> 00:02:38.980
כמו API לבדיקת הזמנה, קריאת מדיניות משאבי אנוש או פתיחת כרטיס תמיכה.

00:02:38.980 --> 00:02:44.020
החלק האחרון הזה חשוב, כי רוב החברות לא צריכות לזרוק את המערכות הקיימות שלהן כדי להשתמש ב-AI.

00:02:44.240 --> 00:02:47.120
הן רק צריכות דרך בטוחה עבור ה-AI לעבוד עם המערכות האלה.

00:02:47.160 --> 00:02:49.720
ושאר, Gateway, עוזר להציב בקרות סביב החיבור הזה.

00:02:49.860 --> 00:02:52.180
כעת, מייקרוסופט AI Gateway אינו מודל.

00:02:52.340 --> 00:02:54.900
הוא לא כותב תשובות בעצמו, הוא גם לא בונה סוכנים.

00:02:55.060 --> 00:02:58.720
אז לא משתמשים בו כדי לעצב עוזר משאבי אנוש או ללמד סוכן כספים מה לעשות.

00:02:58.720 --> 00:03:03.300
והוא לא מחליף את מייקרוסופט פאונדרי, שבו צוותים יכולים לבנות, לבדוק ולנהל פרויקטי AI.

00:03:03.500 --> 00:03:05.100
במקום זאת, הוא יושב באמצע.

00:03:05.240 --> 00:03:07.900
פאונדרי יכול לעזור לכם לעבוד עם מודלים וסוכני AI.

00:03:08.140 --> 00:03:13.180
בעוד ש-Azure API Management AI Gateway עוזר לשלוט בתעבורה שהמודלים, הסוכנים והכלים האלה יוצרים.

00:03:13.180 --> 00:03:17.440
אולי אתם כבר מכירים את Azure API Management כדרך לנהל APIs רגילים.

00:03:17.580 --> 00:03:21.860
API הוא פשוט דרך שבה פיסת תוכנה אחת מבקשת משהו מפיסת תוכנה אחרת.

00:03:21.860 --> 00:03:26.700
AI Gateway מרחיב את אותו רעיון עבור עבודה עם AI, מכיוון שבקשות AI מביאות איתן שאלות חדשות.

00:03:26.880 --> 00:03:29.740
מי ישתמש באיזה מודל? כמה סימונים? תוקנים? הוא צרך.

00:03:29.880 --> 00:03:33.700
האם הסוכן הזה יכול לקרוא לכלי ההוא? האם ההנחיה, פרומפט, הזאת צריכה להגיע למודל בכלל?

00:03:33.700 --> 00:03:36.900
הצוות השער באמצע נותנת לכם מקום אחד לענות על השאלות האלה.

00:03:36.980 --> 00:03:41.940
ונקודת הלחץ הראשונה מופיעה כשכל אפליקציה מתחילה לבחור את נקודת הקצה, Endpoint, של המודל שלה.

00:03:42.080 --> 00:03:44.120
נקודת קצה אחת, מודלים רבים.

00:03:44.120 --> 00:03:49.940
כשהאפליקציה שלכם מתחברת ישירות לנקודת קצה של מודל יחיד, הבחירה הזו מוטמעת בקוד עצמו.

00:03:50.140 --> 00:03:56.020
לעתים קרובות, הקוד קשור לספק אחד, פריסה ספציפית אחת, אזור Azure 1 וקבוצה קבועה של מגבלות.

00:03:56.020 --> 00:04:01.240
זה עובד בסדר כשהפרויקט קטן, אבל דמיינו שמערכת התמיכה שלכם רצה על מודל אחד באזור אחד.

00:04:01.380 --> 00:04:07.600
חודשים לאחר מכן, המודל מגיע לקיבולת שלו, מודל טוב יותר מגיע בפחות כסף, או שהעסק שלכם צריך לעבור לאזור אחר.

00:04:07.600 --> 00:04:13.080
ללא שכבה משותפת, כל צוות אפליקציה צריך לשנות את הקוד שלו, לבדוק אותו שוב ולהוציא עדכון.

00:04:13.260 --> 00:04:15.020
זה מוביל לשינוי איטי ומבולגן.

00:04:15.240 --> 00:04:18.540
מייקרוסופט AI Gateway מעניק ליישומים שלכם דלת כניסה יציבה.

00:04:18.540 --> 00:04:23.080
הם שולחים לשם בקשות, ובחירת המודל יכולה להשתנות מאחורי הקלעים מבלי שתצטרכו לגעת באפליקציה.

00:04:23.220 --> 00:04:25.180
חישבו על זה כעל מספר טלפון של חברה.

00:04:25.300 --> 00:04:28.940
לקוחות מחייגים למספר אחד, גם אם השיחה מועברת לצוות או למשרד אחר.

00:04:29.060 --> 00:04:31.040
הם אף פעם לא צריכים לדעת איך זה מטופל.

00:04:31.200 --> 00:04:34.340
עם AI Gateway, האפליקציה שלכם קוראת לנקודת קצה אחת מאושרת,

00:04:34.560 --> 00:04:37.900
ומאחורי נקודת הקצה הזו, השער שולח את הבקשה על המודל המתאים למשימה.

00:04:37.900 --> 00:04:41.800
למיקרוסופט יש גם גישה חדשה יותר שנקראת Unified Model API.

00:04:42.000 --> 00:04:46.720
במילים פשוטות, היא מאפשרת לאפליקציה להשתמש בדרך של OpenAI לביצוע בקשה,

00:04:47.040 --> 00:04:51.040
בעוד שהשער יכול לחבר את הבקשה לספקי מודלים שונים מאחורי הקלעים.

00:04:51.040 --> 00:04:54.400
אז האפליקציה שלכם שולחת סוג אחד מוכר של בקשה,

00:04:54.700 --> 00:04:56.640
והשער מטפל בכל פרטי השפה.

00:04:56.640 --> 00:05:00.560
בהתאם להגדרות שלכם, הבקשה הזו יכולה להגיע להטמעה של Azure OpenAI,

00:05:00.860 --> 00:05:04.700
למודל ב-Microsoft Foundry, ל-Enthropic, לגוגל Gemini או לאמזון Bedrock.

00:05:04.800 --> 00:05:09.000
הנתיב עוקב אחר כללים שאתם קובעים, ולא אחר בחירה מקובעת שמוטמעת בתוך כל אפליקציה.

00:05:09.160 --> 00:05:13.480
זה נותן לצוות הפלטפורמה מרחב לבצע שינויים מבלי להפריע לאנשים שמשתמשים באפליקציה.

00:05:13.480 --> 00:05:16.640
נניח שהחברה שלכם מפעילה עוזר AI לתמיכת לקוחות.

00:05:16.800 --> 00:05:18.040
רוב השאלות פשוטות.

00:05:18.160 --> 00:05:20.960
איפה ההזמנה שלי? איך אני מאפס את הסיסמה שלי?

00:05:21.120 --> 00:05:25.280
על אלה יכול לענות מודל קטן וזול יותר במהירות, בלי להוציא יותר מהנדרש?

00:05:25.440 --> 00:05:29.640
ואז לקוח שולח שאלה ארוכה וחריגה שדורשת עסקה זהירה או ידע במוצר.

00:05:29.820 --> 00:05:32.600
השער מנתב את סוג הבקשה הזה למודל חזק יותר.

00:05:32.860 --> 00:05:35.220
אפליקציית התמיכה עדיין שולחת בקשות באותה דרך,

00:05:35.220 --> 00:05:38.540
כך שהצוות שלכם לעולם לא צריך לדעת איזה מודל טיפל בשאלה,

00:05:38.720 --> 00:05:41.500
והמפתחים שלכם לא צריכים לחבר חיבורים נפרדים לכל אפשרות.

00:05:42.000 --> 00:05:43.020
מה לגבי קיבולת?

00:05:43.180 --> 00:05:45.420
לנקודות קצה של מודל EAI יש מגבלות.

00:05:45.540 --> 00:05:48.720
הן יכולות לטפל רק בחמות מסוימת של תעבורה במהלך פרק זמן.

00:05:48.880 --> 00:05:50.860
אם כל בקשה פוגעת בהתמעה אחת,

00:05:50.940 --> 00:05:53.520
שעה אחת עמוסה עלולה להעט או לחסום את כל החוויה.

00:05:53.720 --> 00:05:56.400
שער יכול לפזר תעבורה על פני מספר התמעות מאושרות,

00:05:56.400 --> 00:05:58.600
לנתב לאזור אחר כשנקודה אחת מתמלט,

00:05:58.740 --> 00:06:01.000
או להשתמש בנתיב גיבוי עם נקודת קצה מושבטת.

00:06:01.080 --> 00:06:03.640
זה לא אומר שבקשות צריכות לקפוץ מסביב באופן אקראי.

00:06:03.760 --> 00:06:05.160
אתם עדיין קובעים את הכללים.

00:06:05.380 --> 00:06:09.200
לדוגמה, תעבורה מול לקוחות מקבלת עדיפות במודל הראשי שלכם,

00:06:09.380 --> 00:06:11.700
בעוד בדיקות פנימיות משתמשות בנתיב אחר,

00:06:11.900 --> 00:06:15.420
או שאזור אחד מטפל במשתמשים מקומיים בעוד אחר משמש כגיבוי.

00:06:16.040 --> 00:06:17.020
הנקודה פשוטה.

00:06:17.020 --> 00:06:19.980
היישומים שלכם מתחברים לדלת כניסה מבוקרת אחת,

00:06:19.980 --> 00:06:22.320
ומאחוריה הפלטפורמה יכולה להתאים מודלים,

00:06:22.520 --> 00:06:24.360
אזורים או ספקים במינימום שיבושים.

00:06:24.540 --> 00:06:26.200
זה משנה כי איי מתקדם במהירות.

00:06:26.380 --> 00:06:29.360
מודל שעובד היום עשוי לא להיות הבחירה הטובה ביותר בחודש הבא.

00:06:29.480 --> 00:06:31.580
אם כל אפליקציה מתקשרת ישירות עם הספק שלה,

00:06:31.760 --> 00:06:33.680
החלפת מודלים הופכת לפרויקט עבור כל צוות.

00:06:33.840 --> 00:06:37.020
עם הגאטאווי, ההחלטה על המודל נמצאת במקום אחד משותף.

00:06:37.020 --> 00:06:39.200
הערה קצרה על ה-Unifid Model API.

00:06:39.380 --> 00:06:41.400
מייקרוסופט מגדירה אותו כתצוגה מקדימה ציבורית,

00:06:49.980 --> 00:06:52.520
לכם יכול כבר עכשיו לעמוד לפני נקודות הקצה של המודלים,

00:06:52.740 --> 00:06:55.120
להכיל חוקי ניתוב ולסייע בניהול יותר מבקנד אחד.

00:06:55.260 --> 00:06:59.780
ה-Unifid Model API נועד להקל על חוויית העבודה מול ספקים מרובים עבור אפליקציות.

00:07:00.000 --> 00:07:02.200
בחירת המודל הנכון היא רק חצי מהעבודה,

00:07:02.460 --> 00:07:03.860
כי מודל יכול לענות על שאלה,

00:07:04.080 --> 00:07:07.680
אבל סוכן יכול להחליט לבצע פעולה שמשפיעה על מערכות אמיתיות בארגון.

00:07:07.680 --> 00:07:09.780
ניהול ובקרה של סוכנים וחלים.

00:07:10.000 --> 00:07:13.000
סוכן לוקח את הבינה המלאכותית מעבר למתן תשובות בלבד.

00:07:13.000 --> 00:07:14.620
זו תוכנה שיכולה לבחון משימה,

00:07:14.800 --> 00:07:18.360
לבחור מתוך אפשרויות מאושרות ולהפעיל כלי או שירות כדי לבצע את העבודה.

00:07:18.560 --> 00:07:20.860
סוכן משאבי אנוש עשוי לחפש מדיניות חופשות,

00:07:21.120 --> 00:07:22.600
סוכן תמיכה עשוי לבדוק הזמנה,

00:07:22.780 --> 00:07:24.800
וסוכן פיננסי עשוי להכין בקשת תשלום.

00:07:24.960 --> 00:07:27.920
היכולת הזו שימושית, אך היא גם משנה את פרופיל הסיכון.

00:07:27.920 --> 00:07:30.140
תשובה שגויה ממודל עלולה לבלבל מישהו,

00:07:30.340 --> 00:07:32.720
אך סוכן שמשתמש בכלי הלא נכון עלול לחשוף מידע,

00:07:32.720 --> 00:07:35.640
לשנות רשומה או להפעיל תהליך שהוא לעולם לא אמור לגעת בו.

00:07:35.780 --> 00:07:37.880
זו הסיבה שכלים זקוקים לחוקים משלהם.

00:07:38.060 --> 00:07:41.140
אתם תשמעו את המונח MCP, או Model Context Protocol.

00:07:41.380 --> 00:07:43.180
תחשבו על זה כעל צורת חיבור סטנדרטית

00:07:43.180 --> 00:07:45.780
שנותנת לסוכן דרך מוכרת למצוא ולהשתמש בכלי ארגוני,

00:07:45.780 --> 00:07:48.220
כמו שירות חיפוש מסמכים או API ליתור הזמנו.

00:07:48.400 --> 00:07:50.920
במקום לבנות חיבור שונה לכל סוכן ולכל מערכת,

00:07:51.040 --> 00:07:53.240
MCP מעניק לצוותים תבנית עבודה משותפת.

00:07:53.400 --> 00:07:55.100
ויש גם אש טיים-א, סוכן לסוכן,

00:07:55.100 --> 00:07:58.240
Agent2Agent, דרך סטנדרטית עבור סוכן אחד ליצור קשר עם אחר.

00:07:58.380 --> 00:08:01.380
לדוגמה, סוכן תמיכה מבקש מסוכן משלוחים פרטי משלוח

00:08:01.380 --> 00:08:03.600
במקום לנסות להבין את מערכת המשלוחים בעצמו.

00:08:03.780 --> 00:08:05.000
זה נשמע מסודר על הנייר,

00:08:05.200 --> 00:08:06.920
אבל שרשרת סוכנים הופכת למורכבת

00:08:06.920 --> 00:08:08.780
כשכל חיבור כולל חוקי גישה שונים,

00:08:08.780 --> 00:08:10.580
אישורים חבויים וחלים לא מוכרים.

00:08:10.740 --> 00:08:13.660
דמיינו סוכן פיננסי שעונה על שאלות בנושא חשבוניות.

00:08:13.840 --> 00:08:16.280
עליו להשתמש רק בכלי מאושר לאיתור חשבוניות,

00:08:16.280 --> 00:08:18.900
אך מי שהוא נותן לו גישה רחבה למערכת הפיננסית

00:08:18.900 --> 00:08:20.800
כי זה מהיר יותר מהגדרת כלי מוגבל.

00:08:20.980 --> 00:08:22.860
משתמש שולח הנחיה שנראית תמימה,

00:08:23.140 --> 00:08:25.220
אך הוראות חבויות במסמך מצורף דוחפות

00:08:25.220 --> 00:08:26.720
את הסוכן לפעולה לא מאושרת.

00:08:26.920 --> 00:08:28.720
אם לסוכן יש יותר מדי גישה,

00:08:28.720 --> 00:08:31.200
הוא עלול לבקש מידע מיותר או להתחיל תהליך עבודה

00:08:31.200 --> 00:08:32.780
שהיה אמור לדרוש אישור אנושי.

00:08:32.860 --> 00:08:33.980
הסוכן אינו סדוני,

00:08:34.120 --> 00:08:37.160
פשוט הייתה לו יותר מדי חופש פעולה בטיפול בכלת לא מהימן.

00:08:37.160 --> 00:08:40.920
Microsoft AI Gateway מאפשר לך להציב בקרות לפני שרתי MCP

00:08:40.920 --> 00:08:42.220
וממשקי API עסקיים.

00:08:42.420 --> 00:08:45.060
במקום נתיב ישיר מאפליקציית AI למסעד נתונים,

00:08:45.360 --> 00:08:47.860
אתה חוסף כלי קטן ומבוקר למשימה ספציפית אחת.

00:08:47.940 --> 00:08:51.140
לדוגמה, סוכן מבקש בדוק את הסטטוס של ההזמנה הזו.

00:08:51.140 --> 00:08:52.740
הכלי מחזיר רק את הסטטוס,

00:08:52.920 --> 00:08:55.220
לא את כל ההזמנות או את רשומת הלקוח המלאה.

00:08:55.340 --> 00:08:56.260
זו משימה מוגדרת,

00:08:56.420 --> 00:08:59.180
והגאטווי בודק מי מבקש לפני שהוא מאשר את הקריאה.

00:08:59.340 --> 00:09:01.360
זהות עומדת במרכז ההגדרה הזו.

00:09:01.360 --> 00:09:05.320
עם Microsoft Entry ID אפליקציות מתחברות באמצעות זהויות מנוהלות

00:09:05.320 --> 00:09:06.680
במקום שיתוף מפתחות ספק.

00:09:06.820 --> 00:09:10.960
זהות מנוהלת מוכיחה מי ללא צורך של מפתח להעתיק סוד לתוך הקוד.

00:09:11.100 --> 00:09:13.200
לכל סוכן צריכה להיות זהות משלו.

00:09:13.200 --> 00:09:15.040
כך תוכל לראות איזה סוכן קרה לכלי,

00:09:15.220 --> 00:09:18.380
לבטל גישה לסוכן אחד מבלי לפגוע באחרים ולהכיל חוקים שונים.

00:09:18.580 --> 00:09:21.140
סוכן משאבי אנוש לא אמור לרשת הרשאות של סוכן פיננסים

00:09:21.140 --> 00:09:22.560
רק בגלל ששניהם משתמשים ב-AI.

00:09:22.760 --> 00:09:24.980
זה עוקב אחרי עיקרון, 0 אמון, Zero Trust.

00:09:25.140 --> 00:09:27.780
בדוק כל בקשה, תן רק את הגישה הדרושה למשימה הנוכחית,

00:09:27.960 --> 00:09:30.380
והנח שכל הנחיה או תגובת כלי עלולה להיות לא בטוחה.

00:09:30.480 --> 00:09:33.720
בפועל, הסוכן מקבל הרשאה לכלי ולפעולה ספציפיים בלבד.

00:09:33.720 --> 00:09:36.760
הוא יכול לקרוא יתרת חופשה, אך לא להוריד את קובץ השכר.

00:09:36.860 --> 00:09:39.540
הוא יכול ליצור טיוטת כרטיס תמיכה, אך לא לסגור מקרה.

00:09:39.660 --> 00:09:41.800
הגאטאווי מכיל גם בדיקות בטיחות על הנחיות,

00:09:41.980 --> 00:09:43.360
PROMAPTS ותעבורת כלים.

00:09:43.360 --> 00:09:46.500
אם בקשה מכילה תוכן מזיק או מידע שאסור שיצא מהמערכת,

00:09:46.700 --> 00:09:48.920
מדיניות עוצרת אותה לפני שהיא מגיעה לקצה האחורי.

00:09:49.060 --> 00:09:50.400
שום פילטר לא תופס הכל,

00:09:50.480 --> 00:09:52.760
אך בדיקת תעבורה בנקודה משותפת בטוחה בהרבה,

00:09:52.880 --> 00:09:55.080
מאשר לקוות שכל בונה סוכנים יוסיף את אותה הגנה.

00:09:55.080 --> 00:09:57.440
אתה זקוק גם לקטלוג של כלים מאושרים.

00:09:57.620 --> 00:10:01.060
API Center משמש כקטלוג פרטי עבור ממשקי API ושירותי MCP,

00:10:01.280 --> 00:10:03.800
כך שצוותים מוצאים את הכלי הנכון בלי לחפש במסמכים ישנים

00:10:03.800 --> 00:10:05.320
או להעתיק כתובות אינטרנט לא מעומתות.

00:10:05.420 --> 00:10:08.600
זה עוזר להפוך את השאלה באיזה כלי הסוכן שלי יכול להשתמש

00:10:08.600 --> 00:10:09.840
להחלטה עסקית מבוקרת.

00:10:09.980 --> 00:10:11.660
בקרות הבטחה מגנות על הנתיב,

00:10:11.920 --> 00:10:13.260
אך הן גם מעלות שאלה חדשה.

00:10:13.260 --> 00:10:17.060
אילו צוותים משתמשים בנתיב הזה וכמה שימוש ב-AI הם יוצרים?

00:10:17.260 --> 00:10:19.360
עלויות תוכנים, מגבלות ונירות.

00:10:19.500 --> 00:10:22.160
עלויות AI עובדות אחרת מרישיון תוכנה רגיל.

00:10:22.280 --> 00:10:23.580
המונה פועל על תוכנים.

00:10:23.780 --> 00:10:24.440
מה זה תוכן?

00:10:24.640 --> 00:10:25.820
זהו חלק קטן מטקסט.

00:10:25.820 --> 00:10:27.620
מילה קצרה עשויה להשתמש בתוכן אחד.

00:10:27.760 --> 00:10:29.240
מילה ארוכה יותר משתמשת ביותר.

00:10:29.360 --> 00:10:31.300
המודל סופר את כל מה שאתה שולח פנימה.

00:10:31.380 --> 00:10:33.220
השאלה שלך, ההנחיות שאתה מוסיף,

00:10:33.360 --> 00:10:34.480
כל מסמך שאתה מצרף,

00:10:34.600 --> 00:10:35.520
והתשובה שהוא מחזיר.

00:10:35.520 --> 00:10:37.580
לכן, שאלה פשוטה צורכת מעט מאוד,

00:10:37.740 --> 00:10:39.360
אך סוכן שקורא מסמך מדיניות ארוך,

00:10:39.540 --> 00:10:40.360
שואל שאלות המשך,

00:10:40.560 --> 00:10:42.240
קורא לכלי ואז יוצר תשובה מפורטת,

00:10:42.300 --> 00:10:43.920
יכול לצרוך הרבה יותר ממה שאתה מצפה.

00:10:44.060 --> 00:10:46.180
בוודאי נתקלתם בזה בתמלול של פגישה.

00:10:46.300 --> 00:10:48.000
אתם רואים כמה עמודים של הערות.

00:10:48.220 --> 00:10:50.540
מערכת ה-AI מאבדת גם את הוראות המערכת,

00:10:50.680 --> 00:10:51.180
את התמלול,

00:10:51.380 --> 00:10:52.480
נתוני חברה שנשלפו,

00:10:52.480 --> 00:10:53.940
תוצאות כלים והתגובה הסופית.

00:10:54.060 --> 00:10:55.740
כל חלק מוסיף לשימוש הכולל.

00:10:55.860 --> 00:10:57.140
זו הסיבה שסוכן עמוס אחד,

00:10:57.220 --> 00:10:59.580
יכול לקלות מכסה משותפת של מודל במהירות מפתיעה.

00:10:59.680 --> 00:11:01.040
תארו לעצמכם צוות שבוכן,

00:11:01.120 --> 00:11:03.200
עוזר שיווקי חדש ביום שישי אחר הצהריים.

00:11:03.360 --> 00:11:05.680
מי שהוא נותן לו סט גדול של קבצי קמפיין

00:11:05.680 --> 00:11:06.900
ומבקש ממנו להשוות,

00:11:07.120 --> 00:11:08.300
לשכתב ולסכם אותם בלו.

00:11:08.440 --> 00:11:08.920
בינתיים,

00:11:09.060 --> 00:11:11.140
תמיכת הלקוחות תלויה באותה קיבולת מודל

00:11:11.140 --> 00:11:12.740
עבור אנשים שמנסים לקבל עזרה.

00:11:12.740 --> 00:11:15.520
אם אומס העבודה של הבדיקה משתמש במכסה המשותפת,

00:11:15.700 --> 00:11:18.160
עוזר התמיכה עלול להעט או לקרוז כשלקוחות זקוקים לו.

00:11:18.260 --> 00:11:20.380
הבעיה היא לא רק שהחברה הוציאה כסף.

00:11:20.500 --> 00:11:23.860
אומס העבודה הלא נכון גזל קיבולת מאומס העבודה שהיה הכי חשוב.

00:11:23.860 --> 00:11:27.880
שער ה-AI של ניהול ה-API ב-Azure יכול להכיל מגבלות לפני שזה קורה.

00:11:28.040 --> 00:11:29.420
ניתן להגדיר מגבלות בקשות,

00:11:29.600 --> 00:11:30.420
מגבלות הסימונים,

00:11:30.640 --> 00:11:32.280
טוקנס ומכסות עבור אפליקציה,

00:11:32.480 --> 00:11:32.760
צוות,

00:11:32.940 --> 00:11:33.820
פרויקט או צרכן.

00:11:33.820 --> 00:11:35.900
מכסה יכולה לחסות חלון זמן קצר,

00:11:36.020 --> 00:11:39.420
הסימונים לדקה או תקופה ארוכה יותר כמו הקצבה יומית או חודשית.

00:11:39.600 --> 00:11:41.640
זה מעניק לכל עומס עבודה גבולות משלו.

00:11:41.760 --> 00:11:44.580
לעוזר השיווקי יכול להיות תקציב שמתאים למטרה שלו.

00:11:44.580 --> 00:11:47.880
לתמיכת הלקוחות יכולה להיות הקצבה משלה ועדיפות גבוהה יותר.

00:11:48.080 --> 00:11:49.940
כשהעוזר השיווקי מגיע למגבלה שלו,

00:11:50.080 --> 00:11:52.360
השער יכול לדחות או להעט את הבקשות הבאות שלו.

00:11:52.480 --> 00:11:56.340
תמיכת הלקוחות ממשיכה לפעול כי פרויקט בדיקה אחד לא יכול להשתמש בכל מה שזמין.

00:11:56.520 --> 00:11:58.620
זה גם משנה את השיחה על העלויות החודשיות.

00:11:58.840 --> 00:11:59.900
ללא תצוגה משותפת,

00:12:00.020 --> 00:12:03.900
צוות פיננסי עשוי לקבל חשבון AI אחד גדול ולשאול מי ישתמש בכל זה.

00:12:03.900 --> 00:12:08.600
התשובה יכולה להיות קשה למציאה כשצוותים מתחברים ישירות לשירותים שונים עם מפתחות משותפים.

00:12:08.800 --> 00:12:14.260
שער יכול לתעד את הקורא, את המודל, את השימוש בסימונים, את סטטוס התגובה ואת קריאות הכלי המקושרות לבקשה.

00:12:14.440 --> 00:12:16.060
זה נותן לכם עקבות ברורים יותר.

00:12:16.320 --> 00:12:21.000
אתם יכולים לראות אם ההוצאה הגיע מעוזר משאבי אנוש, סביבת בדיקות של מפתחים,

00:12:21.200 --> 00:12:24.440
שדבות מול לקוחות או סוכן שימשיך לנסות שוב אחרי שגיאה.

00:12:24.580 --> 00:12:26.080
אתם יכולים גם לזהות דפוסים חריגים,

00:12:26.080 --> 00:12:29.340
כמו אפליקציה אחת ששולחת הנחיות, פרומפס, גדולות בהרבה מהרגיל.

00:12:29.440 --> 00:12:33.160
אם הצוות שלכם מתחיל במיקרוסופט פאונדרי, השער יכול להתחבר גם לעבודה הזו.

00:12:33.280 --> 00:12:38.000
פרויקטים בפאונדרי יכולים להשתמש במגבלות הסימונים ברמת הפרויקט בזמן שהשער מיישם את חוקי התעבורה סביבם.

00:12:38.140 --> 00:12:40.120
זה נותן לבוני איי נקודת התחלה פשוטה יותר,

00:12:40.360 --> 00:12:43.280
בעוד לצוות הפלטפורמה עדיין יש מקום משותף לניהול מגבלות וניטור.

00:12:43.280 --> 00:12:46.520
יש גם תכונה שימושית שנקראת שמירה במטמון סמנטית, סמנטיק קשים.

00:12:46.720 --> 00:12:49.800
נניח שעובד אחד שואל, איפה אני יכול למצוא את מדיניות הנסיעות?

00:12:49.900 --> 00:12:53.880
כמה שניות לאחר מכן, עובד אחר שואל, איפה המדיניות שלנו לנסיעות עסקיות?

00:12:54.000 --> 00:12:56.360
המילים שונות, אך המשמעות עשויה להיות קרובה מספיק,

00:12:56.460 --> 00:12:58.660
כדי שהשער יוכל לעשות שימוש חוזר בתשובה הקודמת,

00:12:58.740 --> 00:13:00.240
מתאימה במקום להפעיל את המודל שוב.

00:13:00.420 --> 00:13:02.540
זה יכול להפחית עלויות ולהאיץ את התגובה.

00:13:02.540 --> 00:13:04.960
זה מתאים רק לשאלות שבהן שימוש חוזר הגיוני.

00:13:05.100 --> 00:13:08.820
לא היית שומר במטמון בקשה להתרת חופשה נוכחית של מי שהוא או סטטוס הזמנה,

00:13:08.980 --> 00:13:10.200
כי תשובות אלו יכולות להשתנות.

00:13:10.400 --> 00:13:12.120
ניתוב יכול לעזור גם עם עלויות.

00:13:12.340 --> 00:13:14.860
חברה עשויה לשלוח עבודה מתאימה למודל זול יותר,

00:13:15.140 --> 00:13:18.420
להשתמש בקיבולת שכבר שוריינה לפני תשלום על שימוש נוסף,

00:13:18.420 --> 00:13:20.320
ולעבור לנתיב גיבוי כשמופיעה מגבלה.

00:13:20.460 --> 00:13:23.120
ובכל זאת, שער אינו מבטל את הצורך באחריות.

00:13:23.300 --> 00:13:24.680
צוותים זקוקים לתקציבים.

00:13:24.840 --> 00:13:26.560
מי שהוא צריך לבחון את תשובות המודל.

00:13:26.720 --> 00:13:29.360
מי שהוא צריך להחליט אם סוכן מסוים צריך בכלל להתקיים.

00:13:29.540 --> 00:13:32.840
השער מספק לך את המדד, את מנגנוני הבקרה ואת רישום התעבורה.

00:13:33.000 --> 00:13:34.660
הוא לא מקבל החלטות עסקיות עבורך.

00:13:34.840 --> 00:13:36.740
ברגע שניתן לראות ולשלוט בתעבורה,

00:13:37.020 --> 00:13:39.860
כל המערך הופך לקל יותר להבנה באמצעות דוגמה יומיומית.

00:13:39.860 --> 00:13:41.140
מסלול בקשה פשוט.

00:13:41.280 --> 00:13:43.360
דמיינו עוזר משאבי אנוש בתוך חברה.

00:13:43.460 --> 00:13:46.140
עובד שואל כמה ימי חופשת לדעני יכול לקחת,

00:13:46.140 --> 00:13:48.000
והאם תוכל להתחיל את הבקשה עבורי.

00:13:48.120 --> 00:13:50.720
המטרה פשוטה, לתת לעובד תשובה מהירה ומועילה,

00:13:50.940 --> 00:13:52.500
ואז לעזור בשלב הבא המאושר.

00:13:52.620 --> 00:13:54.780
אך עוזר משאבי האנוש אסור לו לחשוף נתוני שכר,

00:13:54.960 --> 00:13:56.260
לפתוח כל קובץ משאבי אנוש,

00:13:56.420 --> 00:13:58.500
או להחזיק מפתח של ספק מודל בתוך הקוד שלו.

00:13:58.600 --> 00:14:00.980
הבקשה מתחילה כאשר העובד מתחבר למערכת.

00:14:00.980 --> 00:14:03.320
לפני שהעוזר שולח משהו למודל או לכלי,

00:14:03.500 --> 00:14:06.760
השער בודק מהעובד האם הוא מורשה להשתמש בעוזר משאבי האנוש,

00:14:06.760 --> 00:14:08.580
ואילו מגבלות חלות על אפליקציה זו.

00:14:08.680 --> 00:14:10.360
העובד רואה חלון צ'אט פשוט אחד,

00:14:10.520 --> 00:14:12.560
בזמן שהבדיקות הללו קורות מאחורי הקלעים.

00:14:12.740 --> 00:14:14.640
לאחר מכן, העוזר זקוק לתשובה.

00:14:14.800 --> 00:14:18.640
שאלה בסיסית על מדיניות יכולה לעבור לנקודת הקצה המאושרת של המודל בחברה.

00:14:18.640 --> 00:14:21.920
אם נקודת הקצה הזו עמוסה או מגיעה למגבלה שהוגדרה,

00:14:22.180 --> 00:14:24.980
השער יכול לעקוב אחר נתיב גיבוי שהחברה כבר ישרה.

00:14:25.100 --> 00:14:27.800
העובד עדיין מקבל תשובה דרך אותו עוזר משאבי אנוש,

00:14:27.800 --> 00:14:31.240
במקום לראות שגיעה בגלל פריסה של מודל אחד שנהייתה עמוסה מדי.

00:14:31.400 --> 00:14:33.880
ואז, העובד מבקש להתחיל את בקשת החופשה.

00:14:34.020 --> 00:14:36.280
בשלב זה, הסוכן זקוק ליותר ממודל.

00:14:36.420 --> 00:14:39.900
הוא זקוק לכלי שיכול לבדוק את פרטי העובד וליצור את הבקשה הנכונה.

00:14:39.900 --> 00:14:43.340
הסוכן מבקש להשתמש בכלי MCP מאושר לניהול חופשות.

00:14:43.520 --> 00:14:45.280
השער בודק גם את הבקשה הזו.

00:14:45.380 --> 00:14:47.840
האם סוכן משאבי האנוש הזה יכול להפעיל את הכלי הזה?

00:14:47.980 --> 00:14:50.360
האם עובד זה מורשה להתחיל סוג זה של בקשה?

00:14:50.520 --> 00:14:53.000
האם הפעולה מתאימה להרשאות שהוקצו לסוכן?

00:14:53.180 --> 00:14:54.880
רק אז הכלי מקבל את הקריאה.

00:14:55.000 --> 00:14:57.960
הכלי אינו מחזיר רשימה ענקית של רשומות עובדים.

00:14:58.080 --> 00:15:00.240
הוא מחזיר רק את מה שהמשימה דורשת,

00:15:00.240 --> 00:15:02.160
יתרת החופשה הפנויה של העובד,

00:15:02.380 --> 00:15:05.520
המדיניות שחלה עליו ואישור שהבקשה נוצרה כטיוטה.

00:15:05.640 --> 00:15:07.500
לתגובה מצומצמת זו יש חשיבות.

00:15:07.660 --> 00:15:09.460
לסוכן יש מספיק מידע כדי לעזור,

00:15:09.680 --> 00:15:12.780
אך הוא אינו מקבל גישה רחבה רק משום ששאל שאלה באנגלית פשוטה.

00:15:12.780 --> 00:15:16.400
כעת, דמיינו שהעובד מדביק טקסט ממסמך חיצוני לתוך התשט.

00:15:16.560 --> 00:15:21.680
הטקסט מכיל הוראות שמנסות להטעות את העוזר להתעלם מהכללים שלו או לבקש מידע חסוי.

00:15:21.680 --> 00:15:26.880
השאר, גייטווי, יכול להכיל בדיקות בטיחות לפני שההנחיה מגיעה למודל או לפני שכלי מקבל בקשה.

00:15:27.020 --> 00:15:29.420
אם הבקשה מפרה כלל, הוא יכול לעצור אותה שם.

00:15:29.580 --> 00:15:33.220
אותו סוג של בדיקה יכול לזכור תגובה לפני שהיא מגיעה לעובד.

00:15:33.400 --> 00:15:35.580
לא כל בעיה נובעת מהנחיה גרועה.

00:15:35.580 --> 00:15:39.580
מודל עלול להפיק תגובה הכוללת מידע שהוא אינו אמור להחזיר.

00:15:39.720 --> 00:15:43.860
נקודת בקרה משותפת נותנת לחברה מקום לבחון את המסלול הזה ולפעול בהתאם.

00:15:43.860 --> 00:15:45.600
בינתיים, הבקשה יוצרת תיעוד.

00:15:45.760 --> 00:15:49.320
החברה יכולה לקשר את האסימון, טוקן, שבו נעשה שימוש לפרויקט עוזר משאבי האנוש.

00:15:49.460 --> 00:15:54.700
היא יכולה לראות איזה מודל טיפל בשאלה, האם קריאת הכלי הצליחה, האם בקשה נחסמה וכמה זמן התהליך ערך.

00:15:54.880 --> 00:15:57.260
זה הופך את התמיכה והבקרה להרבה יותר קלות.

00:15:57.260 --> 00:16:03.280
אם צוות משאבי אנוש מדווח שעובדים אינם יכולים ליצור בקשות חופשה, צוות התפעול יכול לחפש קריאות כלי שנכשלו.

00:16:03.380 --> 00:16:07.660
אם כלל בטיחות חוסם שאלות תקינות, הם יכולים לראות את הדפוס ולשפר את המדיניות.

00:16:07.760 --> 00:16:12.200
אם סוכן אחד משתמש לפטע בקיבולת AI רבה מהרגיל, השינוי הזה הופך לגלוי.

00:16:12.340 --> 00:16:18.700
ואם החברה מעדכנת כלל, כמו דרישה לבדיקה נוספת לפני בקשות חופשה מסוימות, היא יכולה לעדכן את מדיניות השאר פעם אחת.

00:16:18.700 --> 00:16:25.240
היא לא צריכה לחכות לעדכוני קוד נפרדים בכל אפליקציית משאבי אנוש, שדבות או תהליך עבודה שמשתמשים באותו מסלול מבוקר.

00:16:25.360 --> 00:16:33.680
אותו דפוס בקשה עדיין עובד כשהחברה מוסיפה מודל אחר, אזור חדש, יותר כלים פנימיים או סוכן אחר שמטפל במשימת משאבי אנוש קשורה.

00:16:33.680 --> 00:16:39.160
התחילו בקטן. בכל זאת, שער הופך לשימושי כאשר תעבורת AI מתחילה להפוך לתעבורה משותפת.

00:16:39.280 --> 00:16:42.040
מאיפה מתחילים? אז איפה אתם באמת מתחילים?

00:16:42.040 --> 00:16:50.220
התחילו בבחירת עומס עבודה אמיתי אחד. אולי עוזר תמיכה שכבר קורא למודל, או סוכן שהצוות שלכם מתכנן למשאבי אנוש, כספים או חיפוש מסמכים פנימיים.

00:16:50.380 --> 00:16:53.040
אל תנסו להתמודד עם כל מודל וכל כלי בבת אחת.

00:16:53.240 --> 00:16:54.580
זהו מסלול מהיר לקאוס.

00:16:54.580 --> 00:17:01.040
במקום לתת מפתחות ספק ישירות לכל אפליקציה, שימו את קצה המודל של עומס העבודה הזה מאחורי שער ה-AI של Azure API Management.

00:17:01.200 --> 00:17:04.280
תחשבו על זה כעל נקודת ביקורת הבטחה אחת לתעבורת ה-AI שלכם.

00:17:04.420 --> 00:17:05.780
אחר כך, הגדירו את הבסיס.

00:17:05.960 --> 00:17:07.540
קבעו בעלים ברור לעומס העבודה.

00:17:07.720 --> 00:17:11.160
השתמשו בגישה מבוססת ENTRA כדי שרק האנשים או השירותים הנכונים יוכלו להגיע אליו.

00:17:11.300 --> 00:17:14.040
הגדירו מגבלת הסימונים שמתאימה למשימה, לא יותר ולא פחות.

00:17:14.220 --> 00:17:15.980
הפעילו רישום כדי שתוכלו לראות מה קורה.

00:17:15.980 --> 00:17:18.980
הוסיפו כלל בטיחות תוכן אחד שהצוות שלכם יוכל לבדוק ולבחון.

00:17:19.100 --> 00:17:19.880
התחילו פשוט.

00:17:20.040 --> 00:17:24.520
ברגע שמסלול המודל וגבולות הגישה עובדים, הוסיפו כלי MCP מאושרים אחד בכל פעם.

00:17:24.520 --> 00:17:28.380
לכל כלי צריך להיות תפקיד מוגדר וסיבה ברורה לשימוש מצד הסוכן.

00:17:28.560 --> 00:17:29.760
בלי תוספות מיותרות.

00:17:29.920 --> 00:17:34.340
משם, אתם צומחים מאומס עבודה מבוקר אחד למודלים, כלים וסוכנים משותפים.

00:17:34.340 --> 00:17:41.240
ללא נקודת הבקרה הראשונית הזו, כל אפליקציית AI חדשה יוצרת עוד נתיב לא מנוהל לנתוני החברה ועוד שורה בחשבון ה-AI.

00:17:41.420 --> 00:17:45.080
לטיפ הידע הבא, היינו ב-Azure API Management Simply Explained.

00:17:45.300 --> 00:17:47.960
זהו הבסיס שעליו נבנה המיקרוסופט AI Gateway.
