WEBVTT

00:00:00.000 --> 00:00:04.400
Отже, що саме змінюється, коли компанія переходить від одного щі чат-бота до десятків інструментів зі штучним інтелектом?

00:00:04.520 --> 00:00:08.960
Спочатку все здається простим. Одна команда додає чат-бота для підтримки клієнтів.

00:00:09.120 --> 00:00:13.820
Інша використовує щі для пошуку в документах компанії, а нотатки із зустрічей створюються автоматично.

00:00:14.020 --> 00:00:18.480
Робочий процес може считувати електронний лист, виокремлювати запит і надсилати його до потрібної системи.

00:00:18.580 --> 00:00:24.160
Згодом у компанії з'являється кілька моделей агентів, що можуть виконувати дії та інструментів для доступу до бізнес-даних.

00:00:24.160 --> 00:00:30.260
Кожна команда часто підключається безпосередньо до іншого щі-провайдера, використовуючи власні ключі, обмеження та правила безпеки.

00:00:30.420 --> 00:00:33.880
Витрати стає важко відстежити. Ключ може опинитися не в тих руках.

00:00:34.040 --> 00:00:37.780
А коли агент звертається до інструменту, ніхто не має чіткого запису того, що саме він намагався зробити.

00:00:37.960 --> 00:00:40.300
Саме тут на допомогу приходить Microsoft AI Gateway.

00:00:40.520 --> 00:00:46.000
Наприкінці цього епізоду ви зрозумієте, що це таке, як працюють його компоненти та коли це стає доцільним для вашого бізнесу.

00:00:46.140 --> 00:00:49.120
Уявіть це як офісну будівлю з великою кількістю бічних дверей.

00:00:49.120 --> 00:00:55.160
Можна залишити всі двері відчиненими і сподіватися, що люди користуватимуться ними належним чином або спрямувати всіх через один керований вхід.

00:00:55.300 --> 00:00:56.800
Єдині вхідні двері для щі.

00:00:56.940 --> 00:01:02.660
Microsoft AI Gateway – це набір функцій керування АРІЕЖУР, який надає вашому щі-трафіку єдину точку контролю.

00:01:02.820 --> 00:01:04.620
Давайте пояснимо це простою мовою.

00:01:04.780 --> 00:01:07.800
Уявіть щі інфраструктуру вашої компанії як сучасну офісну будівлю.

00:01:07.960 --> 00:01:10.480
Щі-моделі – це кімнати, де відбувається процес мислення.

00:01:10.480 --> 00:01:15.060
Ваші агенти – це працівники, які пересуваються будівлею, вирішуючи, яке схвалене завдання виконати наступним.

00:01:15.220 --> 00:01:20.720
Інструменти – це службові двері, що ведуть до відділів кадрів, фінансів, клієнтських баз та внутрішніх файлів.

00:01:20.840 --> 00:01:24.400
AI Gateway – це стійка реєстрації та пост охорони на вході.

00:01:24.560 --> 00:01:30.820
Він перевіряє, хто входить, застосовує правила та фіксує напрямки запитів, перш ніж вони потраплять у глиб будівлі.

00:01:31.020 --> 00:01:32.840
Запит проходить простий шлях.

00:01:32.840 --> 00:01:36.320
Додаток – копілот або агент надсилає запит до шлюзу.

00:01:36.440 --> 00:01:43.640
Шлюз перевіряє правила, що застосовуються до цього запитувача, а потім спрямовує його до схваленої моделі, інструменту, агента або бізнес-арі.

00:01:43.760 --> 00:01:48.500
А коли надходить відповідь, вона знову проходить через шлюз, перш ніж потрапити до користувача.

00:01:48.660 --> 00:01:56.140
Цей єдиний шлях дає бізнесу змогу керувати доступом, обмеженнями, перевірками безпеки та журналюванням, не вбудовуючи ці елементи в кожен додаток.

00:01:56.140 --> 00:01:59.220
Це також розмежовує два завдання, які часто змішуються.

00:01:59.220 --> 00:02:02.640
Команди розробників можуть зосередитися на досвіді, яким користуються люди.

00:02:02.840 --> 00:02:07.340
Вони створюють асистентів підтримки, інтерфейси пошуку документів або робочі процеси, що економлять час.

00:02:07.480 --> 00:02:13.700
Тим часом команда платформи керує спільними правилами-залаштунками, вирішуючи, які служби схвалено, які ідентифікатори можуть їх використовувати,

00:02:13.880 --> 00:02:17.120
який обсяг трафіку може надсилати проєкт і що саме підлягає реєстрації.

00:02:17.280 --> 00:02:20.720
Ви ж не хочете, щоб кожна команда вигадувала новий план безпеки для кожного чат-бота.

00:02:20.720 --> 00:02:24.300
Microsoft AI Gateway може розташовуватися перед кількома видами трафіку ЩІ.

00:02:24.460 --> 00:02:28.960
Він може керувати викликами до моделей ЩІ та викликами інструментів протоколу контексту моделі MCP.

00:02:29.140 --> 00:02:34.180
Він також може керувати трафіком Агент Агент А2А та бізнес АРІ, які вже використовує ваша компанія,

00:02:34.300 --> 00:02:38.980
наприклад, АРІ для перевірки замовлення, ознайомлення з кадровою політикою або відкриття тіки та підтримки.

00:02:39.120 --> 00:02:44.080
Остання частина важлива, оскільки більшості компаній не потрібно відмовлятися від наявних систем для використання ЩІ.

00:02:44.080 --> 00:02:49.580
Їм просто потрібен безпечний спосіб взаємодії з цими системами, а шлюз допомагає встановити контроль над цим з'єднанням.

00:02:49.680 --> 00:02:55.200
Отже, Microsoft AI Gateway – це не модель. Він не пише відповіді самостійно. Це також не конструктор агентів.

00:02:55.300 --> 00:02:58.820
Тож ви не використовуєте його для розробки HR-помічника або навчання фінансового агента, що робити?

00:02:58.940 --> 00:03:03.120
І він не замінює Microsoft Foundry, де команди можуть будувати, тестувати та керувати проектами ЩІ.

00:03:03.260 --> 00:03:05.200
Натомість він розташовується посередині.

00:03:05.200 --> 00:03:13.260
Foundry може допомогти вам працювати з моделями та агентами ЩІ, тоді як Azure Ari Management AI Gateway допомагає контролювати трафік, який створюють ці моделі, агенти та інструменти.

00:03:13.400 --> 00:03:17.260
Можливо, ви вже знаєте Azure Ari Management як спосіб керування звичайними АРІ.

00:03:17.400 --> 00:03:21.960
АРІ – це просто спосіб для однієї частини програмного забезпечення попросити іншу частину про щось.

00:03:22.080 --> 00:03:26.560
AI Gateway поширює ту саму ідею на роботу зі ЩІ, оскільки запити ЩІ породжують нові запитання.

00:03:26.720 --> 00:03:29.580
Хто використовував яку модель? Скільки токенів було використано?

00:03:29.580 --> 00:03:33.540
Чи може цей агент викликати цей інструмент? Чи повинен цей запит взагалі надходити до моделі?

00:03:33.660 --> 00:03:36.940
Розміщення шлюзу посередині дає вам єдине місце для відповідей на ці запитання.

00:03:37.100 --> 00:03:41.800
І перша точка напруги з'являється, коли кожен додаток починає обирати власний кінцевий пункт моделі.

00:03:41.920 --> 00:03:43.940
Одна кінцева точка – багато моделей.

00:03:44.120 --> 00:03:49.960
Коли ваш додаток підключається безпосередньо до однієї кінцевої точки моделі, цей вибір зашивається безпосередньо в код.

00:03:49.960 --> 00:03:56.040
Часто код прив'язаний до одного постачальника, одного конкретного розгортання, одного регіону Azure і фіксованого набору обмежень.

00:03:56.160 --> 00:04:01.300
Це добре працює, поки проєкт невеликий, але уявіть, що ваша система підтримки працює на одній моделі в одному регіоні.

00:04:01.420 --> 00:04:07.540
Через місяці ця модель досягає своєї межі, з'являється краща модель за менші гроші, або вашому бізнесу потрібно переїхати в інший регіон.

00:04:07.720 --> 00:04:12.880
Без спільного рівня кожна команда додатку має змінювати свій код, тестувати його знову і випускати оновлення.

00:04:12.880 --> 00:04:15.120
Це призводить до повільних і безладних змін.

00:04:15.260 --> 00:04:18.580
Microsoft AI Gateway надає вашим застосункам стабільну вхідні двері.

00:04:18.700 --> 00:04:22.960
Вони надсилають туди запити, а вибір моделі може змінюватися без необхідності вносити зміни в сам застосунок.

00:04:23.060 --> 00:04:25.100
Уявіть, це як єдиний номер телефону компанії.

00:04:25.240 --> 00:04:28.760
Клієнти набирають один номер, навіть якщо дзвінок перемикають на інший відділ чи офіс.

00:04:28.940 --> 00:04:31.260
Їм зовсім не обов'язково знати, як саме це відбувається.

00:04:31.440 --> 00:04:34.800
За AI Gateway ваш застосунок звертається до однієї схваленої кінцевої точки,

00:04:34.800 --> 00:04:37.920
а шлюз спрямовує запит до моделі, яка найкраще підходить для завдання.

00:04:38.060 --> 00:04:41.760
Microsoft також має новий підхід під назвою Unified Model ARRI.

00:04:42.380 --> 00:04:46.720
Простою мовою, він дозволяє застосунку надсилати запити у стилі OpenAI,

00:04:46.860 --> 00:04:50.220
тоді як шлюз підключає їх до різних постачальників моделей.

00:04:51.260 --> 00:04:56.660
Отже, ваш застосунок надсилає звичний тип запиту, а шлюз бере на себе всі технічні деталі.

00:04:56.920 --> 00:04:59.860
Залежно від налаштувань, запит може піти до Azure OpenAI,

00:04:59.860 --> 00:05:04.360
моделів Microsoft Foundry, Anthropic, Google Gemini або Amazon Bedrock.

00:05:04.360 --> 00:05:09.020
Маршрут базується на ваших правилах, а не на жорстко прописаних налаштуваннях у коді кожного застосунку.

00:05:09.180 --> 00:05:13.100
Це дає команді платформи простір для змін без жодного впливу на кінцевих користувачів.

00:05:13.240 --> 00:05:16.740
Припустімо, ваша компанія використовує AI-асистента для підтримки клієнтів.

00:05:16.920 --> 00:05:18.180
Більшість питань прості.

00:05:18.340 --> 00:05:19.460
Де моє замовлення?

00:05:19.620 --> 00:05:20.800
Як скинути пароль?

00:05:21.060 --> 00:05:24.860
На них може швидко відповісти менша і дешевша модель без зайвих витрат.

00:05:24.860 --> 00:05:29.820
Але ось клієнт ставить довге, нестандартне запитання, яке потребує глибоких роздумів або знання продукту.

00:05:29.820 --> 00:05:32.660
Шлюз спрямовує такий запит до потужнішої моделі.

00:05:32.780 --> 00:05:37.620
За стосунок підтримки надсилає запити так само, тому ваша команда не знає, яка модель обробила запит,

00:05:37.720 --> 00:05:43.160
а розробникам не потрібно створювати окремі підключення для кожного варіанту, а як щодо пропускної здатності.

00:05:43.320 --> 00:05:45.440
Кінцеві точки моделей Щі мають свої ліміти.

00:05:45.660 --> 00:05:48.560
Вони можуть опрацювати лише певну кількість трафіку за одиницю часу.

00:05:48.560 --> 00:05:53.660
Якщо кожен запит спрямовується до одного розгортання, навіть одна пікова година може сповільнити чи заблокувати роботу системи.

00:05:53.660 --> 00:06:00.840
Шлюз може розподіляти трафік між кількома схваленими розгортаннями, спрямовуючи його в інший регіон, коли один перевантажений або використовуючи резервний шлях, якщо точка відмовляє.

00:06:00.960 --> 00:06:03.540
Це не означає, що запити мають хаотично перекидатися.

00:06:03.700 --> 00:06:05.320
Ви все одно встановлюєте правила.

00:06:05.520 --> 00:06:11.020
Наприклад, трафік від клієнтів має пріоритет на головній моделі, внутрішнє тестування йде іншим шляхом,

00:06:11.020 --> 00:06:15.340
або один регіон обслуговує локальних користувачів, а інший працює як резерв.

00:06:15.340 --> 00:06:16.860
Суть проста.

00:06:17.060 --> 00:06:24.080
Ваші застосунки підключаються до однієї керованої точки, а платформа може гнучко змінювати моделі, регіони чи постачальників з мінімальними перебоями.

00:06:24.280 --> 00:06:26.260
Це важливо, адже ще розвивається швидко.

00:06:26.460 --> 00:06:29.400
Модель, що працює сьогодні, наступного місяця може вже не бути найкращим вибором.

00:06:29.400 --> 00:06:33.640
Якщо кожен застосунок звертається безпосередньо до свого провайдера, зміна моделей стає проєктом для кожної команди.

00:06:33.760 --> 00:06:36.800
Завдяки шлюзу рішення щодо моделі зберігається в одному спільному місці.

00:06:36.800 --> 00:06:39.400
Коротке зауваження щодо уніфікованого АРІ моделей.

00:06:39.560 --> 00:06:42.140
Майкрософт зазначає його як загальнодоступну попередню версію.

00:06:42.300 --> 00:06:45.820
Функції попереднього перегляду можуть змінюватися і не завжди готові для будь-якого промислового використання.

00:06:45.980 --> 00:06:48.700
Утім, загальний підхід не залежить від цієї однієї функції.

00:06:48.700 --> 00:06:55.100
Оскільки ваше керування АРІ вже може стояти перед кінцевими точками моделей, застосовувати правила маршрутизації та допомагати керувати кількома бекендами.

00:06:55.100 --> 00:06:59.820
Уніфікований АРІ моделей має на меті спростити взаємодію з різними провайдерами для застосунків.

00:06:59.980 --> 00:07:03.900
Вибір правильної моделі – це лише половина справи, бо модель може відповісти на запитання,

00:07:03.900 --> 00:07:07.700
але агент може вирішити вжити дію, що вплине на реальні корпоративні системи.

00:07:07.780 --> 00:07:09.760
Керування агентами та інструментами

00:07:09.760 --> 00:07:12.880
Агент виводить щі за межі простого надання відповідей на запитання.

00:07:13.040 --> 00:07:18.560
Це програмне забезпечення, яке може оцінити завдання, вибрати із затверджених варіантів і викликати інструмент або сервіс для виконання роботи.

00:07:18.560 --> 00:07:24.740
HR-агент може перевірити політику відпусток, агент підтримки – замовлення, а фінансовий агент – підготувати запит на оплату.

00:07:24.740 --> 00:07:27.880
Ця здатність корисна, але вона також змінює профіль ризиків.

00:07:28.000 --> 00:07:35.500
Неправильна відповідь моделі просто спантелечує, але агент, що використовує не той інструмент, може розкрити дані, змінити запис або запустити процес, якого не мав би чіпати.

00:07:35.700 --> 00:07:38.040
Саме тому інструменти потребують власних правил.

00:07:38.180 --> 00:07:41.120
Ви почуєте термін MCP або протокол контексту моделі.

00:07:41.120 --> 00:07:48.220
Уявіть це як стандартний роз'єм, що дає агенту зрозумілий спосіб знайти та використати корпоративний інструмент, наприклад, службу пошуку документів чи арі пошуку замовлень.

00:07:48.360 --> 00:07:53.440
Замість того, щоб будувати окреме з'єднання для кожного агента і кожної системи, MCP надає командам спільний шаблон.

00:07:53.580 --> 00:07:57.920
Також є і 2A, агент агенту – стандартний спосіб для одного агента зв'язатися з іншим.

00:07:58.080 --> 00:08:03.560
Наприклад, агент підтримки запитує в агента з доставки деталі замовлення замість того, щоб самому розбиратися в системі логістики.

00:08:03.560 --> 00:08:10.460
На папері це виглядає охайно, але ланцюжок агентів ускладнюється, коли кожне з'єднання має різні правила доступу, приховані облікові дані та невідомі інструменти.

00:08:10.600 --> 00:08:13.740
Уявіть фінансового агента, який відповідає на запитання щодо рахунків.

00:08:13.860 --> 00:08:20.680
Він мав би використовувати лише затверджений інструмент пошуку рахунків, але хтось надає йому широкий доступ до фінансової системи, бо це швидше, ніж налаштовувати вузький інструмент.

00:08:20.680 --> 00:08:26.700
Користувач надсилає на вигляд нешкідливий запит, але приховані інструкції у вкладеному документі підштовхують агента до несанкціонованої дії.

00:08:26.860 --> 00:08:32.600
Якщо агент має забагато прав доступу, він може запросити непотрібні дані або запустити робочий процес, який потребує схвалення людиною.

00:08:32.720 --> 00:08:37.300
Агент не має злих намірів. Він просто отримав забагато свободи при обробці неперевірених вхідних даних.

00:08:37.420 --> 00:08:42.040
Microsoft AI Gateway дозволяє встановлювати засоби контролю перед MCP серверами та бізнес-арі.

00:08:42.040 --> 00:08:47.880
Замість прямого доступу від AI додатка до бази даних, ви відкриваєте лише невеликий контрольований інструмент для одного конкретного завдання.

00:08:48.040 --> 00:08:51.180
Наприклад, агент запитує «Перевір статус цього замовлення».

00:08:51.180 --> 00:08:55.060
Інструмент повертає лише статус, а не всі замовлення чи повний запис про клієнта.

00:08:55.220 --> 00:08:59.000
Це вузьке завдання, і шлюз перевіряє, хто робить запит, перш ніж дозволити виклик.

00:08:59.260 --> 00:09:01.420
Ідентифікація лежить в основі цієї системи.

00:09:01.540 --> 00:09:06.420
З Microsoft Enter ID додатки входять у систему через керовані ідентифікатори замість використання спільних ключів провайдера.

00:09:06.420 --> 00:09:10.920
Керований ідентифікатор підтверджує особу без необхідності для розробника копіювати секретний ключ у код.

00:09:11.060 --> 00:09:13.340
Кожен агент повинен мати свій власний ідентифікатор.

00:09:13.460 --> 00:09:18.560
Таким чином ви бачите, який саме агент викликав інструмент, можете скасувати доступ для одного агента, не заважаючи іншим, і застосовувати різні правила.

00:09:18.700 --> 00:09:22.720
HR-агент не повинен успадковувати дозволи фінансового агента лише тому, що обидва використовують ші.

00:09:22.860 --> 00:09:24.640
Це відповідає принципу нульової довіри.

00:09:24.640 --> 00:09:30.360
Перевіряйте кожен запит, надавайте лише той доступ, що потрібен для поточної роботи, і припускайте, що будь-який запит або відповідь інструменту можуть бути небезпечними.

00:09:30.460 --> 00:09:33.500
На практиці агент отримує дозвіл на один конкретний інструмент і дію.

00:09:33.640 --> 00:09:36.740
Він може прочитати баланс відпусток, але не завантажити файл із зарплатами.

00:09:36.920 --> 00:09:39.740
Він може створити чернитку тіки та підтримки, але не закрити кейс.

00:09:39.860 --> 00:09:43.240
Шлюз також застосовує перевірки безпеки до промптів і трафіку інструментів.

00:09:43.240 --> 00:09:48.760
Якщо запит містить шкідливий контент або дані, які не повинні покидати систему, політика зупиняє його до того, як він дійде до бекенду.

00:09:48.900 --> 00:09:55.120
Жоден фільтр не вловлює все, але перевірка трафіку в одній спільній точці значно безпечніша, ніж сподівання на те, що кожен розробник агентів додасть однаковий захист.

00:09:55.240 --> 00:09:57.660
Вам також потрібен каталог схвалених інструментів.

00:09:57.780 --> 00:10:05.340
Arisenta діє як приватний каталог для Ари та МСП-сервісів, щоб команди знаходили потрібний інструмент, не шукаючи застаріло документацію та не копіючи неперевірені веб-адреси.

00:10:05.340 --> 00:10:09.480
Це допомагає перетворити вибір інструменту для агента на контролюване бізнес-рішення.

00:10:09.620 --> 00:10:13.080
Засоби безпеки захищають шлях, але вони також створюють нове питання.

00:10:13.260 --> 00:10:17.060
Які команди використовують цей шлях і наскільки інтенсивно вони використовують ЩІ?

00:10:17.200 --> 00:10:19.100
Вартість токенів, ліміти та видимість.

00:10:19.280 --> 00:10:22.020
Витрати на ЩІ працюють інакше, ніж стандартна ліцензія на програмне забезпечення.

00:10:22.180 --> 00:10:23.680
Лічильник працює на основі токенів.

00:10:23.840 --> 00:10:24.600
Що таке токен?

00:10:24.740 --> 00:10:25.960
Це невелика частина тексту.

00:10:26.100 --> 00:10:27.720
Коротке слово може використовувати один токен.

00:10:27.720 --> 00:10:29.260
Довше слово використовує більше.

00:10:29.400 --> 00:10:31.140
Модель рахує все, що ви надсилаєте.

00:10:31.300 --> 00:10:35.360
Ваше запитання, додані інструкції, будь-які прикріплені документи та відповідь, яку вона видає.

00:10:35.520 --> 00:10:39.040
Отже, просте запитання споживає дуже мало, але агент, який читає довгий документ з політикою,

00:10:39.140 --> 00:10:41.840
ставить додаткові запитання, викликає інструмент і створює детальну відповідь,

00:10:41.940 --> 00:10:43.720
може витратити набагато більше, ніж ви очікуєте.

00:10:43.880 --> 00:10:46.280
Ви, мабуть, бачили це на прикладі розшифровки зустрічі.

00:10:46.400 --> 00:10:47.960
Ви бачите кілька сторінок нотато.

00:10:47.960 --> 00:10:50.780
Система ЩІ також обробляє свої системні інструкції, транскрипт,

00:10:50.840 --> 00:10:53.760
отримані дані компанії, результати роботи інструментів та фінальну відповідь.

00:10:53.820 --> 00:10:55.960
Кожна частина додається до загального використання.

00:10:56.140 --> 00:10:59.460
Ось чому один активний агент може напрочуд швидко вичерпати спільний ліміт моделі.

00:10:59.580 --> 00:11:03.160
Уявіть команду, яка тестує нового маркетингового асистента в п'ятницю ввечері.

00:11:03.300 --> 00:11:06.280
Хтось надає йому великий набір файлів компанії та просить порівнювати,

00:11:06.420 --> 00:11:08.280
переписувати та підсумовувати їх по колу.

00:11:08.280 --> 00:11:11.620
Тим часом служба підтримки клієнтів залежить від тієї ж потужності моделі,

00:11:11.700 --> 00:11:12.600
щоб допомагати людям.

00:11:12.800 --> 00:11:14.800
Якщо тестове навантаження використовує спільну квоту,

00:11:14.920 --> 00:11:18.000
асистент підтримки може сповільнитися або вийти з ладу, коли він потрібен клієнтам.

00:11:18.120 --> 00:11:20.540
Проблема не лише в тому, що компанія витратила гроші.

00:11:20.680 --> 00:11:23.280
Невідповідне навантаження забрало ресурси у того, що було найважливішим.

00:11:23.960 --> 00:11:28.040
Шлюз AI-Вежур Ари Менеджмент може застосовувати обмеження до того, як це станеться.

00:11:28.040 --> 00:11:33.540
Ви можете встановити ліміти запитів, ліміти токенів і квоти для додатка, команди, проєкту чи користувача.

00:11:33.680 --> 00:11:37.700
Квота може охоплювати короткий проміжок часу, кількість токенів на хвилину або довший період,

00:11:37.820 --> 00:11:39.200
як от добовий чи місячний ліміт.

00:11:39.340 --> 00:11:41.600
Це визначає межі для кожного робочого навантаження.

00:11:41.780 --> 00:11:44.760
Маркетинговий асистент може мати бюджет, що відповідає його призначенню.

00:11:44.900 --> 00:11:47.900
Служба підтримки може мати власний обсяг ресурсів і вищий пріоритет.

00:11:47.900 --> 00:11:52.240
Коли маркетинговий асистент досягає ліміту, шлюз може відхиляти або сповільнювати його наступні запити.

00:11:52.400 --> 00:11:56.300
Підтримка клієнтів продовжує працювати, оскільки один тестовий проєкт не може використати все доступне.

00:11:56.440 --> 00:11:58.780
Це також змінює обговорення щомісячних витрат.

00:11:58.960 --> 00:12:03.860
Без спільного огляду фінансовий відділ може отримати один великий рахунок за щі і запитати, хто все це використав.

00:12:04.020 --> 00:12:08.440
Відповідь знайти важко, коли команди підключаються безпосередньо до різних сервісів зі спільними ключами.

00:12:08.440 --> 00:12:14.260
Шлюз може записувати того, хто звертається, модель використання токенів, статус відповіді та виклики інструментів, пов'язані із запитом.

00:12:14.360 --> 00:12:16.080
Це забезпечує чіткіший слід.

00:12:16.200 --> 00:12:24.460
Ви можете побачити, чи витрати пішли на HR-асистента, середовище тестування розробників, чат-бот для клієнтів або агента, який постійно повторював спроби після помилки.

00:12:24.620 --> 00:12:29.200
Ви також можете помітити незвичні шаблони, наприклад, коли один додаток надсилає значно більші запити, ніж зазвичай.

00:12:29.200 --> 00:12:33.200
Якщо ваша команда починає роботу в Microsoft Foundry, шлюз може підключитися і до цієї роботи.

00:12:33.320 --> 00:12:37.940
Проєкти Foundry можуть використовувати ліміти токенів на рівні проєкту, поки шлюз застосовує правила трафіку навколо них.

00:12:38.080 --> 00:12:43.340
Це дає розробникам ще простішу відправну точку, тоді як команда платформи має спільне місце для керування лімітами та моніторингом.

00:12:43.460 --> 00:12:46.400
Також існує корисна функція, яка називається семантичне кешування.

00:12:46.580 --> 00:12:49.900
Припустимо, один співробітник запитує, де я можу знайти правила відряджень.

00:12:49.900 --> 00:12:53.640
Через кілька секунд інший запитує, де наші правила щодо ділових поїздок.

00:12:53.780 --> 00:12:58.320
Слова відрізняються, але зміст може бути достатньо близьким, щоб шлюз міг повторно використати відповідну попередню відповідь,

00:12:58.400 --> 00:13:00.060
замість того, щоб знову звертатися до моделі.

00:13:00.180 --> 00:13:02.460
Це дозволяє зменшити витрати та пришвидшити відповідь.

00:13:02.560 --> 00:13:05.100
Це підходить лише для запитань, де повторне використання має сенс.

00:13:05.260 --> 00:13:09.980
Ви не будете кешувати запит щодо поточного залишку відпустки або статусу замовлення, оскільки ці відповіді можуть змінюватися.

00:13:09.980 --> 00:13:12.300
Маршрутизація також може допомогти з витратами.

00:13:12.420 --> 00:13:14.940
Компанія може спрямовувати відповідні завдання до дешевшої моделі,

00:13:15.040 --> 00:13:20.280
використовувати вже зарезервовані потужності перед оплатою додаткового використання та перемикатися на резервний шлях, коли виникає ліміт.

00:13:20.440 --> 00:13:23.140
Все ж таки шлюз не скасовує необхідності в відповідальності.

00:13:23.280 --> 00:13:24.600
Командам потрібні бюджети.

00:13:24.840 --> 00:13:26.640
Хтось має перевіряти відповіді моделі.

00:13:26.780 --> 00:13:29.520
Хтось має вирішити, чи взагалі повинен існувати такий агент.

00:13:29.520 --> 00:13:32.600
Шлюз надає вам лічильник, запобіжники та журнал трафіку.

00:13:32.760 --> 00:13:34.680
Він не ухвалює бізнес-рішення за вас.

00:13:34.840 --> 00:13:39.680
Коли ви можете бачити трафік і керувати ним, усю систему стає легше уявити на повсякденному прикладі.

00:13:39.780 --> 00:13:41.000
Простий шлях запиту.

00:13:41.200 --> 00:13:43.200
Уявіть HR-асистента в компанії.

00:13:43.400 --> 00:13:48.020
Співробітник запитує, скільки днів відпустки по догляду за дитиною я можу взяти, і чи можете ви розпочати запит за мене.

00:13:48.140 --> 00:13:52.620
Мета проста – надати працівнику швидку, корисну відповідь, а потім допомогти з наступним схваленим кроком.

00:13:52.620 --> 00:13:58.360
Але HR-асистент не повинен видавати дані про зарплату, відкривати всі HR-файли або містити ключ провайдера моделі у своєму коді.

00:13:58.480 --> 00:14:00.960
Запит починається, коли співробітник входить у систему.

00:14:01.120 --> 00:14:08.540
Перш ніж асистент відправить щось у модель чи інструмент, шлюз перевіряє, хто цей співробітник, чи може він користуватися HR-асистентом і які ліміти застосовуються до цього додатку.

00:14:08.680 --> 00:14:12.600
Працівник бачить лише одне просте вікно чату, тоді як ці перевірки відбуваються за лаштунками.

00:14:12.800 --> 00:14:14.480
Далі асистенту потрібна відповідь.

00:14:14.480 --> 00:14:18.620
Базове запитання щодо політики може бути спрямоване на затверджену компанією кінцеву точку моделі.

00:14:18.760 --> 00:14:24.840
Якщо ця точка зайнята або досягла встановленого ліміту, шлюз може використати резервний маршрут, який компанія вже схвалила.

00:14:25.020 --> 00:14:31.200
Співробітник все одно отримує відповідь через того ж HR-асистента, замість того, щоб бачити помилку через перевантаження одного з розгортень моделі.

00:14:31.300 --> 00:14:33.740
Потім співробітник просить розпочати запит на відпустку.

00:14:33.900 --> 00:14:36.240
На цьому етапі агенту потрібно більше, ніж просто модель.

00:14:36.240 --> 00:14:39.940
Йому потрібен інструмент, який може перевірити дані співробітника і створити відповідний запит.

00:14:40.040 --> 00:14:43.400
Агент просить використати схвалений МСП-інструмент для керування відпустками.

00:14:43.580 --> 00:14:45.280
Шлюз перевіряє і цей запит також.

00:14:45.380 --> 00:14:47.520
Чи може цей HR-агент викликати цей інструмент?

00:14:47.740 --> 00:14:50.220
Чи дозволено цьому працівнику створювати такий тип запиту?

00:14:50.380 --> 00:14:52.860
Чи відповідає ця дія дозволам, призначеним агенту?

00:14:53.000 --> 00:14:54.960
Тільки тоді інструмент отримує виклик.

00:14:55.080 --> 00:14:58.220
Інструмент не повертає величезний список записів про співробітників.

00:14:58.220 --> 00:15:05.400
Він повертає лише те, що потрібно для роботи, доступний залишок відпустки, застосовну політику та підтвердження, що запит створено як чернитку.

00:15:05.560 --> 00:15:07.460
Така обмежена відповідь має значення.

00:15:07.620 --> 00:15:12.660
Агент має достатньо інформації для допомоги, але він не отримує широкий доступ лише тому, що поставив запитання простою мовою.

00:15:12.800 --> 00:15:16.280
Тепер уявіть, що співробітник вставляє в чат текст із зовнішнього документа.

00:15:16.440 --> 00:15:21.860
Текст містить інструкції, які намагаються змусити помічника ігнорувати правила або запитувати конфіденційну інформацію.

00:15:21.860 --> 00:15:26.540
Шлюз може застосувати перевірки безпеки до того, як запит досягне моделі або інструмент отримає звернення.

00:15:26.700 --> 00:15:29.380
Якщо запит порушує правило, він може зупинитися на цьому етапі.

00:15:29.500 --> 00:15:33.060
Така ж перевірка може проаналізувати відповідь, перш ніж вона дійде до співробітника.

00:15:33.260 --> 00:15:35.620
Не кожна проблема виникає через невдалий запит.

00:15:35.820 --> 00:15:39.860
Модель може згенерувати відповідь, яка містить інформацію, не призначену для розголошення.

00:15:40.020 --> 00:15:43.680
Спільна точка контролю дає компанії можливість перевіряти цей шлях і діяти відповідно.

00:15:43.800 --> 00:15:45.840
Тим часом запит створює запис у журналі.

00:15:45.840 --> 00:15:49.020
Компанія може пов'язати використаний токен із проєктом HR-помічника.

00:15:49.200 --> 00:15:52.640
Вона може бачити, яка модель обробила запитання, чи був успішним виклик інструменту,

00:15:52.700 --> 00:15:54.900
чи був запит заблокований і скільки часу зайняв процес.

00:15:55.020 --> 00:15:57.060
Це значно полегшує підтримку та аудит.

00:15:57.200 --> 00:16:00.560
Якщо відділ кадрів повідомляє, що співробітники не можуть створювати запити на відпустку,

00:16:00.660 --> 00:16:03.180
операційна команда може перевірити невдалі виклики інструментів.

00:16:03.300 --> 00:16:07.580
Якщо правило безпеки блокує коректні запитання, вони можуть побачити закономірність і вдосконалити політику.

00:16:07.580 --> 00:16:12.240
Якщо один агент раптово використовує значно більше потужностей щі, ніж зазвичай, ця зміна стає помітною.

00:16:12.360 --> 00:16:16.860
А якщо компанія оновлює правило, наприклад, вимагаючи додаткову перевірку перед певними запитами на відпустку,

00:16:17.000 --> 00:16:18.780
вона може оновити політику шлюзу один раз.

00:16:18.900 --> 00:16:23.420
Не потрібно чекати на окремі оновлення коду в кожному HR-додатку, чат-боті чи робочому процесі,

00:16:23.500 --> 00:16:25.260
що використовує цей контрольований шлях.

00:16:25.380 --> 00:16:29.200
Цей самий шаблон запиту працює, навіть коли компанія додає іншу модель,

00:16:29.200 --> 00:16:33.740
новий регіон, додаткові внутрішні інструменти чи іншого агента для завдання HR.

00:16:33.900 --> 00:16:35.280
Проте починайте з малого.

00:16:35.460 --> 00:16:39.020
Шлюз стає корисним, коли трафік щі починає ставати спільним трафіком.

00:16:39.200 --> 00:16:40.060
З чого почати?

00:16:40.240 --> 00:16:41.960
Отже, з чого насправді почати?

00:16:42.120 --> 00:16:45.880
Почніть з вибору одного реального робочого навантаження, можливо, помічника підтримки,

00:16:46.000 --> 00:16:50.160
що вже звертається до моделі або агента для HR, фінансів чи пошуку внутрішніх документів.

00:16:50.300 --> 00:16:53.120
Не намагайтеся охопити всі моделі та інструменти одночасно.

00:16:53.220 --> 00:16:54.680
Це прямий шлях до хаосу.

00:16:54.680 --> 00:17:01.020
Замість того, щоб надавати ключі доступу до провайдера кожному додатку, розмістіть кінцеву точку моделі за шлюзом Azure Arie Management AI.

00:17:01.180 --> 00:17:04.160
Уявіть це як єдиний пункт перевірки безпеки для вашого щі трафіку.

00:17:04.360 --> 00:17:05.540
Далі налаштуйте основне.

00:17:05.660 --> 00:17:07.700
Призначте чіткого власника для робочого навантаження.

00:17:07.920 --> 00:17:11.080
Використовуйте доступ на базі Entra, щоб лише потрібні люди або сервіси мали до нього доступ.

00:17:11.260 --> 00:17:13.880
Встановіть ліміт токенів, що відповідає завданню, не більше і не менше.

00:17:14.020 --> 00:17:16.000
Увімкніть логування, щоб бачити, що відбувається.

00:17:16.000 --> 00:17:18.860
Додайте одне правило безпеки контенту, яке ваша команда зможе протестувати та перевірити.

00:17:18.980 --> 00:17:20.020
Починайте з простого.

00:17:20.180 --> 00:17:24.380
Коли шлях до моделі та межі доступу запрацюють, додавайте схвалені MCP інструменти по одному.

00:17:24.580 --> 00:17:28.320
Кожен інструмент повинен мати вузьке завдання та чітку причину для використання агентом.

00:17:28.500 --> 00:17:29.740
Жодних зайвих додатків.

00:17:29.940 --> 00:17:34.500
Згодом ви перейдете від одного контрольованого навантаження до спільних моделей, інструментів та агентів.

00:17:34.500 --> 00:17:41.160
Без початкової точки контролю кожен новий ші-додаток створює ще один некерований шлях до даних компанії та ще один рядок у рахунку за ші.

00:17:41.300 --> 00:17:44.900
Для отримання нових знань перегляньте Azure Arie Management простою мовою.

00:17:45.080 --> 00:17:47.940
Це і є фундамент, на якому будується Microsoft AI Gateway.
