Отже, що саме змінюється, коли компанія переходить від одного щі чат-бота до десятків інструментів зі штучним інтелектом? Спочатку все здається простим. Одна команда додає чат-бота для підтримки клієнтів. Інша використовує щі для пошуку в документах компанії, а нотатки із зустрічей створюються автоматично. Робочий процес може считувати електронний лист, виокремлювати запит і надсилати його до потрібної системи. Згодом у компанії з'являється кілька моделей агентів, що можуть виконувати дії та інструментів для доступу до бізнес-даних. Кожна команда часто підключається безпосередньо до іншого щі-провайдера, використовуючи власні ключі, обмеження та правила безпеки. Витрати стає важко відстежити. Ключ може опинитися не в тих руках. А коли агент звертається до інструменту, ніхто не має чіткого запису того, що саме він намагався зробити. Саме тут на допомогу приходить Microsoft AI Gateway. Наприкінці цього епізоду ви зрозумієте, що це таке, як працюють його компоненти та коли це стає доцільним для вашого бізнесу. Уявіть це як офісну будівлю з великою кількістю бічних дверей. Можна залишити всі двері відчиненими і сподіватися, що люди користуватимуться ними належним чином або спрямувати всіх через один керований вхід. Єдині вхідні двері для щі. Microsoft AI Gateway – це набір функцій керування АРІЕЖУР, який надає вашому щі-трафіку єдину точку контролю. Давайте пояснимо це простою мовою. Уявіть щі інфраструктуру вашої компанії як сучасну офісну будівлю. Щі-моделі – це кімнати, де відбувається процес мислення. Ваші агенти – це працівники, які пересуваються будівлею, вирішуючи, яке схвалене завдання виконати наступним. Інструменти – це службові двері, що ведуть до відділів кадрів, фінансів, клієнтських баз та внутрішніх файлів. AI Gateway – це стійка реєстрації та пост охорони на вході. Він перевіряє, хто входить, застосовує правила та фіксує напрямки запитів, перш ніж вони потраплять у глиб будівлі. Запит проходить простий шлях. Додаток – копілот або агент надсилає запит до шлюзу. Шлюз перевіряє правила, що застосовуються до цього запитувача, а потім спрямовує його до схваленої моделі, інструменту, агента або бізнес-арі. А коли надходить відповідь, вона знову проходить через шлюз, перш ніж потрапити до користувача. Цей єдиний шлях дає бізнесу змогу керувати доступом, обмеженнями, перевірками безпеки та журналюванням, не вбудовуючи ці елементи в кожен додаток. Це також розмежовує два завдання, які часто змішуються. Команди розробників можуть зосередитися на досвіді, яким користуються люди. Вони створюють асистентів підтримки, інтерфейси пошуку документів або робочі процеси, що економлять час. Тим часом команда платформи керує спільними правилами-залаштунками, вирішуючи, які служби схвалено, які ідентифікатори можуть їх використовувати, який обсяг трафіку може надсилати проєкт і що саме підлягає реєстрації. Ви ж не хочете, щоб кожна команда вигадувала новий план безпеки для кожного чат-бота. Microsoft AI Gateway може розташовуватися перед кількома видами трафіку ЩІ. Він може керувати викликами до моделей ЩІ та викликами інструментів протоколу контексту моделі MCP. Він також може керувати трафіком Агент Агент А2А та бізнес АРІ, які вже використовує ваша компанія, наприклад, АРІ для перевірки замовлення, ознайомлення з кадровою політикою або відкриття тіки та підтримки. Остання частина важлива, оскільки більшості компаній не потрібно відмовлятися від наявних систем для використання ЩІ. Їм просто потрібен безпечний спосіб взаємодії з цими системами, а шлюз допомагає встановити контроль над цим з'єднанням. Отже, Microsoft AI Gateway – це не модель. Він не пише відповіді самостійно. Це також не конструктор агентів. Тож ви не використовуєте його для розробки HR-помічника або навчання фінансового агента, що робити? І він не замінює Microsoft Foundry, де команди можуть будувати, тестувати та керувати проектами ЩІ. Натомість він розташовується посередині. Foundry може допомогти вам працювати з моделями та агентами ЩІ, тоді як Azure Ari Management AI Gateway допомагає контролювати трафік, який створюють ці моделі, агенти та інструменти. Можливо, ви вже знаєте Azure Ari Management як спосіб керування звичайними АРІ. АРІ – це просто спосіб для однієї частини програмного забезпечення попросити іншу частину про щось. AI Gateway поширює ту саму ідею на роботу зі ЩІ, оскільки запити ЩІ породжують нові запитання. Хто використовував яку модель? Скільки токенів було використано? Чи може цей агент викликати цей інструмент? Чи повинен цей запит взагалі надходити до моделі? Розміщення шлюзу посередині дає вам єдине місце для відповідей на ці запитання. І перша точка напруги з'являється, коли кожен додаток починає обирати власний кінцевий пункт моделі. Одна кінцева точка – багато моделей. Коли ваш додаток підключається безпосередньо до однієї кінцевої точки моделі, цей вибір зашивається безпосередньо в код. Часто код прив'язаний до одного постачальника, одного конкретного розгортання, одного регіону Azure і фіксованого набору обмежень. Це добре працює, поки проєкт невеликий, але уявіть, що ваша система підтримки працює на одній моделі в одному регіоні. Через місяці ця модель досягає своєї межі, з'являється краща модель за менші гроші, або вашому бізнесу потрібно переїхати в інший регіон. Без спільного рівня кожна команда додатку має змінювати свій код, тестувати його знову і випускати оновлення. Це призводить до повільних і безладних змін. Microsoft AI Gateway надає вашим застосункам стабільну вхідні двері. Вони надсилають туди запити, а вибір моделі може змінюватися без необхідності вносити зміни в сам застосунок. Уявіть, це як єдиний номер телефону компанії. Клієнти набирають один номер, навіть якщо дзвінок перемикають на інший відділ чи офіс. Їм зовсім не обов'язково знати, як саме це відбувається. За AI Gateway ваш застосунок звертається до однієї схваленої кінцевої точки, а шлюз спрямовує запит до моделі, яка найкраще підходить для завдання. Microsoft також має новий підхід під назвою Unified Model ARRI. Простою мовою, він дозволяє застосунку надсилати запити у стилі OpenAI, тоді як шлюз підключає їх до різних постачальників моделей. Отже, ваш застосунок надсилає звичний тип запиту, а шлюз бере на себе всі технічні деталі. Залежно від налаштувань, запит може піти до Azure OpenAI, моделів Microsoft Foundry, Anthropic, Google Gemini або Amazon Bedrock. Маршрут базується на ваших правилах, а не на жорстко прописаних налаштуваннях у коді кожного застосунку. Це дає команді платформи простір для змін без жодного впливу на кінцевих користувачів. Припустімо, ваша компанія використовує AI-асистента для підтримки клієнтів. Більшість питань прості. Де моє замовлення? Як скинути пароль? На них може швидко відповісти менша і дешевша модель без зайвих витрат. Але ось клієнт ставить довге, нестандартне запитання, яке потребує глибоких роздумів або знання продукту. Шлюз спрямовує такий запит до потужнішої моделі. За стосунок підтримки надсилає запити так само, тому ваша команда не знає, яка модель обробила запит, а розробникам не потрібно створювати окремі підключення для кожного варіанту, а як щодо пропускної здатності. Кінцеві точки моделей Щі мають свої ліміти. Вони можуть опрацювати лише певну кількість трафіку за одиницю часу. Якщо кожен запит спрямовується до одного розгортання, навіть одна пікова година може сповільнити чи заблокувати роботу системи. Шлюз може розподіляти трафік між кількома схваленими розгортаннями, спрямовуючи його в інший регіон, коли один перевантажений або використовуючи резервний шлях, якщо точка відмовляє. Це не означає, що запити мають хаотично перекидатися. Ви все одно встановлюєте правила. Наприклад, трафік від клієнтів має пріоритет на головній моделі, внутрішнє тестування йде іншим шляхом, або один регіон обслуговує локальних користувачів, а інший працює як резерв. Суть проста. Ваші застосунки підключаються до однієї керованої точки, а платформа може гнучко змінювати моделі, регіони чи постачальників з мінімальними перебоями. Це важливо, адже ще розвивається швидко. Модель, що працює сьогодні, наступного місяця може вже не бути найкращим вибором. Якщо кожен застосунок звертається безпосередньо до свого провайдера, зміна моделей стає проєктом для кожної команди. Завдяки шлюзу рішення щодо моделі зберігається в одному спільному місці. Коротке зауваження щодо уніфікованого АРІ моделей. Майкрософт зазначає його як загальнодоступну попередню версію. Функції попереднього перегляду можуть змінюватися і не завжди готові для будь-якого промислового використання. Утім, загальний підхід не залежить від цієї однієї функції. Оскільки ваше керування АРІ вже може стояти перед кінцевими точками моделей, застосовувати правила маршрутизації та допомагати керувати кількома бекендами. Уніфікований АРІ моделей має на меті спростити взаємодію з різними провайдерами для застосунків. Вибір правильної моделі – це лише половина справи, бо модель може відповісти на запитання, але агент може вирішити вжити дію, що вплине на реальні корпоративні системи. Керування агентами та інструментами Агент виводить щі за межі простого надання відповідей на запитання. Це програмне забезпечення, яке може оцінити завдання, вибрати із затверджених варіантів і викликати інструмент або сервіс для виконання роботи. HR-агент може перевірити політику відпусток, агент підтримки – замовлення, а фінансовий агент – підготувати запит на оплату. Ця здатність корисна, але вона також змінює профіль ризиків. Неправильна відповідь моделі просто спантелечує, але агент, що використовує не той інструмент, може розкрити дані, змінити запис або запустити процес, якого не мав би чіпати. Саме тому інструменти потребують власних правил. Ви почуєте термін MCP або протокол контексту моделі. Уявіть це як стандартний роз'єм, що дає агенту зрозумілий спосіб знайти та використати корпоративний інструмент, наприклад, службу пошуку документів чи арі пошуку замовлень. Замість того, щоб будувати окреме з'єднання для кожного агента і кожної системи, MCP надає командам спільний шаблон. Також є і 2A, агент агенту – стандартний спосіб для одного агента зв'язатися з іншим. Наприклад, агент підтримки запитує в агента з доставки деталі замовлення замість того, щоб самому розбиратися в системі логістики. На папері це виглядає охайно, але ланцюжок агентів ускладнюється, коли кожне з'єднання має різні правила доступу, приховані облікові дані та невідомі інструменти. Уявіть фінансового агента, який відповідає на запитання щодо рахунків. Він мав би використовувати лише затверджений інструмент пошуку рахунків, але хтось надає йому широкий доступ до фінансової системи, бо це швидше, ніж налаштовувати вузький інструмент. Користувач надсилає на вигляд нешкідливий запит, але приховані інструкції у вкладеному документі підштовхують агента до несанкціонованої дії. Якщо агент має забагато прав доступу, він може запросити непотрібні дані або запустити робочий процес, який потребує схвалення людиною. Агент не має злих намірів. Він просто отримав забагато свободи при обробці неперевірених вхідних даних. Microsoft AI Gateway дозволяє встановлювати засоби контролю перед MCP серверами та бізнес-арі. Замість прямого доступу від AI додатка до бази даних, ви відкриваєте лише невеликий контрольований інструмент для одного конкретного завдання. Наприклад, агент запитує «Перевір статус цього замовлення». Інструмент повертає лише статус, а не всі замовлення чи повний запис про клієнта. Це вузьке завдання, і шлюз перевіряє, хто робить запит, перш ніж дозволити виклик. Ідентифікація лежить в основі цієї системи. З Microsoft Enter ID додатки входять у систему через керовані ідентифікатори замість використання спільних ключів провайдера. Керований ідентифікатор підтверджує особу без необхідності для розробника копіювати секретний ключ у код. Кожен агент повинен мати свій власний ідентифікатор. Таким чином ви бачите, який саме агент викликав інструмент, можете скасувати доступ для одного агента, не заважаючи іншим, і застосовувати різні правила. HR-агент не повинен успадковувати дозволи фінансового агента лише тому, що обидва використовують ші. Це відповідає принципу нульової довіри. Перевіряйте кожен запит, надавайте лише той доступ, що потрібен для поточної роботи, і припускайте, що будь-який запит або відповідь інструменту можуть бути небезпечними. На практиці агент отримує дозвіл на один конкретний інструмент і дію. Він може прочитати баланс відпусток, але не завантажити файл із зарплатами. Він може створити чернитку тіки та підтримки, але не закрити кейс. Шлюз також застосовує перевірки безпеки до промптів і трафіку інструментів. Якщо запит містить шкідливий контент або дані, які не повинні покидати систему, політика зупиняє його до того, як він дійде до бекенду. Жоден фільтр не вловлює все, але перевірка трафіку в одній спільній точці значно безпечніша, ніж сподівання на те, що кожен розробник агентів додасть однаковий захист. Вам також потрібен каталог схвалених інструментів. Arisenta діє як приватний каталог для Ари та МСП-сервісів, щоб команди знаходили потрібний інструмент, не шукаючи застаріло документацію та не копіючи неперевірені веб-адреси. Це допомагає перетворити вибір інструменту для агента на контролюване бізнес-рішення. Засоби безпеки захищають шлях, але вони також створюють нове питання. Які команди використовують цей шлях і наскільки інтенсивно вони використовують ЩІ? Вартість токенів, ліміти та видимість. Витрати на ЩІ працюють інакше, ніж стандартна ліцензія на програмне забезпечення. Лічильник працює на основі токенів. Що таке токен? Це невелика частина тексту. Коротке слово може використовувати один токен. Довше слово використовує більше. Модель рахує все, що ви надсилаєте. Ваше запитання, додані інструкції, будь-які прикріплені документи та відповідь, яку вона видає. Отже, просте запитання споживає дуже мало, але агент, який читає довгий документ з політикою, ставить додаткові запитання, викликає інструмент і створює детальну відповідь, може витратити набагато більше, ніж ви очікуєте. Ви, мабуть, бачили це на прикладі розшифровки зустрічі. Ви бачите кілька сторінок нотато. Система ЩІ також обробляє свої системні інструкції, транскрипт, отримані дані компанії, результати роботи інструментів та фінальну відповідь. Кожна частина додається до загального використання. Ось чому один активний агент може напрочуд швидко вичерпати спільний ліміт моделі. Уявіть команду, яка тестує нового маркетингового асистента в п'ятницю ввечері. Хтось надає йому великий набір файлів компанії та просить порівнювати, переписувати та підсумовувати їх по колу. Тим часом служба підтримки клієнтів залежить від тієї ж потужності моделі, щоб допомагати людям. Якщо тестове навантаження використовує спільну квоту, асистент підтримки може сповільнитися або вийти з ладу, коли він потрібен клієнтам. Проблема не лише в тому, що компанія витратила гроші. Невідповідне навантаження забрало ресурси у того, що було найважливішим. Шлюз AI-Вежур Ари Менеджмент може застосовувати обмеження до того, як це станеться. Ви можете встановити ліміти запитів, ліміти токенів і квоти для додатка, команди, проєкту чи користувача. Квота може охоплювати короткий проміжок часу, кількість токенів на хвилину або довший період, як от добовий чи місячний ліміт. Це визначає межі для кожного робочого навантаження. Маркетинговий асистент може мати бюджет, що відповідає його призначенню. Служба підтримки може мати власний обсяг ресурсів і вищий пріоритет. Коли маркетинговий асистент досягає ліміту, шлюз може відхиляти або сповільнювати його наступні запити. Підтримка клієнтів продовжує працювати, оскільки один тестовий проєкт не може використати все доступне. Це також змінює обговорення щомісячних витрат. Без спільного огляду фінансовий відділ може отримати один великий рахунок за щі і запитати, хто все це використав. Відповідь знайти важко, коли команди підключаються безпосередньо до різних сервісів зі спільними ключами. Шлюз може записувати того, хто звертається, модель використання токенів, статус відповіді та виклики інструментів, пов'язані із запитом. Це забезпечує чіткіший слід. Ви можете побачити, чи витрати пішли на HR-асистента, середовище тестування розробників, чат-бот для клієнтів або агента, який постійно повторював спроби після помилки. Ви також можете помітити незвичні шаблони, наприклад, коли один додаток надсилає значно більші запити, ніж зазвичай. Якщо ваша команда починає роботу в Microsoft Foundry, шлюз може підключитися і до цієї роботи. Проєкти Foundry можуть використовувати ліміти токенів на рівні проєкту, поки шлюз застосовує правила трафіку навколо них. Це дає розробникам ще простішу відправну точку, тоді як команда платформи має спільне місце для керування лімітами та моніторингом. Також існує корисна функція, яка називається семантичне кешування. Припустимо, один співробітник запитує, де я можу знайти правила відряджень. Через кілька секунд інший запитує, де наші правила щодо ділових поїздок. Слова відрізняються, але зміст може бути достатньо близьким, щоб шлюз міг повторно використати відповідну попередню відповідь, замість того, щоб знову звертатися до моделі. Це дозволяє зменшити витрати та пришвидшити відповідь. Це підходить лише для запитань, де повторне використання має сенс. Ви не будете кешувати запит щодо поточного залишку відпустки або статусу замовлення, оскільки ці відповіді можуть змінюватися. Маршрутизація також може допомогти з витратами. Компанія може спрямовувати відповідні завдання до дешевшої моделі, використовувати вже зарезервовані потужності перед оплатою додаткового використання та перемикатися на резервний шлях, коли виникає ліміт. Все ж таки шлюз не скасовує необхідності в відповідальності. Командам потрібні бюджети. Хтось має перевіряти відповіді моделі. Хтось має вирішити, чи взагалі повинен існувати такий агент. Шлюз надає вам лічильник, запобіжники та журнал трафіку. Він не ухвалює бізнес-рішення за вас. Коли ви можете бачити трафік і керувати ним, усю систему стає легше уявити на повсякденному прикладі. Простий шлях запиту. Уявіть HR-асистента в компанії. Співробітник запитує, скільки днів відпустки по догляду за дитиною я можу взяти, і чи можете ви розпочати запит за мене. Мета проста – надати працівнику швидку, корисну відповідь, а потім допомогти з наступним схваленим кроком. Але HR-асистент не повинен видавати дані про зарплату, відкривати всі HR-файли або містити ключ провайдера моделі у своєму коді. Запит починається, коли співробітник входить у систему. Перш ніж асистент відправить щось у модель чи інструмент, шлюз перевіряє, хто цей співробітник, чи може він користуватися HR-асистентом і які ліміти застосовуються до цього додатку. Працівник бачить лише одне просте вікно чату, тоді як ці перевірки відбуваються за лаштунками. Далі асистенту потрібна відповідь. Базове запитання щодо політики може бути спрямоване на затверджену компанією кінцеву точку моделі. Якщо ця точка зайнята або досягла встановленого ліміту, шлюз може використати резервний маршрут, який компанія вже схвалила. Співробітник все одно отримує відповідь через того ж HR-асистента, замість того, щоб бачити помилку через перевантаження одного з розгортень моделі. Потім співробітник просить розпочати запит на відпустку. На цьому етапі агенту потрібно більше, ніж просто модель. Йому потрібен інструмент, який може перевірити дані співробітника і створити відповідний запит. Агент просить використати схвалений МСП-інструмент для керування відпустками. Шлюз перевіряє і цей запит також. Чи може цей HR-агент викликати цей інструмент? Чи дозволено цьому працівнику створювати такий тип запиту? Чи відповідає ця дія дозволам, призначеним агенту? Тільки тоді інструмент отримує виклик. Інструмент не повертає величезний список записів про співробітників. Він повертає лише те, що потрібно для роботи, доступний залишок відпустки, застосовну політику та підтвердження, що запит створено як чернитку. Така обмежена відповідь має значення. Агент має достатньо інформації для допомоги, але він не отримує широкий доступ лише тому, що поставив запитання простою мовою. Тепер уявіть, що співробітник вставляє в чат текст із зовнішнього документа. Текст містить інструкції, які намагаються змусити помічника ігнорувати правила або запитувати конфіденційну інформацію. Шлюз може застосувати перевірки безпеки до того, як запит досягне моделі або інструмент отримає звернення. Якщо запит порушує правило, він може зупинитися на цьому етапі. Така ж перевірка може проаналізувати відповідь, перш ніж вона дійде до співробітника. Не кожна проблема виникає через невдалий запит. Модель може згенерувати відповідь, яка містить інформацію, не призначену для розголошення. Спільна точка контролю дає компанії можливість перевіряти цей шлях і діяти відповідно. Тим часом запит створює запис у журналі. Компанія може пов'язати використаний токен із проєктом HR-помічника. Вона може бачити, яка модель обробила запитання, чи був успішним виклик інструменту, чи був запит заблокований і скільки часу зайняв процес. Це значно полегшує підтримку та аудит. Якщо відділ кадрів повідомляє, що співробітники не можуть створювати запити на відпустку, операційна команда може перевірити невдалі виклики інструментів. Якщо правило безпеки блокує коректні запитання, вони можуть побачити закономірність і вдосконалити політику. Якщо один агент раптово використовує значно більше потужностей щі, ніж зазвичай, ця зміна стає помітною. А якщо компанія оновлює правило, наприклад, вимагаючи додаткову перевірку перед певними запитами на відпустку, вона може оновити політику шлюзу один раз. Не потрібно чекати на окремі оновлення коду в кожному HR-додатку, чат-боті чи робочому процесі, що використовує цей контрольований шлях. Цей самий шаблон запиту працює, навіть коли компанія додає іншу модель, новий регіон, додаткові внутрішні інструменти чи іншого агента для завдання HR. Проте починайте з малого. Шлюз стає корисним, коли трафік щі починає ставати спільним трафіком. З чого почати? Отже, з чого насправді почати? Почніть з вибору одного реального робочого навантаження, можливо, помічника підтримки, що вже звертається до моделі або агента для HR, фінансів чи пошуку внутрішніх документів. Не намагайтеся охопити всі моделі та інструменти одночасно. Це прямий шлях до хаосу. Замість того, щоб надавати ключі доступу до провайдера кожному додатку, розмістіть кінцеву точку моделі за шлюзом Azure Arie Management AI. Уявіть це як єдиний пункт перевірки безпеки для вашого щі трафіку. Далі налаштуйте основне. Призначте чіткого власника для робочого навантаження. Використовуйте доступ на базі Entra, щоб лише потрібні люди або сервіси мали до нього доступ. Встановіть ліміт токенів, що відповідає завданню, не більше і не менше. Увімкніть логування, щоб бачити, що відбувається. Додайте одне правило безпеки контенту, яке ваша команда зможе протестувати та перевірити. Починайте з простого. Коли шлях до моделі та межі доступу запрацюють, додавайте схвалені MCP інструменти по одному. Кожен інструмент повинен мати вузьке завдання та чітку причину для використання агентом. Жодних зайвих додатків. Згодом ви перейдете від одного контрольованого навантаження до спільних моделей, інструментів та агентів. Без початкової точки контролю кожен новий ші-додаток створює ще один некерований шлях до даних компанії та ще один рядок у рахунку за ші. Для отримання нових знань перегляньте Azure Arie Management простою мовою. Це і є фундамент, на якому будується Microsoft AI Gateway.