WEBVTT

00:00:00.000 --> 00:00:04.520
Итак, что именно меняется, когда компания переходит от одного и чат-бота к десяткам E-инструментов?

00:00:04.600 --> 00:00:08.940
Поначалу все кажется простым. Одна команда добавляет чат-бота для службы поддержки,

00:00:09.120 --> 00:00:13.320
другая использует и для поиска по корпоративным документам, а заметки со встреч создаются

00:00:13.320 --> 00:00:17.900
автоматически. Рабочий процесс может прочитать письмо, выделить запрос и отправить его в нужную

00:00:17.900 --> 00:00:22.100
систему. Вскоре у компании появляется несколько моделей – агентов, способных действовать,

00:00:22.280 --> 00:00:26.360
и инструментов, работающих с бизнес-данными. Каждая команда часто подключается напрямую

00:00:26.360 --> 00:00:30.280
к разным ИИ-провайдерам, используя свои ключи, лимиты и правила безопасности.

00:00:30.420 --> 00:00:34.060
Расходы становится трудно отследить. Ключ доступа может оказаться не в тех руках.

00:00:34.200 --> 00:00:37.880
А когда агент вызывает инструмент, никто может не знать точно, что именно он пытался сделать.

00:00:38.080 --> 00:00:42.600
Здесь на помощь приходит Microsoft IG2. К концу этого выпуска вы поймете, что это такое,

00:00:42.780 --> 00:00:46.180
как работают его компоненты и когда это становится полезным для вашего бизнеса.

00:00:46.280 --> 00:00:50.740
Представьте себе офисные здания со множеством боковых дверей. Можно оставить все двери открытыми

00:00:50.740 --> 00:00:55.120
в надежде, что ими пользуются правильно, а можно направить всех через один контролируемый вход.

00:00:55.120 --> 00:00:59.780
Одна главная дверь для ИИ. Microsoft IG2 – это набор функций управления Azure API,

00:01:00.020 --> 00:01:04.560
который дает вам единую точку контроля для всего ИИ-трафика. Давайте разберемся на простом языке.

00:01:04.700 --> 00:01:07.860
Представьте, что ИИ-инфраструктура вашей компании – это современные офисные здания.

00:01:08.040 --> 00:01:11.780
ИИ-модели – это кабинеты, где происходят вычисления. Ваши агенты – это сотрудники,

00:01:11.920 --> 00:01:15.060
перемещающиеся по зданию и решающие, какую одобренную задачу выполнить следующий.

00:01:15.300 --> 00:01:18.880
Инструменты – это служебные входы, ведущие в отделы кадров, финансов,

00:01:18.880 --> 00:01:20.780
к данным клиентов и внутренним файлам.

00:01:21.140 --> 00:01:24.560
AIG2 – это стойка регистрации и пост охраны при входе.

00:01:24.560 --> 00:01:28.940
Он проверяет входящих, применяет правила и фиксирует путь запросов до того,

00:01:29.160 --> 00:01:32.860
как они попадут вглубь здания. Запрос следует по простому маршруту.

00:01:33.000 --> 00:01:36.500
Приложение – Капайлот или агент отправляет запрос на шлюз.

00:01:36.640 --> 00:01:39.320
Шлюз проверяет правила, применимые к этому отправителю,

00:01:39.480 --> 00:01:43.740
а затем направляет запрос к одобренной модели, инструменту, агенту или бизнес-апи.

00:01:43.820 --> 00:01:48.420
А когда приходит ответ, он снова проходит через шлюз, прежде чем попасть к пользователю.

00:01:48.420 --> 00:01:53.000
Этот единственный путь позволяет бизнесу управлять доступом, лимитами, проверками безопасности

00:01:53.000 --> 00:01:56.220
и логированием, не внедряя эти элементы в каждое приложение отдельно.

00:01:56.320 --> 00:01:59.220
Это также разделяет две задачи, которые часто смешиваются.

00:01:59.440 --> 00:02:02.780
Команды разработки приложений могут сосредоточиться на опыте конечного пользователя.

00:02:02.980 --> 00:02:05.800
Они создают помощника поддержки, интерфейс поиска по документам

00:02:05.800 --> 00:02:07.400
или рабочий процесс, экономящий время.

00:02:07.560 --> 00:02:10.620
Тем временем команда платформы управляет общими правилами за кулисами,

00:02:10.800 --> 00:02:13.620
решая, какие сервисы одобрены, кто имеет право их использовать,

00:02:13.840 --> 00:02:17.040
какой объем трафика может передавать проект и что именно подлежит логированию.

00:02:17.040 --> 00:02:20.840
Вам не нужно, чтобы каждая команда придумывала новый план безопасности для каждого чат-бота.

00:02:20.980 --> 00:02:24.280
Microsoft IG2A может быть установлен перед различными типами ИИ-трафика.

00:02:24.440 --> 00:02:28.020
Он может управлять вызовами моделей ИИ и вызовами инструментов по протоколу MCP,

00:02:28.160 --> 00:02:29.140
моделл контекст протокол.

00:02:29.260 --> 00:02:32.800
Он также может управлять трафиком между агентами, А2И и бизнес-апи,

00:02:32.940 --> 00:02:36.140
которые ваша компания уже использует, например, апи для проверки заказа,

00:02:36.240 --> 00:02:38.980
чтения кадровой политики или открытия этикета в поддержку.

00:02:39.100 --> 00:02:42.640
Это важно, поскольку большинству компаний не нужно отказываться от существующих систем,

00:02:42.880 --> 00:02:44.080
чтобы начать использовать ИИ.

00:02:44.080 --> 00:02:47.220
Им просто нужен безопасный способ взаимодействия ИИ с этими системами,

00:02:47.360 --> 00:02:49.640
и шлюз помогает установить контроль над этим соединением.

00:02:49.780 --> 00:02:52.000
Итак, Microsoft IG2A — это не модель.

00:02:52.120 --> 00:02:53.080
Он не пишет ответы самостоятельно.

00:02:53.760 --> 00:02:55.120
Это также не конструктор агентов,

00:02:55.240 --> 00:02:57.100
поэтому вы не используете его для создания кадрового ассистента

00:02:57.100 --> 00:02:58.840
или обучения финансового агента тому, что нужно делать.

00:02:58.960 --> 00:03:01.580
И он не заменяет Microsoft Foundry, где команды могут создавать,

00:03:01.760 --> 00:03:03.220
тестировать и управлять, и проектами.

00:03:03.380 --> 00:03:05.240
Вместо этого он располагается посередине.

00:03:05.420 --> 00:03:07.720
Foundry помогает работать с моделями ИИ-агентами,

00:03:07.880 --> 00:03:10.940
в то время как Azure API Management IG2A помогает контролировать трафик,

00:03:10.940 --> 00:03:13.320
который создают эти модели, агенты и инструменты.

00:03:14.080 --> 00:03:17.620
Вы уже знакомы с Azure API Management как со средством управления обычными API.

00:03:17.780 --> 00:03:21.840
API — это просто способ для одной программы запросить что-либо у другой программы.

00:03:22.220 --> 00:03:24.480
AIG2A расширяет эту идею для работы с ИИ,

00:03:24.560 --> 00:03:26.660
потому что запросы к ИИ порождают новые вопросы.

00:03:26.840 --> 00:03:28.120
Кто использовал какую модель?

00:03:28.280 --> 00:03:29.600
Сколько токенов было затрачено?

00:03:29.760 --> 00:03:31.360
Может ли этот агент вызвать этот инструмент?

00:03:31.640 --> 00:03:33.440
Должен ли этот промп вообще доходить до модели?

00:03:33.580 --> 00:03:36.800
Размещение шлюза посередине дает вам единое место для ответов на эти вопросы.

00:03:36.960 --> 00:03:38.540
И первая точка напряжения появляется,

00:03:38.540 --> 00:03:41.960
когда каждое приложение начинает выбирать свою собственную конечную точку модели.

00:03:42.120 --> 00:03:44.000
Одна точка входа — множество моделей.

00:03:44.160 --> 00:03:47.560
Когда ваше приложение подключается напрямую к одной конечной точке модели,

00:03:47.820 --> 00:03:50.020
этот выбор оказывается зашитым в сам код.

00:03:50.180 --> 00:03:51.840
Часто код привязан к одному провайдеру,

00:03:52.000 --> 00:03:53.360
одному конкретному развертыванию,

00:03:53.580 --> 00:03:56.040
одному региону Azure и фиксированному набору ограничений.

00:03:56.180 --> 00:03:57.920
Это отлично работает, пока проект невелик.

00:03:58.060 --> 00:04:01.280
Но представьте, что ваша система поддержки работает на одной модели в одном регионе.

00:04:01.480 --> 00:04:03.520
Спустя месяцы эта модель достигает предела мощности.

00:04:03.660 --> 00:04:05.580
Появляется более совершенная модель за меньшие деньги,

00:04:05.580 --> 00:04:07.560
или вашему бизнесу нужно переехать в другой регион.

00:04:07.560 --> 00:04:10.700
Без общего уровня каждой команде приложение приходится менять свой код,

00:04:10.920 --> 00:04:12.900
тестировать его заново и развертывать обновления.

00:04:13.080 --> 00:04:15.260
Это приводит к медленным и проблемным изменениям.

00:04:15.360 --> 00:04:18.620
Microsoft iGitway обеспечивает вашим приложением надежный централизованный вход.

00:04:18.780 --> 00:04:21.460
Они отправляют запросы туда, а выбор модели может меняться за кулисами,

00:04:21.580 --> 00:04:22.980
без необходимости обновлять само приложение.

00:04:23.120 --> 00:04:25.140
Представьте это как единый номер телефона компании.

00:04:25.340 --> 00:04:26.560
Клиенты звонят по одному номеру,

00:04:26.720 --> 00:04:28.860
даже если вызов переключают на другой отдел или офис.

00:04:28.860 --> 00:04:31.300
Им не нужно знать, как именно обрабатывается их звонок.

00:04:31.300 --> 00:04:34.780
С iGitway ваше приложение обращается к одной утвержденной конечной точке,

00:04:35.020 --> 00:04:37.940
а шлюз перенаправляет запрос к модели, подходящей для этой задачи.

00:04:38.000 --> 00:04:41.820
У Microsoft также появился новый подход под названием Unified Model API.

00:04:42.000 --> 00:04:46.640
Проще говоря, он позволяет приложению использовать привычный стиль запросов OpenAI,

00:04:46.960 --> 00:04:50.820
в то время как шлюз связывает этот запрос с различными поставщиками моделей.

00:04:50.820 --> 00:04:54.160
Таким образом, приложение отправляет один и тот же тип запроса,

00:04:54.300 --> 00:04:56.820
а шлюз берет на себя все нюансы работы с провайдерами.

00:04:57.000 --> 00:05:00.960
В зависимости от ваших настроек, запрос может быть направлен в развертывание Azure OpenAI,

00:05:00.960 --> 00:05:04.600
модель в Microsoft Foundry, Anthropik, Google Gemini или Amazon Bedrock.

00:05:04.800 --> 00:05:06.780
Маршрутизация следует заданным вами правилам,

00:05:06.820 --> 00:05:08.960
а не жестко закодированным параметрам внутри приложения.

00:05:09.120 --> 00:05:11.560
Это дает команде платформы возможность вносить изменения,

00:05:11.740 --> 00:05:13.280
не затрагивая пользователей приложения.

00:05:13.480 --> 00:05:16.700
Допустим, в вашей компании работает и ассистент для поддержки клиентов.

00:05:16.900 --> 00:05:18.340
Большинство вопросов простые.

00:05:18.340 --> 00:05:20.640
Где мой заказ? Как мне сбросить пароль?

00:05:20.760 --> 00:05:23.380
На них может быстро ответить небольшая и недорогая модель,

00:05:23.640 --> 00:05:25.400
что позволяет избежать лишних расходов.

00:05:25.500 --> 00:05:27.660
Но вот клиент задает длинный, сложный вопрос,

00:05:27.880 --> 00:05:29.840
требующий рассуждения или знания о продукте.

00:05:29.840 --> 00:05:32.540
Шлюз направляет такой запрос к более мощной модели.

00:05:32.680 --> 00:05:35.840
Приложение поддержки по-прежнему отправляет запросы одним и тем же способом,

00:05:35.880 --> 00:05:38.360
поэтому команде не нужно знать, какая модель обработала вопрос.

00:05:38.620 --> 00:05:41.620
А разработчикам не нужно настраивать отдельные подключения для каждого варианта.

00:05:41.860 --> 00:05:43.000
А как насчет емкости?

00:05:43.160 --> 00:05:45.340
У конечных точек и моделей есть свои лимиты.

00:05:45.340 --> 00:05:48.600
Они могут обрабатывать только определенный объем трафика за заданный период времени.

00:05:48.740 --> 00:05:50.560
Если все запросы направляются в одно развертывание,

00:05:50.680 --> 00:05:53.760
один час пиковой нагрузки может замедлить или полностью заблокировать работу системы.

00:05:53.840 --> 00:05:56.340
Шлюз может распределять трафик между несколькими развертываниями,

00:05:56.340 --> 00:05:59.240
перенаправляя его в другой регион при перегрузке или используя резервный маршрут,

00:05:59.400 --> 00:06:00.900
если конечная точка перестает работать.

00:06:01.060 --> 00:06:03.560
Это не значит, что запросы должны перемещаться хаотично.

00:06:03.700 --> 00:06:05.320
Правила все равно устанавливаете вы.

00:06:05.440 --> 00:06:08.660
Например, трафик клиентов получает приоритет на основной модели,

00:06:08.860 --> 00:06:11.260
для внутреннего тестирования используется другой путь,

00:06:11.260 --> 00:06:15.480
или один регион обслуживает локальных пользователей, пока другой служит резервным.

00:06:16.180 --> 00:06:16.860
Суть проста.

00:06:17.060 --> 00:06:19.920
Ваши приложения подключаются к единому контролируемому входу,

00:06:20.020 --> 00:06:24.040
а за ним платформа может менять модели, регионы или поставщиков с минимальными перебоями.

00:06:24.040 --> 00:06:26.360
Это важно, потому что сфера и развивается быстро.

00:06:26.560 --> 00:06:29.480
Модель, которая эффективна сегодня, может оказаться не лучшим выбором уже в следующем месяце.

00:06:29.620 --> 00:06:31.580
Если каждое приложение обращается к поставщику напрямую,

00:06:31.720 --> 00:06:33.800
смена модели становится отдельным проектом для каждой команды.

00:06:33.880 --> 00:06:36.980
Благодаря шлюзу, решение о выборе модели сосредоточено в одном общем месте.

00:06:37.140 --> 00:06:39.380
Краткое замечание об унифицированном API моделей.

00:06:39.520 --> 00:06:42.200
Microsoft указывает его как общедоступную предварительную версию.

00:06:42.380 --> 00:06:45.740
Предварительные функции могут меняться и не всегда подходят для промышленной эксплуатации.

00:06:45.900 --> 00:06:48.780
Тем не менее, общая архитектура не зависит от этой конкретной функции.

00:06:48.940 --> 00:06:51.960
Ведь ваше API управление уже может стоять перед конечными точками моделей,

00:06:51.960 --> 00:06:55.220
применять правила маршрутизации и помогать управлять несколькими бэкендами.

00:06:55.500 --> 00:06:59.700
Унифицированные API моделей призваны упростить работу с разными поставщиками для приложений.

00:06:59.880 --> 00:07:03.320
Выбор нужной модели – это лишь полдела, ведь модель может ответить на вопрос.

00:07:03.540 --> 00:07:07.760
Но агент способен принять решение о действии, затрагивающем реальные корпоративные системы.

00:07:07.880 --> 00:07:09.700
Управление агентами и инструментами.

00:07:09.860 --> 00:07:13.020
Агент расширяет возможности и, выходя за рамки простых ответов на вопросы.

00:07:13.220 --> 00:07:15.300
Это программное обеспечение, которое оценивает задачу,

00:07:15.400 --> 00:07:18.520
выбирает из утвержденных вариантов и вызывает инструмент или сервис для выполнения работы.

00:07:18.520 --> 00:07:22.380
HR-агент может найти политику отпусков, агент поддержки – проверить заказ,

00:07:22.620 --> 00:07:24.820
а финансовый агент – подготовить запрос на оплату.

00:07:24.900 --> 00:07:27.940
Эта способность полезна, но она также меняет профиль рисков.

00:07:28.100 --> 00:07:31.520
Неверный ответ модели лишь сбивает с толку, но агент, использующий не тот инструмент,

00:07:31.800 --> 00:07:35.620
может раскрыть данные, изменить запись или запустить процесс, к которому не должен прикасаться.

00:07:35.780 --> 00:07:38.060
Вот почему для инструментов нужны собственные правила.

00:07:38.240 --> 00:07:41.080
Вы услышите термин MCP или протокол контекста модели.

00:07:41.220 --> 00:07:45.760
Представьте это как стандартный разъем, который дает агенту понятный способ найти и использовать корпоративный инструмент,

00:07:45.760 --> 00:07:48.380
например, поиск по документам или API для проверки заказов.

00:07:48.500 --> 00:07:53.440
Вместо создания разных соединений для каждого агента и системы, MCP предлагает командам общий шаблон.

00:07:53.640 --> 00:07:57.900
Затем есть А2А – агент-агент, стандартный способ взаимодействия агентов друг с другом.

00:07:58.060 --> 00:08:01.140
Например, агент поддержки запрашивает у агента доставки сведения о заказе,

00:08:01.340 --> 00:08:03.680
вместо того, чтобы самостоятельно разбираться в системе доставки.

00:08:03.800 --> 00:08:06.440
На бумаге это выглядит аккуратно, но цепочка агентов усложняется,

00:08:06.560 --> 00:08:10.600
когда каждое соединение имеет свои правила доступа, скрытые учетные данные и неизвестные инструменты.

00:08:10.600 --> 00:08:13.720
Представьте финансового агента, который отвечает на вопросы по счетам.

00:08:13.860 --> 00:08:16.420
Ему следует использовать только одобренный инструмент поиска счетов,

00:08:16.420 --> 00:08:18.660
но кто-то дает ему широкий доступ к финансовой системе,

00:08:18.740 --> 00:08:20.820
потому что это быстрее, чем настраивать узкий инструмент.

00:08:21.000 --> 00:08:22.680
Пользователь отправляет безобидный запрос,

00:08:22.840 --> 00:08:26.680
но скрытые инструкции во вложенном документе подталкивают агента к недопустимому действию.

00:08:26.860 --> 00:08:28.620
Если у агента слишком много прав доступа,

00:08:28.720 --> 00:08:32.660
он может запросить лишние данные или запустить рабочий процесс, требующий одобрения человеком.

00:08:32.780 --> 00:08:34.120
Агент не действует злонамеренно,

00:08:34.240 --> 00:08:37.380
он просто получил слишком много свободы при обработке недоверенных входных данных.

00:08:37.380 --> 00:08:42.140
Microsoft iG2A позволяет вам внедрять средства контроля перед MCP-серверами и бизнес-апи.

00:08:42.140 --> 00:08:47.980
Вместо прямого пути от E-приложения к базе данных вы предоставляете небольшой контролируемый инструмент для одной конкретной задачи.

00:08:48.080 --> 00:08:51.120
Например, агент запрашивает «Проверь статус этого заказа».

00:08:51.120 --> 00:08:54.980
Инструмент возвращает только статус, а не все заказы или полную карточку клиента.

00:08:55.160 --> 00:08:59.160
Это узкоспециализированная задача, и шлюз проверяет, кто делает запрос, прежде чем разрешить вызов.

00:08:59.420 --> 00:09:01.440
Идентификация находится в центре этой структуры.

00:09:01.440 --> 00:09:06.440
С Microsoft IntraID приложения входят в систему через управляемое удостоверение, а не путем передачи ключей провайдера.

00:09:06.580 --> 00:09:11.060
Управляемое удостоверение подтверждает личность без необходимости копирования разработчикам секретного ключа в код.

00:09:11.060 --> 00:09:13.340
У каждого агента должно быть собственное удостоверение.

00:09:13.540 --> 00:09:18.640
Таким образом, вы можете видеть, какой агент вызвал инструмент, отозвать доступ для одного агента, не затрагивая другие, и применять разные правила.

00:09:18.780 --> 00:09:22.720
HR-агент не должен наследовать права финансового агента только потому, что оба используют E.

00:09:22.840 --> 00:09:24.700
Это соответствует принципу нулевого доверия.

00:09:24.700 --> 00:09:30.280
Проверяйте каждый запрос, предоставляйте доступ только для текущей задачи и исходите из того, что любой промп или ответ инструмента может быть небезопасным.

00:09:30.400 --> 00:09:33.600
На практике агент получает разрешение на один конкретный инструмент и действие.

00:09:33.760 --> 00:09:36.780
Он может прочитать остаток отпуска, но не скачать файл с ведомостью зарплат.

00:09:36.780 --> 00:09:39.780
Он может создать черновик тикета в поддержку, но не закрыть обращение.

00:09:39.940 --> 00:09:43.260
Шлюз также применяет проверки безопасности к промптам и трафику инструментов.

00:09:43.380 --> 00:09:48.920
Если запрос содержит вредоносный контент или данные, которые не должны покидать систему, политика безопасности блокирует его до того, как он достигнет бэкенда.

00:09:48.920 --> 00:09:55.240
Никакой фильтр не ловит все, но проверка трафика в общей точке гораздо безопаснее, чем надежда на то, что каждый разработчик агента добавит такую же защиту.

00:09:55.380 --> 00:09:57.560
Вам также нужен каталог одобренных инструментов.

00:09:57.700 --> 00:10:05.420
API Center выступает в качестве частного каталога для API и сервисов MCP, чтобы команды находили нужный инструмент, не просматривая старые документы и не копируя непроверенные веб-адреса.

00:10:06.780 --> 00:10:09.460
Инструментов для агентов контролируемое бизнес-решение

00:10:09.460 --> 00:10:13.140
Средства безопасности защищают путь, но они также создают новый вопрос.

00:10:13.140 --> 00:10:17.060
Какие команды используют этот путь и какой объем использования и они генерируют?

00:10:17.220 --> 00:10:19.380
Стоимость токенов, лимиты и прозрачность.

00:10:19.580 --> 00:10:22.060
Расходы на И работают иначе, чем обычная лицензия на ПА.

00:10:22.200 --> 00:10:23.740
Счетчик работает на основе токенов.

00:10:23.900 --> 00:10:24.640
Что такое токен?

00:10:24.780 --> 00:10:26.000
Это небольшой фрагмент текста.

00:10:26.140 --> 00:10:27.760
Короткое слово может использовать один токен.

00:10:27.920 --> 00:10:29.160
Длинное слово использует больше.

00:10:29.400 --> 00:10:31.140
Модель учитывает все, что вы отправляете.

00:10:31.340 --> 00:10:35.460
Ваш вопрос, добавленные инструкции, любые прикрепленные документы и ответ, который она выдает.

00:10:35.460 --> 00:10:43.800
Поэтому простой вопрос требует совсем немного, но агент, который читает длинный документ с политиками, задает уточняющие вопросы, вызывает инструмент и затем создает детальный ответ, может использовать гораздо больше, чем вы ожидаете.

00:10:43.960 --> 00:10:46.280
Вы наверняка видели это на примере расшифровки совещания.

00:10:46.460 --> 00:10:48.080
Вы видите несколько страниц заметок.

00:10:48.220 --> 00:10:53.900
Система И также обрабатывает системные инструкции, транскрипт, извлеченные корпоративные данные, результаты работы инструментов и финальный ответ.

00:10:54.020 --> 00:10:55.860
Каждая часть увеличивает объем потребления.

00:10:56.060 --> 00:10:59.500
Вот почему один активный агент может на удивление быстро исчерпать лимит общей модели.

00:10:59.500 --> 00:11:03.160
Представьте, что команда тестирует нового маркетингового помощника в пятницу днем.

00:11:03.340 --> 00:11:08.180
Кто-то дает ему большой набор файлов компании и просит сравнивать, переписывать и резюмировать их в цикле.

00:11:08.340 --> 00:11:12.780
Тем временем служба поддержки зависит от тех же мощностей модели, помогая людям, которые обращаются за помощью.

00:11:13.020 --> 00:11:18.040
Если тестовая нагрузка использует общую квоту, помощник поддержки может замедлиться или отказать, когда он нужен клиентам.

00:11:18.160 --> 00:11:20.560
Проблема не только в том, что компания потратила деньги.

00:11:20.780 --> 00:11:23.780
Ненужная нагрузка забрала мощности у задачи, которая была важнее.

00:11:23.780 --> 00:11:28.040
iSchlus Azure API Management позволяет применять ограничения до того, как это произойдет.

00:11:28.120 --> 00:11:33.660
Вы можете устанавливать лимиты запросов, лимиты токенов и квоты для приложения, команды, проекта или потребителя.

00:11:33.800 --> 00:11:39.420
Квота может охватывать короткий интервал, токены в минуту или более длительный период, например, дневной или месячный лимит.

00:11:39.520 --> 00:11:41.620
Это задает границы для каждой рабочей нагрузки.

00:11:41.780 --> 00:11:44.720
Маркетинговый помощник может иметь бюджет, соответствующий его задачам.

00:11:44.900 --> 00:11:47.920
Служба поддержки может иметь свой собственный лимит и более высокий приоритет.

00:11:48.060 --> 00:11:52.320
Когда маркетинговый помощник достигает лимита, шлюз может отклонять или замедлять его последующие запросы.

00:11:52.320 --> 00:11:56.260
Служба поддержки продолжает работать, так как один тестовый проект не может использовать все доступные ресурсы.

00:11:56.440 --> 00:11:59.000
Это также меняет подход к обсуждению ежемесячных расходов.

00:11:59.160 --> 00:12:03.940
Без единого обзора финансовый отдел может получить один большой счет за и и спросить, кто все это потратил.

00:12:04.100 --> 00:12:08.500
Ответ найти сложно, когда команды подключаются напрямую к разным сервисам с помощью общих ключей.

00:12:08.660 --> 00:12:14.360
Шлюз может записывать данные о вызывающем объекте, модели использования токенов, статусе ответа и вызовах инструментов, связанных с запросом.

00:12:14.400 --> 00:12:16.100
Это дает вам более четкую картину.

00:12:16.100 --> 00:12:24.520
Вы можете увидеть, возникли ли расходы из-за HR-ассистента, среды тестирования разработчиков, чат-бота для клиентов или агента, который постоянно повторял попытки после ошибки.

00:12:24.640 --> 00:12:29.280
Вы также можете заметить необычные шаблоны, например, когда приложение отправляет гораздо более крупные промпты, чем обычно.

00:12:29.440 --> 00:12:33.280
Если ваша команда начинает работу в Microsoft Foundry, шлюз может подключиться и к этой работе.

00:12:33.380 --> 00:12:37.820
Проекты Foundry могут использовать лимиты токенов на уровне проекта, пока шлюз применяет к ним правила трафика.

00:12:37.980 --> 00:12:43.460
Это дает разработчикам и более простую отправную точку, в то время как у платформенной команды остается общее место для управления лимитами и мониторинга.

00:12:43.460 --> 00:12:46.600
Есть также полезная функция под названием «семантическое кэширование».

00:12:46.600 --> 00:12:49.980
Скажем, один сотрудник спрашивает, где я могу найти политику командировок.

00:12:50.100 --> 00:12:53.700
Через несколько секунд другой спрашивает, где у нас политика по деловым поездкам.

00:12:53.900 --> 00:12:59.980
Слова различаются, но смысл может быть достаточно близким, чтобы шлюз использовал подходящий готовый ответ, вместо того, чтобы снова обращаться к модели.

00:13:00.120 --> 00:13:02.540
Это позволяет сократить расходы и ускорить получение ответа.

00:13:02.620 --> 00:13:05.320
Это подходит только для тех вопросов, где повторное использование оправдано.

00:13:05.440 --> 00:13:09.940
Вы не станете кэшировать запрос об остатке отпуска или статусе заказа, поскольку эти данные могут измениться.

00:13:10.220 --> 00:13:12.420
Маршрутизация также помогает оптимизировать затраты.

00:13:12.420 --> 00:13:20.700
Компания может направлять подходящие задачи менее дорогим моделям, использовать уже зарезервированные мощности до оплаты дополнительных объемов и переключаться на резервный путь при достижении лимитов.

00:13:20.760 --> 00:13:23.280
И все же шлюз не снимает необходимости в управлении.

00:13:23.480 --> 00:13:24.640
Командам нужны бюджеты.

00:13:24.840 --> 00:13:26.600
Кто-то должен проверять ответы модели.

00:13:26.760 --> 00:13:29.120
Кто-то должен решать, нужен ли агент в принципе.

00:13:29.380 --> 00:13:32.700
Шлюз предоставляет вам счетчик, ограничители и журнал трафика.

00:13:32.860 --> 00:13:34.640
Он не принимает за вас бизнес-решения.

00:13:34.840 --> 00:13:39.860
Когда вы видите трафик и можете им управлять, всю систему становится проще представить на повседневном примере.

00:13:39.860 --> 00:13:41.100
Простой путь запроса.

00:13:41.200 --> 00:13:43.140
Представьте HR-ассистента в компании.

00:13:43.420 --> 00:13:47.940
Сотрудник спрашивает, сколько дней отпуска по уходу за ребенком мне положено и можете ли вы оформить запрос.

00:13:48.120 --> 00:13:52.620
Цель проста – дать сотруднику быстрый и полезный ответ, а затем помочь с дальнейшим согласованным шагом.

00:13:52.720 --> 00:13:58.420
При этом HR-ассистент не должен разглашать данные о зарплате, открывать любые кадровые файлы или хранить ключ доступа к модели в своем коде.

00:13:58.600 --> 00:14:01.020
Запрос начинается, когда сотрудник входит в систему.

00:14:01.020 --> 00:14:08.620
Прежде чем ассистент отправит что-либо модели или инструменту, шлюз проверяет личность сотрудника, право доступа к HR-ассистенту и установленные для этого приложения лимиты.

00:14:08.820 --> 00:14:12.840
Сотрудник видит лишь простое окно чата, пока эти проверки происходят в фоновом режиме.

00:14:12.980 --> 00:14:14.400
Затем ассистенту нужен ответ.

00:14:14.580 --> 00:14:18.620
Базовый вопрос по политике компании может быть направлен на одобренные корпоративные API-модели.

00:14:18.800 --> 00:14:24.980
Если этот узел занят или достиг лимита, шлюз может использовать резервный маршрут, заранее одобренный компанией.

00:14:24.980 --> 00:14:31.200
Сотрудник все равно получает ответ через того же HR-ассистента, а не сообщение об ошибке из-за перегрузки одной из моделей.

00:14:31.400 --> 00:14:33.720
Затем сотрудник просит оформить запрос на отпуск.

00:14:33.900 --> 00:14:36.220
На этом этапе агенту уже недостаточно одной модели.

00:14:36.440 --> 00:14:39.840
Ему нужен инструмент, который проверит данные сотрудника и создаст нужный запрос.

00:14:40.040 --> 00:14:43.600
Агент запрашивает использование одобренного MCP-инструмента для управления отпусками.

00:14:43.760 --> 00:14:45.280
Шлюз проверяет и этот запрос тоже.

00:14:45.480 --> 00:14:47.540
Может ли этот HR-агент вызывать данный инструмент?

00:14:47.800 --> 00:14:50.280
Разрешено ли этому сотруднику начинать такой тип запроса?

00:14:50.440 --> 00:14:52.920
Соответствует ли действие правам, назначенным агенту?

00:14:52.920 --> 00:14:55.100
Только после этого инструмент получает вызов.

00:14:55.200 --> 00:14:58.060
Инструмент не возвращает огромный список записей о сотрудниках.

00:14:58.220 --> 00:15:05.720
Он возвращает только то, что необходимо для задачи, доступный остаток отпуска сотрудника, применимую политику и подтверждение того, что запрос создан как черновид.

00:15:05.800 --> 00:15:07.360
Этот узкий ответ имеет значение.

00:15:07.520 --> 00:15:12.740
У агента достаточно информации для помощи, но он не получает широкого доступа только потому, что задал вопрос на обычном языке.

00:15:12.860 --> 00:15:16.320
Теперь представьте, что сотрудник вставляет в чат текст из стороннего документа.

00:15:16.480 --> 00:15:21.880
Текст содержит инструкции, которые пытаются заставить помощника игнорировать правила или запросить конфиденциальную информацию.

00:15:21.880 --> 00:15:26.600
Шлюз может применять проверки безопасности до того, как запрос достигнет модели или инструмент получит запрос.

00:15:26.760 --> 00:15:29.480
Если запрос нарушает правила, его можно остановить на этом этапе.

00:15:29.600 --> 00:15:33.140
Такая же проверка может проанализировать ответ до того, как он поступит к сотруднику.

00:15:33.300 --> 00:15:35.760
Не каждая проблема возникает из-за плохого запроса.

00:15:35.920 --> 00:15:39.920
Модель может выдать ответ, содержащий информацию, которую она не должна возвращать.

00:15:40.060 --> 00:15:43.860
Общая точка контроля дает компании возможность отслеживать этот путь и реагировать на него.

00:15:44.020 --> 00:15:45.720
Тем временем запрос создает запись.

00:15:45.900 --> 00:15:48.960
Компания может связать используемый токен с проектом HR-помощника.

00:15:48.960 --> 00:15:54.860
Она может видеть, какая модель обработала вопрос, успешно ли был выполнен вызов инструмента, был ли заблокирован запрос и сколько времени занял процесс.

00:15:55.020 --> 00:15:57.240
Это значительно упрощает поддержку и аудит.

00:15:57.320 --> 00:16:03.240
Если HR-отдел сообщает, что сотрудники не могут создавать запросы на отпуск, операционная команда может найти неудачные вызовы инструментов.

00:16:03.340 --> 00:16:07.580
Если правила безопасности блокируют корректные вопросы, они могут увидеть закономерность и улучшить политику.

00:16:07.700 --> 00:16:12.340
Если один агент внезапно начинает использовать гораздо больше ресурсов и, чем обычно, это изменение становится заметным.

00:16:12.340 --> 00:16:18.780
И если компания обновляет правила, например, требуя дополнительную проверку перед определенными запросами на отпуск, она может обновить политику шлюза один раз.

00:16:18.940 --> 00:16:25.320
Не нужно ждать отдельных обновлений кода для каждого HR-приложения, чат-бота и рабочего процесса, использующего один и тот же контролируемый путь.

00:16:25.440 --> 00:16:34.020
Тот же шаблон запроса продолжает работать, когда компания добавляет другую модель, новый регион, больше внутренних инструментов или еще одного агента для HR-задач.

00:16:34.140 --> 00:16:35.240
Но начните с малого.

00:16:35.440 --> 00:16:39.060
Шлюз становится полезным, когда и трафик начинает становиться общим.

00:16:39.180 --> 00:16:39.960
С чего начать?

00:16:39.960 --> 00:16:42.160
Итак, с чего же на самом деле начать?

00:16:42.320 --> 00:16:50.380
Начните с выбора одной реальной рабочей нагрузки, возможно, помощника поддержки, который уже обращается к модели, или агента для HR, финансов или поиска по внутренним документам.

00:16:50.520 --> 00:16:53.020
Не пытайтесь охватить все модели и инструменты сразу.

00:16:53.200 --> 00:16:54.660
Это кратчайший путь к хаосу.

00:16:54.820 --> 00:17:01.040
Вместо того, чтобы выдавать ключи провайдера напрямую каждому приложению, поместите конечную точку модели за шлюзом Azurapi Management Eye.

00:17:01.160 --> 00:17:04.340
Представьте это как единый пункт проверки безопасности для всего вашего и трафика.

00:17:04.540 --> 00:17:05.660
Затем настройте основы.

00:17:05.800 --> 00:17:07.680
Назначьте четкого владельца для рабочей нагрузки.

00:17:07.680 --> 00:17:11.080
Используйте доступ через интро, чтобы только нужные люди или сервисы могли получить к ней доступ.

00:17:11.200 --> 00:17:13.800
Установите лимит токенов соответствующей задачи, не больше и не меньше.

00:17:13.980 --> 00:17:16.020
Включите логирование, чтобы можно было видеть, что происходит.

00:17:16.180 --> 00:17:19.100
Добавьте одно правило безопасности контента, которое ваша команда сможет протестировать и проверить.

00:17:19.220 --> 00:17:20.080
Начните с простого.

00:17:20.240 --> 00:17:24.440
Когда путь к модели и границы доступа заработают, добавляйте одобренные инструменты MCP по одному.

00:17:24.600 --> 00:17:28.320
У каждого инструмента должна быть узкая задача и ясная причина для агента его использовать.

00:17:28.540 --> 00:17:29.820
Никаких лишних дополнений.

00:17:29.820 --> 00:17:34.520
После этого вы перейдете от одной контролируемой нагрузки к общим моделям, инструментам и агентам.

00:17:34.660 --> 00:17:41.120
Без этой начальной точки контроля каждое новое и приложение создает неконтролируемый путь к данным компании и лишнюю строку в счете за и.

00:17:41.240 --> 00:17:44.120
Для получения новых знаний посмотрите Azure API Management.

00:17:44.340 --> 00:17:45.140
Простое объяснение.

00:17:45.360 --> 00:17:48.020
Именно на этом фундаменте строится Microsoft iGitway.

00:17:48.020 --> 00:18:18.000
Субтитры создавал DimaTorzok
