WEBVTT

00:00:00.000 --> 00:00:04.160
Então, o que muda exatamente quando uma empresa passa de um chatbot de IA para dezenas de ferramentas de app?

00:00:04.420 --> 00:00:05.440
No início, parece simples.

00:00:06.340 --> 00:00:08.440
Uma equipe adiciona um chatbot para suporte ao cliente.

00:00:09.080 --> 00:00:13.540
Outra usa a IA para pesquisar documentos da empresa, e as anotações de reuniões são escritas automaticamente.

00:00:14.380 --> 00:00:17.920
Um fluxo de trabalho pode ler um e-mail, extrair uma solicitação e enviá-la ao sistema correto.

00:00:18.480 --> 00:00:23.660
Em pouco tempo, a empresa tem vários modelos, agentes que podem realizar ações e ferramentas que acessam dados comerciais.

00:00:23.660 --> 00:00:31.740
Cada equipe geralmente se conecta diretamente a um provedor de IA diferente, usando sua própria chave, seus limites e suas próprias regras de segurança, os custos do seu semestre A.

00:00:32.180 --> 00:00:33.480
Uma chave pode acabar no lugar errado.

00:00:34.140 --> 00:00:37.080
Quando um agente chama a ferramenta, ninguém pode ter um registro claro do que ele tentou fazer.

00:00:37.920 --> 00:00:39.680
É aqui que entra o Microsoft IA Gateway.

00:00:40.220 --> 00:00:45.720
Ao final deste episódio, você entenderá o que é, como seus blocos de construção se encaixam e quando ele começa a fazer sentido para o seu negócio.

00:00:46.280 --> 00:00:48.560
Pense nisso como um prédio de escritórios com muitas portas laterais.

00:00:48.560 --> 00:00:54.440
Você poderia deixar todas as portas abertas e esperar que as pessoas as usem corretamente ou pode trazer todos por uma entrada gerenciada.

00:00:55.420 --> 00:00:56.360
Uma porta de entrada para IA

00:00:56.360 --> 00:01:02.820
O Microsoft IA Gateway é um conjunto de recursos de gerenciamento de API do Azure que dá ao seu tráfego de IA um ponto de controle único.

00:01:03.200 --> 00:01:04.260
Vamos explicar de forma simples.

00:01:04.900 --> 00:01:07.520
Imagine a estrutura de IA da sua empresa com um prédio de escritórios moderno.

00:01:07.840 --> 00:01:10.180
Os modelos de IA são salas onde o pensamento acontece.

00:01:10.640 --> 00:01:14.320
Seus agentes são trabalhadores que se movem pelo prédio, decidindo qual tarefa aprovada realizar a seguir.

00:01:14.320 --> 00:01:19.760
As ferramentas são portas de serviço e levam lugares como RH, finanças, registros de clientes e arquivos internos.

00:01:20.800 --> 00:01:23.440
O IA Gateway é a recepção e a mesa de segurança na frente.

00:01:24.840 --> 00:01:30.060
Ele verifica quem está entrando, aplica as regras e registra para onde as solicitações vão antes de chegarem ao restante do prédio.

00:01:31.020 --> 00:01:32.420
Uma solicitação segue um caminho simples.

00:01:32.960 --> 00:01:36.120
Um aplicativo, um copiloto ou um agente envia uma solicitação para o Gateway.

00:01:36.500 --> 00:01:42.940
O Gateway verifica as regras aplicáveis a esse solicitante e em seguida envia para o modelo, ferramenta, agente ou API de negócios aprovado.

00:01:42.940 --> 00:01:47.920
E quando uma resposta retorna, ela passa pelo Gateway novamente, antes de chegar ao usuário.

00:01:48.900 --> 00:01:55.500
Esse caminho único dá à empresa um local para gerenciar acesso, limites, verificações de segurança e logs sem integrar esses controles em cada aplicativo.

00:01:56.600 --> 00:01:58.980
Isso também separa duas funções, que geralmente são misturadas.

00:01:59.540 --> 00:02:02.460
As equipes de aplicação podem se concentrar na experiência que as pessoas realmente usam.

00:02:02.760 --> 00:02:06.880
Elas constroem um assistente de suporte, a tela de busca de documentos ou o fluxo de trabalho que economiza até.

00:02:06.880 --> 00:02:17.120
Enquanto isso, a equipe da plataforma gerencia as regras compartilhadas nos bastidores, decidindo quais serviços são aprovados, quais identidades podem usá-los, quanto tráfego um projeto pode enviar e o que é registrado.

00:02:17.720 --> 00:02:20.360
Você não quer que cada equipe crie um novo plano de segurança para cada chatbot.

00:02:20.840 --> 00:02:23.920
O Microsoft AI Gateway pode ficar à frente de vários tipos de tráfego de IA.

00:02:24.200 --> 00:02:28.580
Ele pode gerenciar chamadas para modelos de IA e chamadas de ferramentas de protocolo de contexto de modelo MCP.

00:02:28.580 --> 00:02:31.940
Também pode gerenciar tráfego de agente para agente, A2A.

00:02:32.160 --> 00:02:38.220
E as APIs de negócios que sua empresa já utiliza, como uma API para verificar um pedido, ler uma política de RH ou abrir um chamado de suporte.

00:02:39.260 --> 00:02:43.540
Essa última parte é importante, porque a maioria das empresas não precisa descartar seus sistemas existentes para usar IA.

00:02:44.280 --> 00:02:47.040
Elas apenas precisam de uma forma segura para IA trabalhar com esses sistemas.

00:02:47.040 --> 00:02:49.280
E um gateway ajuda a colocar controles nessa conexão.

00:02:50.260 --> 00:02:51.800
Bem, o Microsoft AI Gateway não é um modelo.

00:02:52.200 --> 00:02:53.300
Ele não escreve respostas para o contato.

00:02:53.700 --> 00:02:54.700
A B não é um consultor de agentes.

00:02:55.140 --> 00:02:58.260
Portanto, você não usa para projetar um assistente de RH ou ensinar um agente financeiro o que fazer.

00:02:58.660 --> 00:03:02.620
E ele não substitui o Microsoft Foundry, onde as equipes podem criar, testar e gerenciar projetos de IA.

00:03:03.340 --> 00:03:04.500
Em vez disso, ele fica no meio.

00:03:05.280 --> 00:03:12.920
Foundry pode ajudá-lo a trabalhar com modelos e agentes de IA enquanto o Azure API Management AI Gateway ajuda a controlar o tráfego que esses modelos, agentes e ferramentas criam.

00:03:13.380 --> 00:03:16.700
Talvez já conheça o Azure API Management como uma forma de gerenciar APIs normais.

00:03:17.620 --> 00:03:21.720
Uma API é simplesmente uma maneira de um software solicitar algo a outro software.

00:03:22.420 --> 00:03:24.600
O AI Gateway estende essa mesma ideia para o trabalho com IA.

00:03:25.040 --> 00:03:26.700
Porque solicitações de IA trazem novas perguntas.

00:03:27.000 --> 00:03:27.780
Quem usou qual modelo?

00:03:27.780 --> 00:03:29.320
Quantos tokens foram consumidos?

00:03:29.700 --> 00:03:30.840
Este agente pode chamar aquela ferramenta?

00:03:31.360 --> 00:03:32.720
Este prompt deveria chegar ao modelo?

00:03:33.320 --> 00:03:36.380
Colocar o Gateway no meio oferece um lugar único para responder essas perguntas.

00:03:36.900 --> 00:03:41.000
E o primeiro ponto de pressão aparece quando cada aplicativo começa a escolher seu próprio endpoint de modelo.

00:03:42.000 --> 00:03:43.520
Um endpoint e muitos modelos.

00:03:44.560 --> 00:03:49.220
Quando o seu aplicativo se conecta diretamente a um único endpoint de modelo, essa escolha fica integrada ao próprio código.

00:03:49.220 --> 00:03:55.340
Frequentemente, o código fica vinculado a um provedor, uma implementação específica, uma região do Azure e um conjunto fixo de limites.

00:03:56.380 --> 00:04:00.680
Isso funciona bem enquanto o projeto é pequeno, mas imagine que seu sistema de suporte roda em um modelo em uma região.

00:04:01.360 --> 00:04:03.540
Meses depois, esse modelo atinge sua capacidade.

00:04:03.660 --> 00:04:06.980
Um modelo melhor surge por um custo menor ou sua empresa precisa mudar para outra região.

00:04:06.980 --> 00:04:12.720
Se é uma camada compartilhada, cada equipe de aplicativo precisa alterar seu código, testá-lo novamente, lançar uma atualização.

00:04:13.240 --> 00:04:14.940
Isso resulta em mudanças lentas e complicadas.

00:04:15.300 --> 00:04:18.400
O Microsoft AI Gateway oferece uma porta de entrada estável para suas aplicações.

00:04:18.680 --> 00:04:23.020
Elas enviam solicitações para lá e a escolha do modelo pode mudar nos bastidores sem que você precise tocar no aplicativo.

00:04:23.380 --> 00:04:24.720
Pense nisso como um número de telefone da empresa.

00:04:25.060 --> 00:04:28.640
Os clientes dizem que é um único número, mesmo que a chamada seja transferida para uma equipe ou escritório diferente.

00:04:29.240 --> 00:04:30.520
Eles nunca precisam saber como isso é tratado.

00:04:30.520 --> 00:04:37.200
Com o AI Gateway, seu aplicativo chama um endpoint aprovado e atrás desse endpoint, o Gateway envia a solicitação ao modelo adequado para o trabalho.

00:04:37.860 --> 00:04:41.120
A Microsoft também possui uma abordagem mais recente chamada Unified Model API.

00:04:41.800 --> 00:04:50.320
Em termos simples, ela permite que um aplicativo use um estilo de solicitação da OpenAI, enquanto o Gateway conecta essa solicitação a diferentes provedores de modelos nos bastidores.

00:04:51.280 --> 00:04:56.280
Assim, seu aplicativo envia um tipo familiar de solicitação e o Gateway cuida de todos os detalhes do provedor.

00:04:56.280 --> 00:05:04.380
Dependendo da sua configuração, essa solicitação pode ir para uma implementação do Azure OpenAI em um modelo no Microsoft Foundry, Anthropic, Google Gemini ou Amazon Bedrock.

00:05:04.960 --> 00:05:08.640
A rota segue regras definidas por você, não uma escolha fixa inserida dentro de cada aplicação.

00:05:09.060 --> 00:05:13.100
Isso dá à equipe da plataforma espaço para fazer alterações sem perturbar as pessoas que usam o aplicativo.

00:05:13.740 --> 00:05:16.020
Digamos que sua empresa tenha um assistente de ar para suporte ao cliente.

00:05:16.640 --> 00:05:17.620
A maioria das perguntas é assim.

00:05:18.180 --> 00:05:18.840
Onde está meu pedido?

00:05:19.540 --> 00:05:20.560
Como redefinir minha senha?

00:05:21.140 --> 00:05:25.060
Essas podem ser respondidas rapidamente para um modelo menor e mais barato, sem gastar mais do que o necessário.

00:05:25.060 --> 00:05:29.200
Então, o cliente envia uma pergunta longa e incomum que exige raciocínio e cuidadoso ao conhecimento do produto.

00:05:29.840 --> 00:05:32.300
O Gateway encaminha esse tipo de solicitação para um modelo mais robusto.

00:05:32.580 --> 00:05:38.000
O aplicativo de suporte continua enviando solicitações da mesma forma para que sua equipe nunca precise saber qual modelo lidou com a pergunta

00:05:38.000 --> 00:05:40.920
e seus desenvolvedores não precisam configurar conexões separadas para cada opção.

00:05:42.300 --> 00:05:43.180
E quanto à capacidade?

00:05:43.680 --> 00:05:44.700
O de modelos de A tem limites.

00:05:45.460 --> 00:05:48.100
Eles só podem lidar com uma certa quantidade de tráfego durante um período de tempo.

00:05:48.600 --> 00:05:53.000
Se cada solicitação atingir uma única implementação, uma hora de pico pode desacelerar ou bloquear toda a experiência.

00:05:53.000 --> 00:05:58.080
Um Gateway pode distribuir o tráfego entre várias implementações aprovadas roteando para outra região

00:05:58.080 --> 00:06:00.780
quando uma estiver cheia ou usando uma rota de backup se um endpoint cair.

00:06:01.340 --> 00:06:04.460
Isso não significa que as solicitações devam saltar a mente, mas sendo definidas as regras.

00:06:04.920 --> 00:06:08.780
Por exemplo, o tráfego voltado para o cliente tem prioridade no seu modelo principal,

00:06:08.980 --> 00:06:11.060
enquanto testes internos usam um caminho diferente,

00:06:11.420 --> 00:06:14.640
ou uma região lida com usuários locais enquanto outra atua como backup.

00:06:14.640 --> 00:06:16.800
O objetivo é assim.

00:06:17.380 --> 00:06:20.040
Suas aplicações se conectam a uma porta de entrada controlada.

00:06:20.260 --> 00:06:24.220
E atrás dela, a plataforma pode ajustar modelos, regiões ou provedores com interrupção mínima.

00:06:24.680 --> 00:06:26.140
Isso é importante porque a IA avança rapidamente.

00:06:26.620 --> 00:06:28.880
O modelo que funciona hoje pode não ser a melhor escolha no próximo mês.

00:06:29.400 --> 00:06:33.160
Se cada aplicativo fala diretamente com seu provedor, mudar de modelo vira um projeto para cada equipe.

00:06:33.740 --> 00:06:36.520
Com o Gateway, a decisão do modelo reside em um só lugar compartilhado.

00:06:37.220 --> 00:06:39.100
Uma breve nota sobre a API de modelo unificada.

00:06:39.100 --> 00:06:41.460
A Microsoft é lista como versão preliminar.

00:06:42.300 --> 00:06:45.540
Recursos em prévia podem mudar e talvez não estejam prontos para todo caso de uso em produto.

00:06:45.920 --> 00:06:48.160
Ainda assim, o padrão mais amplo não depende apenas desse recurso,

00:06:48.740 --> 00:06:51.400
pois sua gestão de API já pode ficar à frente dos endpoints de modelo,

00:06:51.560 --> 00:06:54.560
aplicar regras de roteamento e ajudar a gerenciar mais de um back-end.

00:06:55.200 --> 00:06:59.220
A API de modelo unificada visa tornar essa experiência entre provedores mais fácil para os aplicativos.

00:07:00.120 --> 00:07:02.120
Escolher o modelo certo é apenas metade do trabalho,

00:07:02.120 --> 00:07:03.720
pois o modelo pode responder uma pergunta,

00:07:04.000 --> 00:07:07.180
mas um agente pode decidir agir, acessando sistemas reais da empresa.

00:07:07.180 --> 00:07:09.420
Governança de agentes e ferramenta

00:07:09.420 --> 00:07:12.520
Um agente leva IA, além de apenas responder perguntas.

00:07:13.100 --> 00:07:14.640
É um software que pode analisar uma tarefa,

00:07:14.740 --> 00:07:17.880
escolher entre opções aprovadas e chamar uma ferramenta ou serviço para realizar o trabalho.

00:07:18.460 --> 00:07:20.660
Um agente de RH pode consultar uma política de licença,

00:07:20.720 --> 00:07:22.200
um agente de suporte pode verificar um pedido

00:07:22.200 --> 00:07:24.280
e um agente financeiro pode preparar um pedido de pagamento.

00:07:24.940 --> 00:07:27.680
Essa capacidade é útil, mas também altera o perfil de risco.

00:07:28.120 --> 00:07:30.000
Uma resposta errada de um modelo confunde alguém,

00:07:30.000 --> 00:07:32.480
mas um agente usando a ferramenta errada pode expor dados,

00:07:32.560 --> 00:07:35.220
alterar um registro ou disparar um processo que jamais deveria tocar.

00:07:35.220 --> 00:07:37.760
É por isso que as ferramentas precisam de suas próprias regras.

00:07:38.160 --> 00:07:40.660
Você ouvirá o termo MCP, ou protocolo de contexto de modelo.

00:07:41.040 --> 00:07:42.840
Pense nele como um formato de conector padrão

00:07:42.840 --> 00:07:45.800
que dá ao agente uma maneira conhecida de encontrar e usar uma ferramenta da empresa,

00:07:45.920 --> 00:07:48.260
como um serviço de busca de documentos ou API de consulta de pedidos.

00:07:48.560 --> 00:07:50.840
Em vez de criar uma conexão diferente para cada agente de sistema,

00:07:50.960 --> 00:07:52.880
o MCP oferece às equipes um padrão comum.

00:07:53.660 --> 00:07:55.540
Depois, ao A2A, agente para agente,

00:07:55.740 --> 00:07:57.540
uma forma padrão de um agente contatar outro.

00:07:57.780 --> 00:08:01.080
Por exemplo, um agente de suporte solicita detalhes de entrega a um agente de logística

00:08:01.080 --> 00:08:03.260
em vez de tentar entender o sistema de logística por conta própria.

00:08:03.260 --> 00:08:04.980
Isso parece organizado no papel,

00:08:05.160 --> 00:08:08.600
mas uma cadeia de agentes complica quando cada conexão tem regras de acesso diferentes,

00:08:08.740 --> 00:08:10.600
credenciais ocultas e ferramentas desconhecidas.

00:08:10.940 --> 00:08:13.300
Imagine um agente financeiro que responde à dúvida sobre a fatura.

00:08:13.560 --> 00:08:16.520
Ele deveria usar apenas uma ferramenta aprovada de consulta de faturas,

00:08:16.620 --> 00:08:18.480
mas alguém lhe dá acesso amplo ao sistema financeiro

00:08:18.480 --> 00:08:20.500
por ser mais rápido do que definir uma ferramenta restrita.

00:08:21.060 --> 00:08:23.020
Um usuário envia um prompt que parece inofensivo,

00:08:23.100 --> 00:08:26.380
mas instruções ocultas e um documento anexado levam o agente a uma ação não aprovada.

00:08:26.900 --> 00:08:28.180
Se o agente tiver acesso excessivo,

00:08:28.180 --> 00:08:30.020
ele pode solicitar dados desnecessários

00:08:30.020 --> 00:08:32.500
ou iniciar um fluxo de trabalho que deveria exigir aprovação humana.

00:08:32.500 --> 00:08:33.920
A gente não é mal-intencionado.

00:08:34.360 --> 00:08:36.720
Ele apenas teve liberdade demais ao lidar com entradas não confinadas.

00:08:37.040 --> 00:08:39.340
O Microsoft AI Gateway permite que você coloque controles

00:08:39.340 --> 00:08:41.600
à frente de servidores MCP e APIs de negócios.

00:08:42.420 --> 00:08:44.920
Em vez de um caminho direto de um aplicativo de IA para um banco de dados,

00:08:45.040 --> 00:08:47.560
você expõe uma ferramenta pequena e controlada por uma tarefa específica.

00:08:48.140 --> 00:08:50.480
Por exemplo, um agente pergunta, verifique o status deste pedido.

00:08:51.260 --> 00:08:52.940
A ferramenta retorna apenas o status,

00:08:53.080 --> 00:08:55.280
não todos os pedidos ou registro completo do cliente.

00:08:55.280 --> 00:08:58.640
É uma tarefa restrita e o Gateway verifica quem está perguntando antes de permitir a chamada.

00:08:59.240 --> 00:09:00.960
A identidade está no centro dessa configuração.

00:09:01.500 --> 00:09:04.700
Com o Microsoft Entry-D, os aplicativos se conectam por meio de identidades gerenciadas

00:09:04.700 --> 00:09:06.080
em vez de compartilhar as chaves de provedor.

00:09:06.640 --> 00:09:08.720
Uma identidade gerenciada comprova quem ela é

00:09:08.720 --> 00:09:10.720
sem que um desenvolvedor copia um segredo para o código.

00:09:11.380 --> 00:09:12.760
Cada agente deve ter sua própria identidade.

00:09:13.420 --> 00:09:15.220
Assim, você pode ver qual agente chamou a ferramenta,

00:09:15.300 --> 00:09:18.040
revogar o acesso de um agente sem afetar os outros e aplicar regras diferentes.

00:09:18.040 --> 00:09:21.460
Um agente de RH não deve herdar as permissões de um agente financeiro

00:09:21.460 --> 00:09:22.520
só porque ambos usam o IA.

00:09:23.140 --> 00:09:24.120
Isso é do modelo de confiança zero.

00:09:24.500 --> 00:09:27.840
Verifique cada solicitação, conceda apenas o acesso necessário para a tarefa atual

00:09:27.840 --> 00:09:30.320
e assuma que qualquer prompt ou resposta de ferramenta pode ser insegura.

00:09:30.520 --> 00:09:33.360
Na prática, o agente obtém permissão por uma ferramenta e ação específicas.

00:09:33.880 --> 00:09:36.480
Ele pode ler um saldo de férias, mas não baixar o arquivo da folha de pagamento.

00:09:36.840 --> 00:09:39.300
Ele pode criar um rascunho de ticket e suporte, mas não fechar um caso.

00:09:39.780 --> 00:09:42.840
O Gateway também aplica verificações de segurança aos prompts e ao tráfego de ferramentas.

00:09:43.260 --> 00:09:46.780
Se uma solicitação contiver conteúdo prejudicial ou dados que não deveriam sair do sistema,

00:09:46.780 --> 00:09:48.480
uma política interrompe antes de chegar ao back-end.

00:09:48.860 --> 00:09:52.280
Nenhum filtro detecta tudo, mas verificar o tráfego em um ponto compartilhado

00:09:52.280 --> 00:09:55.220
é muito mais seguro do que esperar que cada criador de agente adicione a mesma proteção.

00:09:55.380 --> 00:09:57.260
Você também precisa de um catálogo de ferramentas aprovado.

00:09:57.600 --> 00:10:00.760
O API Center atua como um catálogo privado para APIs e serviços MCP

00:10:00.760 --> 00:10:03.720
para que as equipes encontrem a ferramenta certa sem pesquisar documentos antigos

00:10:03.720 --> 00:10:05.220
ou copiar endereços web não verificados.

00:10:05.400 --> 00:10:08.180
Isso ajuda a transformar a decisão de qual ferramenta o meu agente pode usar

00:10:08.180 --> 00:10:09.460
em uma decisão de negócio controlado.

00:10:09.920 --> 00:10:12.740
Os controles de segurança protegem o caminho, mas também criam uma nova questão.

00:10:13.260 --> 00:10:14.600
Quais equipes estão usando esse caminho?

00:10:14.600 --> 00:10:16.220
Quanto uso de IA elas estão gerando?

00:10:17.640 --> 00:10:19.260
Custos de tokens, limites e visibilidade.

00:10:19.820 --> 00:10:21.940
Os custos de IA funcionam de forma diferente de uma licença de software.

00:10:22.280 --> 00:10:23.640
O medidor funciona com base em token.

00:10:23.940 --> 00:10:24.320
É um token.

00:10:24.700 --> 00:10:25.680
É um pequeno pedaço de texto.

00:10:26.060 --> 00:10:27.280
Uma palavra curta pode usar um token.

00:10:27.620 --> 00:10:28.820
Uma palavra mais longa usa mais.

00:10:29.020 --> 00:10:30.220
O modelo conta tudo o que você envia.

00:10:30.820 --> 00:10:31.340
Sua pergunta.

00:10:31.560 --> 00:10:32.740
As instruções que você adiciona.

00:10:32.940 --> 00:10:34.900
Quaisquer documentos que você anexa é a resposta que ele fornece.

00:10:35.380 --> 00:10:37.160
Portanto, uma pergunta simples usa muito pouco.

00:10:37.220 --> 00:10:38.940
Mas um agente que lê um longo documento de política,

00:10:39.060 --> 00:10:40.840
faz perguntas de acompanhamento, chama uma ferramenta

00:10:40.840 --> 00:10:43.520
e cria uma resposta detalhada pode usar muito mais do que você imagina.

00:10:44.040 --> 00:10:45.960
Você provavelmente já viu isso com a transcrição de uma reunião.

00:10:45.960 --> 00:10:47.400
Você vê algumas páginas e anotações.

00:10:48.020 --> 00:10:50.080
O sistema de IA também processa suas instruções de sistema,

00:10:50.240 --> 00:10:52.160
a transcrição, dados de empresas recuperados,

00:10:52.320 --> 00:10:53.760
resultados e ferramentas e resposta final.

00:10:54.240 --> 00:10:55.340
Cada parte contribui para o uso.

00:10:55.860 --> 00:10:58.480
É por isso que um agente ocupado pode esgotar um limite de modelo compartilhado

00:10:58.480 --> 00:10:59.280
surpreendentemente rápido.

00:10:59.640 --> 00:11:01.540
Imagine uma equipe testando um novo assistente de marketing

00:11:01.540 --> 00:11:02.480
em uma tarde de sexta-feira.

00:11:03.140 --> 00:11:05.380
Alguém fornece a ele um grande conjunto de arquivos de campanha

00:11:05.380 --> 00:11:07.940
e pede que ele compare, reescreva e resuma tudo em um ciclo.

00:11:08.520 --> 00:11:11.160
Enquanto isso, o suporte ao cliente depende da mesma capacidade do modelo

00:11:11.160 --> 00:11:12.420
para pessoas que tentam obter ajuda.

00:11:12.420 --> 00:11:15.260
Se a carga de trabalho de teste usar a cota compartilhada,

00:11:15.320 --> 00:11:18.000
o assistente de suporte pode ficar lento ou falhar quando os clientes precisarem dele.

00:11:18.280 --> 00:11:20.180
O problema não é apenas que a empresa gastou dinheiro.

00:11:20.660 --> 00:11:23.340
A carga de trabalho errada tirou a capacidade da carga de trabalho que mais importava.

00:11:23.760 --> 00:11:25.600
O Gateway de IA do gerenciamento de API do Azure

00:11:25.600 --> 00:11:27.420
pode aplicar limites antes que isso aconteça.

00:11:28.060 --> 00:11:29.860
Você pode definir limites de solicitação,

00:11:30.280 --> 00:11:33.180
limite de token e cotas para um aplicativo, equipe, projeto ou consumidor.

00:11:33.920 --> 00:11:36.700
Uma cota pode cobrir uma janela curta, tokens por minuto.

00:11:36.700 --> 00:11:39.180
Ou um período mais longo, como uma permissão diária ou mensal.

00:11:39.180 --> 00:11:41.320
Isso dá a cada carga de trabalho um limite.

00:11:41.740 --> 00:11:44.180
O assistente de marketing pode ter um orçamento adequado ao seu propósito.

00:11:44.740 --> 00:11:47.340
O suporte ao cliente pode ter sua própria permissão e uma prioridade maior.

00:11:48.080 --> 00:11:49.800
Quando o assistente de marketing atinge seu limite,

00:11:49.900 --> 00:11:52.120
o Gateway pode rejeitar ou atrasar suas próximas solicitações.

00:11:52.540 --> 00:11:54.040
O suporte ao cliente continua funcionando

00:11:54.040 --> 00:11:56.000
porque um projeto de teste não pode usar tudo o que está disponível.

00:11:56.360 --> 00:11:58.240
Isso também muda a conversa sobre custos mensais.

00:11:58.880 --> 00:11:59.860
Sem uma visão compartilhada,

00:11:59.920 --> 00:12:02.360
uma equipe financeira pode receber uma fatura alta de IA e perguntar

00:12:02.360 --> 00:12:03.380
quem usou tudo isso?

00:12:03.780 --> 00:12:05.580
A resposta pode ser difícil de encontrar

00:12:05.580 --> 00:12:08.460
quando as equipes se conectam diretamente a diferentes serviços com chaves compartilhadas.

00:12:08.460 --> 00:12:10.220
Um Gateway pode registrar quem chamou,

00:12:10.380 --> 00:12:13.120
o modelo, o uso de tokens, o status da resposta e as chamadas de ferramenta

00:12:13.120 --> 00:12:14.160
vinculadas a uma solicitação.

00:12:14.400 --> 00:12:15.480
Isso lhe dá um rastro mais claro.

00:12:15.980 --> 00:12:18.000
Você pode ver se o gasto veio de um assistente de RH,

00:12:18.300 --> 00:12:19.900
um ambiente de teste de desenvolvedor,

00:12:20.020 --> 00:12:21.380
um chatbot voltado ao cliente

00:12:21.380 --> 00:12:24.040
ou um agente que continuou tentando após um erro.

00:12:25.040 --> 00:12:26.840
Você também pode detectar padrões incomuns,

00:12:26.920 --> 00:12:28.900
como um aplicativo enviando prompts muito maiores do que o normal.

00:12:29.420 --> 00:12:31.060
Se sua equipe começar no Microsoft Foundry,

00:12:31.180 --> 00:12:32.800
o Gateway também pode se conectar a esse trabalho.

00:12:33.280 --> 00:12:35.780
Projetos do Foundry podem usar limite de token em nível de projeto,

00:12:35.880 --> 00:12:37.660
enquanto o Gateway aplica as regras de tráfego em torno dele.

00:12:37.660 --> 00:12:40.160
Isso dá aos criadores de IA um ponto de partida mais simples,

00:12:40.280 --> 00:12:42.400
enquanto a equipe de plataforma ainda tem um local compartilhado

00:12:42.400 --> 00:12:43.580
para gerenciar limites de monitoramento.

00:12:43.980 --> 00:12:45.920
Há também um recurso útil chamado cache semântico.

00:12:46.560 --> 00:12:47.640
Digamos que um funcionário pergunte,

00:12:47.800 --> 00:12:49.120
onde posso encontrar a política de viagem?

00:12:49.880 --> 00:12:51.240
Alguns segundos depois, outro pergunta,

00:12:51.540 --> 00:12:53.200
onde está nossa política para viagens de negócio?

00:12:54.040 --> 00:12:54.960
As palavras diferem,

00:12:55.100 --> 00:12:56.860
mas o significado pode ser próximo o suficiente

00:12:56.860 --> 00:12:59.060
para que o Gateway reutilize uma resposta anterior adequada

00:12:59.060 --> 00:13:00.000
em vez de chamar o modelo novamente.

00:13:00.660 --> 00:13:02.320
Isso pode reduzir custos e acelerar a resposta.

00:13:02.660 --> 00:13:04.500
Isso só se aplica a perguntas onde a reutilização faz sentido.

00:13:04.500 --> 00:13:06.300
Você não faria o cache de uma solicitação

00:13:06.300 --> 00:13:07.680
sobre o saldo atual de licença de alguém

00:13:07.680 --> 00:13:08.560
ou o status de um pedido,

00:13:08.660 --> 00:13:09.880
pois essas respostas podem mudar.

00:13:10.300 --> 00:13:11.620
O roteamento também pode ajudar com os custos.

00:13:12.040 --> 00:13:13.720
Uma empresa pode enviar tarefas adequadas

00:13:13.720 --> 00:13:14.940
a um modelo de menor custo,

00:13:15.040 --> 00:13:16.360
usar a capacidade já reservada

00:13:16.360 --> 00:13:17.600
antes de pagar pelo uso extra

00:13:17.600 --> 00:13:18.960
e alternar para um caminho de backup

00:13:18.960 --> 00:13:20.120
quando o limite for atingido.

00:13:20.920 --> 00:13:22.940
Ainda assim, um Gateway não elimina a necessidade de responsabilidade.

00:13:23.520 --> 00:13:24.460
As equipes precisam de orçamento.

00:13:24.860 --> 00:13:26.160
Alguém precisa revisar as respostas do modelo.

00:13:26.640 --> 00:13:28.840
Alguém precisa decidir se um agente deve sequer existir.

00:13:28.840 --> 00:13:30.760
O Gateway oferece o medidor,

00:13:30.860 --> 00:13:32.340
as proteções e o registro do tráfego.

00:13:32.860 --> 00:13:34.280
Ele não toma decisões de negócio por você.

00:13:34.720 --> 00:13:36.520
Uma vez que você consegue ver e controlar o tráfego,

00:13:36.640 --> 00:13:38.520
toda a configuração se torna mais fácil de visualizar

00:13:38.520 --> 00:13:39.300
com o exemplo cotidiano.

00:13:39.940 --> 00:13:40.860
A jornada é solicitação sem.

00:13:41.260 --> 00:13:42.880
Imagine um assistente de RH dentro de uma empresa.

00:13:43.440 --> 00:13:44.300
Um funcionário pergunta

00:13:44.300 --> 00:13:46.040
quantos dias de licença parental posso tirar

00:13:46.040 --> 00:13:47.580
e você pode iniciar a solicitação para mim.

00:13:48.060 --> 00:13:48.960
O objetivo é simples,

00:13:49.040 --> 00:13:50.720
dar ao funcionário uma resposta rápida e útil

00:13:50.720 --> 00:13:52.340
depois ajudar com o próximo passo aprovado.

00:13:52.660 --> 00:13:54.500
Mas o assistente de RH não deve fornecer dados

00:13:54.500 --> 00:13:55.340
de folha de pagamento,

00:13:55.440 --> 00:13:56.380
abrir todos os arquivos de RH

00:13:56.380 --> 00:13:58.200
ou carregar uma chave de provedor de modelo em seu código.

00:13:58.700 --> 00:14:00.400
A solicitação começa quando o funcionário faz o login.

00:14:00.840 --> 00:14:03.140
Antes que o assistente envie algo para o modelo ou ferramenta,

00:14:03.360 --> 00:14:04.760
o Gateway verifica quem é o funcionário

00:14:04.760 --> 00:14:06.240
e se ele pode usar o assistente de RH

00:14:06.240 --> 00:14:08.200
e quais limites se aplicam àquele aplicativo.

00:14:08.820 --> 00:14:10.780
O funcionário vê apenas uma janela de chat simples

00:14:10.780 --> 00:14:12.440
enquanto essas verificações ocorrem nos bastidores.

00:14:12.840 --> 00:14:14.240
Em seguida, o assistente precisa de uma resposta.

00:14:14.580 --> 00:14:15.900
Uma pergunta básica sobre política

00:14:15.900 --> 00:14:17.800
pode ser enviada ao endpoint de modelo aprovado pela empresa.

00:14:18.320 --> 00:14:20.060
Se esse endpoint estiver ocupado

00:14:20.060 --> 00:14:21.400
ou atingir um limite definido,

00:14:21.400 --> 00:14:23.100
o Gateway pode seguir uma rota de backup

00:14:23.100 --> 00:14:24.400
que a empresa já aprovou.

00:14:24.400 --> 00:14:26.980
O funcionário ainda recebe uma resposta

00:14:26.980 --> 00:14:28.220
pelo mesmo assistente de RH

00:14:28.220 --> 00:14:29.020
em vez de ver um erro

00:14:29.020 --> 00:14:31.080
porque uma implementação de modelo ficou muito ocupada.

00:14:31.760 --> 00:14:33.480
Então o funcionário pede para iniciar a ação de licença.

00:14:33.980 --> 00:14:35.940
Neste ponto, o agente precisa de mais do que apenas um modelo.

00:14:36.340 --> 00:14:37.240
Ele precisa de uma ferramenta

00:14:37.240 --> 00:14:38.680
que possa verificar os detalhes do funcionário

00:14:38.680 --> 00:14:39.580
e criar a solicitação correta.

00:14:40.020 --> 00:14:42.000
O agente solicita o uso de uma ferramenta MCP

00:14:42.000 --> 00:14:43.340
aprovada para gestão de licenças.

00:14:43.780 --> 00:14:45.220
O Gateway também verifica essa solicitação.

00:14:45.580 --> 00:14:47.200
Este agente de RH pode chamar esta ferramenta.

00:14:47.620 --> 00:14:48.640
Este funcionário tem permissão

00:14:48.640 --> 00:14:49.860
para iniciar este tipo de solicitação.

00:14:50.300 --> 00:14:51.120
A ação está de acordo

00:14:51.120 --> 00:14:52.460
com as permissões atribuídas ao agente.

00:14:52.460 --> 00:14:54.600
Somente então a ferramenta recebe a chamada.

00:14:55.040 --> 00:14:56.720
A ferramenta não retorna uma lista gigantesca

00:14:56.720 --> 00:14:57.440
de registros de licenças.

00:14:58.020 --> 00:14:59.940
Ela retorna apenas o necessário para a tarefa,

00:15:00.080 --> 00:15:01.800
o saldo de licença disponível do funcionário,

00:15:01.960 --> 00:15:02.920
a política aplicada a ele

00:15:02.920 --> 00:15:04.460
e uma confirmação de que a solicitação

00:15:04.460 --> 00:15:05.500
foi criada como rascunho.

00:15:06.000 --> 00:15:07.160
Essa resposta restrita é importante.

00:15:07.620 --> 00:15:09.200
A gente tem informações suficientes para ajudar,

00:15:09.360 --> 00:15:10.380
mas não obtém amplo acesso

00:15:10.380 --> 00:15:12.240
só porque fez uma pergunta em linguagem simples.

00:15:12.760 --> 00:15:14.440
Ora, imagine que o funcionário colhe um texto

00:15:14.440 --> 00:15:15.780
de um documento externo no chat.

00:15:16.280 --> 00:15:17.380
O texto contém instruções

00:15:17.380 --> 00:15:18.540
que tentam enganar o assistente

00:15:18.540 --> 00:15:19.540
para que ele ignore suas regras

00:15:19.540 --> 00:15:21.840
ou solicite informações confidenciais ou soliciais.

00:15:22.080 --> 00:15:23.820
O Gateway pode aplicar verificações de segurança

00:15:23.820 --> 00:15:25.000
antes que o prompt chegue ao modelo

00:15:25.000 --> 00:15:26.780
ou antes que uma ferramenta receba uma solicitação.

00:15:27.000 --> 00:15:28.120
Se a solicitação violar uma regra,

00:15:28.200 --> 00:15:28.760
ela pode ser interrompida.

00:15:29.180 --> 00:15:30.420
O mesmo tipo de verificação

00:15:30.420 --> 00:15:31.520
pode revisar uma resposta

00:15:31.520 --> 00:15:32.640
antes que ela chegue ao funcionário.

00:15:33.300 --> 00:15:35.220
Nem todo problema vem de um prompt ruim também.

00:15:36.040 --> 00:15:37.400
Um modelo pode gerar uma resposta

00:15:37.400 --> 00:15:38.360
que inclua informações

00:15:38.360 --> 00:15:39.580
que ele não deveria retornar.

00:15:40.240 --> 00:15:41.380
Um ponto de controle compartilhado

00:15:41.380 --> 00:15:42.260
oferece à empresa um local

00:15:42.260 --> 00:15:43.100
para inspecionar esse caminho

00:15:43.100 --> 00:15:43.760
e agir sobre ele.

00:15:44.060 --> 00:15:44.420
Enquanto isso,

00:15:44.460 --> 00:15:45.520
a solicitação cria um registro.

00:15:45.520 --> 00:15:47.180
A empresa pode vincular o token

00:15:47.180 --> 00:15:48.420
usado ao projeto do assistente RH.

00:15:48.940 --> 00:15:50.700
Ela pode ver qual modelo processou a pergunta,

00:15:50.940 --> 00:15:52.340
se a chamada da ferramenta teve êxito,

00:15:52.420 --> 00:15:53.500
se uma solicitação foi bloqueada

00:15:53.500 --> 00:15:54.540
e quanto tempo o processo levou.

00:15:55.060 --> 00:15:55.840
Isso torna o suporte

00:15:55.840 --> 00:15:56.660
e a revisão muito mais fáceis.

00:15:57.160 --> 00:15:58.400
Se uma equipe de RH relatar

00:15:58.400 --> 00:15:58.980
que os funcionários

00:15:58.980 --> 00:16:00.740
não conseguem criar solicitações de licença,

00:16:00.820 --> 00:16:01.420
a equipe de operações

00:16:01.420 --> 00:16:03.120
pode procurar por chamadas de ferramenta com FIBA.

00:16:03.440 --> 00:16:04.240
Se uma regra de segurança

00:16:04.240 --> 00:16:05.300
bloquear perguntas válidas,

00:16:05.360 --> 00:16:06.400
eles podem identificar o padrão

00:16:06.400 --> 00:16:07.080
e melhorar a política.

00:16:07.820 --> 00:16:08.820
Se um agente repentinamente

00:16:08.820 --> 00:16:09.940
usar muito mais capacidade de IA

00:16:09.940 --> 00:16:10.400
do que o normal,

00:16:10.580 --> 00:16:11.620
essa mudança se torna visível.

00:16:11.620 --> 00:16:13.580
E se a empresa atualizar uma regra

00:16:13.580 --> 00:16:14.800
como exigir uma verificação extra

00:16:14.800 --> 00:16:16.220
antes de certas solicitações de licença,

00:16:16.300 --> 00:16:17.500
ela pode atualizar a política do gateway

00:16:17.500 --> 00:16:18.180
apenas uma vez.

00:16:19.080 --> 00:16:20.820
Não é necessário guardar atualizações de código

00:16:20.820 --> 00:16:22.220
separadas em cada aplicativo de RH,

00:16:22.380 --> 00:16:23.360
chatbot e fluxo de trabalho

00:16:23.360 --> 00:16:24.640
que use o mesmo caminho controlado.

00:16:25.060 --> 00:16:26.420
O mesmo padrão de solicitação

00:16:26.420 --> 00:16:27.260
continua funcionando

00:16:27.260 --> 00:16:28.760
quando a empresa adiciona outro modelo,

00:16:29.000 --> 00:16:29.620
uma nova região,

00:16:29.760 --> 00:16:30.780
mais ferramentas internas,

00:16:31.240 --> 00:16:32.120
ou outro agente que lide

00:16:32.120 --> 00:16:33.680
com uma tarefa de RH relacionada.

00:16:34.340 --> 00:16:35.040
Um é mais pequeno, então.

00:16:35.420 --> 00:16:36.380
Um gateway se torna útil

00:16:36.380 --> 00:16:37.220
quando o tráfego de IA

00:16:37.220 --> 00:16:38.580
começa a se tornar um tráfego compartilhado.

00:16:39.200 --> 00:16:39.700
Não de começar.

00:16:39.880 --> 00:16:41.340
Então, por onde você realmente começa?

00:16:42.300 --> 00:16:43.040
Comece escolhendo

00:16:43.040 --> 00:16:44.460
uma única carga de trabalho real,

00:16:44.600 --> 00:16:45.860
talvez um assistente de suporte

00:16:45.860 --> 00:16:46.660
que já chame o modelo,

00:16:46.960 --> 00:16:48.200
ou um agente que sua equipe planeja

00:16:48.200 --> 00:16:49.000
para RH, finanças

00:16:49.000 --> 00:16:50.120
ou pesquisa interna de documento.

00:16:50.600 --> 00:16:51.920
Não tente lidar com todos os modelos

00:16:51.920 --> 00:16:52.860
e todas as ferramentas de uma sovila.

00:16:53.160 --> 00:16:54.180
Esse é um caminho rápido para o caos.

00:16:54.480 --> 00:16:55.840
Em vez de fornecer chaves de provedor

00:16:55.840 --> 00:16:57.140
diretamente para cada aplicativo,

00:16:57.400 --> 00:16:58.460
coloque um endpoint do modelo

00:16:58.460 --> 00:16:59.320
dessa carga de trabalho

00:16:59.320 --> 00:17:00.260
atrás do gateway de IA

00:17:00.260 --> 00:17:01.380
do gerenciamento de API do ASO.

00:17:01.540 --> 00:17:03.000
Pense nisso como um ponto de verificação

00:17:03.000 --> 00:17:03.660
de segurança único

00:17:03.660 --> 00:17:04.420
por seu tráfego de IA.

00:17:04.660 --> 00:17:05.520
Depois, define o básico.

00:17:05.840 --> 00:17:06.620
Nome o responsável, claro,

00:17:06.700 --> 00:17:07.220
pela carga de trabalho.

00:17:07.220 --> 00:17:08.460
Use o acesso via Entra

00:17:08.460 --> 00:17:09.360
para que apenas as pessoas

00:17:09.360 --> 00:17:10.980
ou serviços certos possam alcançá-lo.

00:17:11.340 --> 00:17:12.240
Defina um limite de tokens

00:17:12.240 --> 00:17:12.960
adequado à tarefa,

00:17:13.040 --> 00:17:13.700
nem mais nem menos.

00:17:14.240 --> 00:17:15.080
Ative o registro de logs

00:17:15.080 --> 00:17:15.760
para o que possa acontecer.

00:17:16.100 --> 00:17:17.000
Adicione uma regra de segurança

00:17:17.000 --> 00:17:17.820
de conteúdo que sua equipe

00:17:17.820 --> 00:17:18.680
possa testar e revisar.

00:17:18.940 --> 00:17:19.320
Mais sem isso.

00:17:19.820 --> 00:17:20.900
Assim que o caminho do modelo

00:17:20.900 --> 00:17:22.220
e o limite de acesso funcionarem,

00:17:22.340 --> 00:17:23.560
adicione ferramentas MCP

00:17:23.560 --> 00:17:24.360
aprovadas uma por uma.

00:17:24.720 --> 00:17:25.580
Cada ferramenta deve ter

00:17:25.580 --> 00:17:26.400
uma função específica

00:17:26.400 --> 00:17:26.960
e um motivo claro

00:17:26.960 --> 00:17:27.940
para a gente utilizá-la.

00:17:28.320 --> 00:17:29.440
Sem estres desnecessários.

00:17:30.120 --> 00:17:30.540
A partir daí,

00:17:30.620 --> 00:17:31.440
você evolui de uma carga

00:17:31.440 --> 00:17:32.340
de trabalho controlada

00:17:32.340 --> 00:17:33.200
para modelos, ferramentas

00:17:33.200 --> 00:17:33.940
e agentes compartilhados.

00:17:33.940 --> 00:17:35.360
Sem esse ponto

00:17:35.360 --> 00:17:36.260
de controle inicial,

00:17:36.420 --> 00:17:37.240
cada novo app de IA

00:17:37.240 --> 00:17:37.980
cria outro caminho

00:17:37.980 --> 00:17:38.680
não gerenciado

00:17:38.680 --> 00:17:39.440
para os dados da empresa

00:17:39.440 --> 00:17:40.020
e mais uma linha

00:17:40.020 --> 00:17:40.760
na fatura de IA.

00:17:41.540 --> 00:17:42.700
Para a próxima dica de conhecimento,

00:17:42.840 --> 00:17:43.900
veja Azure API Management

00:17:43.900 --> 00:17:44.760
Simply Explained.

00:17:45.440 --> 00:17:46.040
Essa é a base

00:17:46.040 --> 00:17:46.440
sobre a qual

00:17:46.440 --> 00:17:47.220
o Microsoft iGate

00:17:47.220 --> 00:17:47.700
foi construído.
