M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Computer-Using Agent (CUA)

Concept

Um agente que usa o computador é um agente de IA que lê uma interface gráfica do usuário e a opera como um ser humano, clicando, digitando e navegando, o que permite que agentes trabalhem com sistemas legados que não têm API.

✦ CONCEPTComputer-Using Agent(CUA)M365.FM
Title graphic: Computer-Using Agent (CUA) (Concept)

Também abordados

Os episódios sobre Computer-Using Agent (CUA) abordam também Process Mining, API-first architecture, Copilot Studio topics, Digital twin, Foundry Agent Service e Service account.

Descrição

Um Computer-Using Agent (CUA), ou agente que usa o computador, é um agente de IA que lê uma interface gráfica do usuário e a opera da mesma forma que uma pessoa faria: observando a tela, clicando, digitando e percorrendo menus e páginas. Como ele trabalha no nível da interface, um CUA consegue lidar com softwares que não oferecem API, o que o torna relevante para sistemas legados que, de outra forma, seriam difíceis de automatizar.

A ideia por trás de um CUA é que o usuário dá instruções em linguagem natural e o agente executa a tarefa em seu nome. O episódio do M365.FM "Computer-Using Agents: How CUA Could Transform SaaS" descreve um CUA como um sistema de IA que interage com softwares para o usuário, completa tarefas, automatiza fluxos de trabalho e reduz a necessidade de usar interfaces de usuário tradicionais. O episódio apresenta isso como uma possível mudança na forma como produtos SaaS são criados e usados, com software orientado por agentes assumindo o trabalho rotineiro para que as pessoas possam se concentrar em tarefas de maior valor.

A Microsoft Learn documenta uma implementação concreta com o nome Computer Use no Azure OpenAI no Microsoft Foundry. De acordo com essa documentação, o Computer Use é uma ferramenta de IA especializada, apoiada por um modelo próprio, que interage com as interfaces de usuário de sistemas e aplicações de computador. Ela interpreta o que está visível na tela e age sobre isso, por exemplo, abrindo aplicativos, clicando em botões, preenchendo formulários e percorrendo fluxos de trabalho com várias páginas. Ela também pode se adaptar quando a interface muda, o que é uma das diferenças práticas em relação à automação de tela tradicional, baseada em scripts fixos.

A ferramenta é chamada pela Responses API e funciona em um ciclo. O modelo devolve uma chamada de computador contendo uma lista de ações, como clicar, digitar, rolar, arrastar, aguardar ou capturar a tela. A aplicação então executa essas ações e envia uma captura de tela de volta ao modelo. Isso se repete até que o modelo não solicite mais ações. Um detalhe importante é que o próprio modelo não executa nada: a aplicação chamadora é responsável por realizar as ações, de modo que o código ao redor decide o que é realmente permitido acontecer na máquina.

Dessa arquitetura decorrem alguns pontos práticos e de segurança. O acesso exige o cadastro no modelo por meio de um formulário de acesso limitado e, em seguida, a criação de uma implantação. A documentação define verificações de segurança para instruções maliciosas em capturas de tela, domínios irrelevantes e domínios sensíveis, e essas verificações precisam ser reconhecidas antes que o processo prossiga. O exemplo fornecido é descrito como experimental e destinado a um ambiente de teste com privilégios baixos, com uma pessoa confirmando as decisões e sem exposição de dados sensíveis ao modelo. Quem considera um CUA para fluxos de trabalho reais precisa, portanto, pesar a conveniência da automação sem API em relação à necessidade de supervisão, permissões restritas e escopo cuidadosamente definido.

As decisões típicas em torno de um CUA incluem quais tarefas são adequadas para delegação, quais sistemas o agente pode acessar e como as pessoas permanecem no controle do processo. O episódio do M365.FM também aponta para a preparação organizacional, observando que os modelos de preço evoluem e exigem definições claras do que conta como agente e do que conta como resultado, e recomenda concentrar-se em fluxos de trabalho adaptativos e sistemas orientados por agentes como preparação para a próxima fase da tecnologia empresarial.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TipoConcept

Perguntas frequentes

Questions marked with AI were written with AI from the facts on this page.

O que é um Computer-Using Agent (CUA)? (AI)

Um Computer-Using Agent é um agente de IA que lê uma interface gráfica do usuário e a opera como um ser humano, clicando, digitando e navegando. Isso permite que ele trabalhe com sistemas que não têm API.

Como funciona a ferramenta Computer Use no Microsoft Foundry? (AI)

Ele é chamado pela Responses API em um ciclo: o modelo devolve uma lista de ações, como clicar, digitar ou rolar, a aplicação as executa e devolve uma captura de tela, e isso se repete até que nenhuma outra ação seja solicitada. O modelo não executa nada por conta própria.

Quais considerações de segurança se aplicam ao Computer Use? (AI)

A documentação descreve verificações de segurança para instruções maliciosas em capturas de tela, domínios irrelevantes e domínios sensíveis, que precisam ser reconhecidas. O exemplo é experimental e destinado a um ambiente de teste com privilégios baixos, com uma pessoa confirmando as decisões e sem exposição de dados sensíveis.

Glossário

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Especialistas e empresas para este tópico

Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: