Computer-Using Agent (CUA)
Concept
Um agente que usa o computador é um agente de IA que lê uma interface gráfica do usuário e a opera como um ser humano, clicando, digitando e navegando, o que permite que agentes trabalhem com sistemas legados que não têm API.
Também abordados
Os episódios sobre Computer-Using Agent (CUA) abordam também Process Mining, API-first architecture, Copilot Studio topics, Digital twin, Foundry Agent Service e Service account.
Descrição
Um Computer-Using Agent (CUA), ou agente que usa o computador, é um agente de IA que lê uma interface gráfica do usuário e a opera da mesma forma que uma pessoa faria: observando a tela, clicando, digitando e percorrendo menus e páginas. Como ele trabalha no nível da interface, um CUA consegue lidar com softwares que não oferecem API, o que o torna relevante para sistemas legados que, de outra forma, seriam difíceis de automatizar.
A ideia por trás de um CUA é que o usuário dá instruções em linguagem natural e o agente executa a tarefa em seu nome. O episódio do M365.FM "Computer-Using Agents: How CUA Could Transform SaaS" descreve um CUA como um sistema de IA que interage com softwares para o usuário, completa tarefas, automatiza fluxos de trabalho e reduz a necessidade de usar interfaces de usuário tradicionais. O episódio apresenta isso como uma possível mudança na forma como produtos SaaS são criados e usados, com software orientado por agentes assumindo o trabalho rotineiro para que as pessoas possam se concentrar em tarefas de maior valor.
A Microsoft Learn documenta uma implementação concreta com o nome Computer Use no Azure OpenAI no Microsoft Foundry. De acordo com essa documentação, o Computer Use é uma ferramenta de IA especializada, apoiada por um modelo próprio, que interage com as interfaces de usuário de sistemas e aplicações de computador. Ela interpreta o que está visível na tela e age sobre isso, por exemplo, abrindo aplicativos, clicando em botões, preenchendo formulários e percorrendo fluxos de trabalho com várias páginas. Ela também pode se adaptar quando a interface muda, o que é uma das diferenças práticas em relação à automação de tela tradicional, baseada em scripts fixos.
A ferramenta é chamada pela Responses API e funciona em um ciclo. O modelo devolve uma chamada de computador contendo uma lista de ações, como clicar, digitar, rolar, arrastar, aguardar ou capturar a tela. A aplicação então executa essas ações e envia uma captura de tela de volta ao modelo. Isso se repete até que o modelo não solicite mais ações. Um detalhe importante é que o próprio modelo não executa nada: a aplicação chamadora é responsável por realizar as ações, de modo que o código ao redor decide o que é realmente permitido acontecer na máquina.
Dessa arquitetura decorrem alguns pontos práticos e de segurança. O acesso exige o cadastro no modelo por meio de um formulário de acesso limitado e, em seguida, a criação de uma implantação. A documentação define verificações de segurança para instruções maliciosas em capturas de tela, domínios irrelevantes e domínios sensíveis, e essas verificações precisam ser reconhecidas antes que o processo prossiga. O exemplo fornecido é descrito como experimental e destinado a um ambiente de teste com privilégios baixos, com uma pessoa confirmando as decisões e sem exposição de dados sensíveis ao modelo. Quem considera um CUA para fluxos de trabalho reais precisa, portanto, pesar a conveniência da automação sem API em relação à necessidade de supervisão, permissões restritas e escopo cuidadosamente definido.
As decisões típicas em torno de um CUA incluem quais tarefas são adequadas para delegação, quais sistemas o agente pode acessar e como as pessoas permanecem no controle do processo. O episódio do M365.FM também aponta para a preparação organizacional, observando que os modelos de preço evoluem e exigem definições claras do que conta como agente e do que conta como resultado, e recomenda concentrar-se em fluxos de trabalho adaptativos e sistemas orientados por agentes como preparação para a próxima fase da tecnologia empresarial.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Tipo | Concept |
|---|
Perguntas frequentes
Questions marked with AI were written with AI from the facts on this page.
O que é um Computer-Using Agent (CUA)? (AI)
Um Computer-Using Agent é um agente de IA que lê uma interface gráfica do usuário e a opera como um ser humano, clicando, digitando e navegando. Isso permite que ele trabalhe com sistemas que não têm API.
Como funciona a ferramenta Computer Use no Microsoft Foundry? (AI)
Ele é chamado pela Responses API em um ciclo: o modelo devolve uma lista de ações, como clicar, digitar ou rolar, a aplicação as executa e devolve uma captura de tela, e isso se repete até que nenhuma outra ação seja solicitada. O modelo não executa nada por conta própria.
Quais considerações de segurança se aplicam ao Computer Use? (AI)
A documentação descreve verificações de segurança para instruções maliciosas em capturas de tela, domínios irrelevantes e domínios sensíveis, que precisam ser reconhecidas. O exemplo é experimental e destinado a um ambiente de teste com privilégios baixos, com uma pessoa confirmando as decisões e sem exposição de dados sensíveis.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Especialistas e empresas para este tópico
Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: