Computer-Using Agent (CUA)
Concept
Un agent utilisant l'ordinateur est un agent d'IA qui lit une interface utilisateur graphique et l'utilise comme un humain, en cliquant, en saisissant du texte et en naviguant, ce qui lui permet de travailler avec des systèmes existants qui n'ont pas d'API.
Également abordés
Les épisodes consacrés à Computer-Using Agent (CUA) abordent aussi Process Mining, API-first architecture, Copilot Studio topics, Jumeau numérique, Foundry Agent Service et Service account.
Description
Un Computer-Using Agent (CUA) est un agent d'IA qui lit une interface utilisateur graphique et l'utilise de la même manière qu'une personne : en regardant l'écran, en cliquant, en saisissant du texte et en parcourant les menus et les pages. Comme il travaille au niveau de l'interface, un CUA peut gérer des logiciels qui n'offrent aucune API, ce qui le rend pertinent pour les systèmes existants qu'il serait autrement difficile d'automatiser.
L'idée derrière un CUA est que l'utilisateur donne des instructions en langage naturel et que l'agent exécute la tâche pour son compte. L'épisode de M365.FM « Computer-Using Agents: How CUA Could Transform SaaS » décrit un CUA comme un système d'IA qui interagit avec les logiciels pour le compte de l'utilisateur, accomplit des tâches, automatise des flux de travail et réduit le besoin d'utiliser les interfaces utilisateur traditionnelles. L'épisode présente cela comme un changement possible dans la manière dont les produits SaaS sont conçus et utilisés, les logiciels pilotés par des agents prenant en charge le travail routinier afin que les personnes puissent se concentrer sur des tâches à plus forte valeur ajoutée.
Microsoft Learn documente une implémentation concrète sous le nom Computer Use dans Azure OpenAI dans Microsoft Foundry. Selon cette documentation, Computer Use est un outil d'IA spécialisé, reposant sur son propre modèle, qui interagit avec les interfaces utilisateur des systèmes informatiques et des applications. Il interprète ce qui est visible à l'écran et agit en conséquence, par exemple en ouvrant des applications, en cliquant sur des boutons, en remplissant des formulaires et en parcourant des flux de travail en plusieurs pages. Il peut aussi s'adapter lorsque l'interface change, ce qui le distingue concrètement de l'automatisation d'écran fixe basée sur des scripts.
L'outil est appelé via l'API Responses et fonctionne en boucle. Le modèle renvoie un appel d'ordinateur contenant une liste d'actions telles que cliquer, saisir, faire défiler, glisser, attendre ou effectuer une capture d'écran. L'application exécute ensuite ces actions et renvoie une capture d'écran au modèle. Ce processus se répète jusqu'à ce que le modèle ne demande plus d'actions. Un détail important est que le modèle lui-même n'exécute rien : c'est l'application appelante qui est responsable de la réalisation des actions, de sorte que le code qui l'entoure décide de ce qui est réellement autorisé à se produire sur la machine.
Plusieurs points pratiques et de sécurité découlent de cette conception. L'accès nécessite de s'inscrire pour utiliser le modèle via un formulaire d'accès limité, puis de créer un déploiement. La documentation définit des contrôles de sécurité portant sur les instructions malveillantes présentes dans les captures d'écran, les domaines non pertinents et les domaines sensibles, et ces contrôles doivent être validés avant que le processus ne se poursuive. L'exemple fourni est décrit comme expérimental et destiné à un environnement de test à faibles privilèges, avec un humain qui confirme les décisions et aucune donnée sensible exposée au modèle. Toute personne envisageant un CUA pour des flux de travail réels doit donc mettre en balance le confort d'une automatisation sans API et la nécessité de supervision, de permissions restreintes et d'un périmètre soigneusement défini.
Les décisions typiques autour d'un CUA concernent les tâches qui peuvent être déléguées, les systèmes que l'agent peut utiliser et la manière dont les humains restent dans la boucle. L'épisode de M365.FM souligne également la préparation organisationnelle, notant que les modèles de tarification évoluent et exigent des définitions claires de ce qui constitue un agent et ce qui constitue un résultat, et il conseille de se concentrer sur les flux de travail adaptatifs et les systèmes pilotés par des agents pour préparer la prochaine phase des technologies d'entreprise.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Concept |
|---|
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Qu'est-ce qu'un Computer-Using Agent (CUA) ? (IA)
Un Computer-Using Agent est un agent d'IA qui lit une interface utilisateur graphique et l'utilise comme un humain, en cliquant, en saisissant du texte et en naviguant. Cela lui permet de travailler avec des systèmes qui n'ont pas d'API.
Comment fonctionne l'outil Computer Use dans Microsoft Foundry ? (IA)
Il est appelé via l'API Responses dans une boucle : le modèle renvoie une liste d'actions telles que cliquer, saisir ou faire défiler, l'application les exécute et renvoie une capture d'écran, et ce processus se répète jusqu'à ce qu'aucune action supplémentaire ne soit demandée. Le modèle n'exécute rien lui-même.
Quelles considérations de sécurité s'appliquent à Computer Use ? (IA)
La documentation décrit des contrôles de sécurité portant sur les instructions malveillantes présentes dans les captures d'écran, les domaines non pertinents et les domaines sensibles, qui doivent être validés. Son exemple est expérimental et destiné à un environnement de test à faibles privilèges, avec un humain qui confirme les décisions et aucune donnée sensible exposée.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: