Computer-Using Agent (CUA)
Concept
Een Computer-Using Agent is een AI-agent die een grafische gebruikersinterface leest en die op dezelfde manier bedient als een mens, door te klikken, te typen en te navigeren. Hierdoor kan de agent werken met legacy-systemen die geen API hebben.
Ook besproken
Afleveringen over Computer-Using Agent (CUA) gaan ook over Process Mining, API-first architecture, Copilot Studio topics, Digitale tweeling, Foundry Agent Service en Service account.
Beschrijving
Een Computer-Using Agent (CUA) is een AI-agent die een grafische gebruikersinterface leest en die bedient op dezelfde manier als een persoon zou doen: door het scherm te bekijken, te klikken, te typen en door menu's en pagina's te navigeren. Omdat een CUA op interfaceniveau werkt, kan het software verwerken die geen API aanbiedt, wat relevant is voor legacy-systemen die anders moeilijk te automatiseren zijn.
Het idee achter een CUA is dat een gebruiker instructies geeft in natuurlijke taal en de agent de taak namens hem uitvoert. De M365.FM-aflevering "Computer-Using Agents: How CUA Could Transform SaaS" beschrijft een CUA als een AI-systeem dat voor de gebruiker met software communiceert, taken voltooit, workflows automatiseert en de noodzaak om traditionele gebruikersinterfaces te gebruiken verkleint. De aflevering schetst dit als een mogelijke verschuiving in de manier waarop SaaS-producten worden gebouwd en gebruikt, waarbij door agenten aangedreven software routinematig werk overneemt zodat mensen zich kunnen richten op taken met meer waarde.
Microsoft Learn documenteert een concrete implementatie onder de naam Computer Use in Azure OpenAI in Microsoft Foundry. Volgens die documentatie is Computer Use een gespecialiseerde AI-tool, met een eigen model als basis, die communiceert met de gebruikersinterfaces van computersystemen en applicaties. Het interpreteert wat zichtbaar is op het scherm en handelt daarop, bijvoorbeeld door applicaties te openen, knoppen aan te klikken, formulieren in te vullen en werkstromen over meerdere pagina's af te werken. Het kan zich ook aanpassen wanneer de interface verandert, wat een van de praktische verschillen is met vaste, scriptgebaseerde schermautomatisering.
De tool wordt aangeroepen via de Responses API en werkt in een lus. Het model retourneert een computer call met een lijst van acties, zoals klikken, typen, scrollen, slepen, wachten of een screenshot maken. De applicatie voert die acties vervolgens uit en stuurt een screenshot terug naar het model. Dit herhaalt zich totdat het model geen verdere acties meer vraagt. Een belangrijk detail is dat het model zelf niets uitvoert: de aanroepende applicatie is verantwoordelijk voor het uitvoeren van de acties, dus de omliggende code bepaalt wat er daadwerkelijk op de machine mag gebeuren.
Uit dit ontwerp volgen enkele praktische en veiligheidsoverwegingen. Toegang vereist registratie voor het model via een formulier voor beperkte toegang, waarna een deployment moet worden aangemaakt. De documentatie definieert veiligheidscontroles voor kwaadaardige instructies in screenshots, irrelevante domeinen en gevoelige domeinen, en deze controles moeten worden bevestigd voordat het proces doorgaat. Het beschikbaar gestelde voorbeeld wordt omschreven als experimenteel en bedoeld voor een testomgeving met lage privileges, waarin een mens beslissingen bevestigt en geen gevoelige gegevens aan het model worden blootgesteld. Wie een CUA overweegt voor echte werkstromen, moet dus het gemak van automatisering zonder API afwegen tegen de noodzaak van toezicht, beperkte rechten en zorgvuldige afbakening.
Typische beslissingen rond een CUA betreffen welke taken geschikt zijn om te delegeren, welke systemen de agent mag aanraken en hoe mensen betrokken blijven. De M365.FM-aflevering wijst ook op organisatorische voorbereiding en merkt op dat prijsmodellen evolueren en duidelijke definities vereisen van wat als agent en wat als resultaat telt. Ze adviseert zich te richten op adaptieve werkstromen en door agenten aangedreven systemen als voorbereiding op de volgende fase van enterprisetechnologie.
Overzicht samengesteld met AI op basis van M365.FM-afleveringen en de feiten op deze pagina. Je kunt het verbeteren met de bewerkknop hieronder.
| Type | Concept |
|---|
Veelgestelde vragen
Vragen met AI zijn met AI geschreven op basis van de feiten op deze pagina.
Wat is een Computer-Using Agent (CUA)? (AI)
Een Computer-Using Agent is een AI-agent die een grafische gebruikersinterface leest en die op dezelfde manier bedient als een mens, door te klikken, te typen en te navigeren. Hierdoor kan hij werken met systemen die geen API hebben.
Hoe werkt de Computer Use-tool in Microsoft Foundry? (AI)
Het wordt aangeroepen via de Responses API in een lus: het model retourneert een lijst van acties zoals klikken, typen of scrollen, de applicatie voert ze uit en stuurt een screenshot terug, en dit herhaalt zich totdat er geen acties meer worden gevraagd. Het model voert zelf niets uit.
Welke veiligheidsaspecten gelden voor Computer Use? (AI)
De documentatie beschrijft veiligheidscontroles voor kwaadaardige instructies in screenshots, irrelevante domeinen en gevoelige domeinen, die bevestigd moeten worden. Het voorbeeld is experimenteel en bedoeld voor een testomgeving met lage privileges, waarin een mens beslissingen bevestigt en er geen gevoelige gegevens worden blootgesteld.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts en bedrijven voor dit onderwerp
Niemand heeft dit onderwerp nog opgegeven. Voeg het toe aan je profiel.
Beheerd door Mirko Peters (Microsoft MVP) · Laatst bijgewerkt: