Computer-Using Agent (CUA)
Konzept
Ein Computer-Using Agent ist ein KI-Agent, der eine grafische Benutzeroberfläche liest und sie wie ein Mensch bedient, indem er klickt, tippt und navigiert. So können Agenten auch mit Legacy-Systemen arbeiten, die keine API besitzen.
Ebenfalls besprochen
In Folgen zu Computer-Using Agent (CUA) geht es auch um Process Mining, API-first architecture, Copilot Studio topics, das Thema Digitaler Zwilling, Foundry Agent Service und Service account.
Beschreibung
Ein Computer-Using Agent (CUA) ist ein KI-Agent, der eine grafische Benutzeroberfläche liest und sie so bedient, wie es ein Mensch tun würde: Er betrachtet den Bildschirm, klickt, tippt und bewegt sich durch Menüs und Seiten. Da er auf der Ebene der Oberfläche arbeitet, kann ein CUA auch Software bedienen, die keine API anbietet. Das macht ihn relevant für Legacy-Systeme, die sich sonst nur schwer automatisieren lassen.
Die Idee hinter einem CUA ist, dass ein Nutzer Anweisungen in natürlicher Sprache gibt und der Agent die Aufgabe in seinem Auftrag ausführt. In der M365.FM-Episode "Computer-Using Agents: How CUA Could Transform SaaS" wird ein CUA als KI-System beschrieben, das für den Nutzer mit Software interagiert, Aufgaben erledigt, Arbeitsabläufe automatisiert und den Bedarf an traditionellen Benutzeroberflächen verringert. Die Episode stellt dies als möglichen Wandel dar, wie SaaS-Produkte entwickelt und genutzt werden, wobei agentengesteuerte Software Routinearbeiten übernimmt, damit sich Menschen auf wertvollere Aufgaben konzentrieren können.
Microsoft Learn dokumentiert eine konkrete Umsetzung unter dem Namen Computer Use in Azure OpenAI in Microsoft Foundry. Laut dieser Dokumentation ist Computer Use ein spezialisiertes KI-Tool mit einem eigenen Modell, das mit den Benutzeroberflächen von Computersystemen und Anwendungen interagiert. Es interpretiert, was auf dem Bildschirm sichtbar ist, und handelt entsprechend, etwa indem es Anwendungen öffnet, Schaltflächen anklickt, Formulare ausfüllt und mehrseitige Arbeitsabläufe durchläuft. Es kann sich außerdem anpassen, wenn sich die Oberfläche ändert, was einen der praktischen Unterschiede zur festen, skriptbasierten Bildschirmautomatisierung darstellt.
Das Tool wird über die Responses API aufgerufen und läuft in einer Schleife. Das Modell liefert einen computer call mit einer Liste von Aktionen wie click, type, scroll, drag, wait oder screenshot. Die Anwendung führt diese Aktionen dann aus und sendet einen Screenshot zurück an das Modell. Dies wiederholt sich, bis das Modell keine weiteren Aktionen mehr anfordert. Ein wichtiges Detail: Das Modell führt selbst nichts aus. Die aufrufende Anwendung ist für die Ausführung der Aktionen verantwortlich, sodass der umgebende Code bestimmt, was auf dem Rechner tatsächlich erlaubt ist.
Aus diesem Design ergeben sich mehrere praktische und sicherheitsrelevante Punkte. Der Zugang erfordert die Registrierung für das Modell über ein Formular mit eingeschränktem Zugriff und anschließend die Erstellung einer Bereitstellung. Die Dokumentation definiert Sicherheitsprüfungen für schädliche Anweisungen in Screenshots, nicht relevante Domains und sensible Domains; diese Prüfungen müssen bestätigt werden, bevor der Prozess fortfährt. Das bereitgestellte Beispiel wird als experimentell beschrieben und ist für eine Testumgebung mit geringen Berechtigungen gedacht, in der ein Mensch Entscheidungen bestätigt und keine sensiblen Daten für das Modell offengelegt werden. Wer einen CUA für echte Arbeitsabläufe in Betracht zieht, muss daher den Komfort einer API-freien Automatisierung gegen die Notwendigkeit von Aufsicht, eingeschränkten Berechtigungen und sorgfältiger Eingrenzung abwägen.
Typische Entscheidungen rund um einen CUA betreffen die Frage, welche Aufgaben sich für eine Delegation eignen, auf welche Systeme der Agent zugreifen darf und wie Menschen eingebunden bleiben. Die M365.FM-Episode verweist außerdem auf die organisatorische Vorbereitung: Preismodelle entwickeln sich weiter und erfordern klare Definitionen dessen, was als Agent und was als Ergebnis zählt. Als Vorbereitung auf die nächste Phase der Unternehmenstechnologie empfiehlt sie, den Fokus auf adaptive Arbeitsabläufe und agentengesteuerte Systeme zu legen.
Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.
| Typ | Konzept |
|---|
Häufige Fragen
Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.
Was ist ein Computer-Using Agent (CUA)? (KI)
Ein Computer-Using Agent ist ein KI-Agent, der eine grafische Benutzeroberfläche liest und sie wie ein Mensch bedient, indem er klickt, tippt und navigiert. Dadurch kann er mit Systemen arbeiten, die keine API besitzen.
Wie funktioniert das Tool Computer Use in Microsoft Foundry? (KI)
Es wird über die Responses API in einer Schleife aufgerufen: Das Modell liefert eine Liste von Aktionen wie click, type oder scroll, die Anwendung führt sie aus und sendet einen Screenshot zurück. Dies wiederholt sich, bis keine weiteren Aktionen angefordert werden. Das Modell führt selbst nichts aus.
Welche Sicherheitsaspekte gelten für Computer Use? (KI)
Die Dokumentation beschreibt Sicherheitsprüfungen für schädliche Anweisungen in Screenshots, nicht relevante Domains und sensible Domains, die bestätigt werden müssen. Das Beispiel ist experimentell und für eine Testumgebung mit geringen Berechtigungen gedacht, in der ein Mensch Entscheidungen bestätigt und keine sensiblen Daten offengelegt werden.
Community-Wiki
Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.
Experten und Firmen zu diesem Thema
Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.
Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: