Computer-Using Agent (CUA)
Concetto
Un agente che usa il computer è un agente AI che legge un'interfaccia grafica utente e la utilizza come farebbe una persona, cliccando, digitando e navigando, il che permette agli agenti di lavorare con sistemi legacy privi di API.
Trattati anche
Gli episodi su Computer-Using Agent (CUA) parlano anche di Process Mining, API-first architecture, Copilot Studio topics, Gemello digitale, Foundry Agent Service e Service account.
Descrizione
Un Computer-Using Agent (CUA) è un agente AI che legge un'interfaccia grafica utente e la utilizza nello stesso modo in cui farebbe una persona: osservando lo schermo, cliccando, digitando e spostandosi tra menu e pagine. Poiché lavora a livello di interfaccia, un CUA può gestire software che non offre alcuna API, il che lo rende rilevante per i sistemi legacy che altrimenti sarebbero difficili da automatizzare.
L'idea alla base di un CUA è che l'utente fornisca istruzioni in linguaggio naturale e che l'agente esegua il compito per suo conto. L'episodio di M365.FM "Computer-Using Agents: How CUA Could Transform SaaS" descrive un CUA come un sistema AI che interagisce con il software per conto dell'utente, completa attività, automatizza flussi di lavoro e riduce la necessità di utilizzare le interfacce utente tradizionali. L'episodio inquadra questo scenario come un possibile cambiamento nel modo in cui i prodotti SaaS vengono progettati e utilizzati, con software guidato da agenti che si fanno carico del lavoro di routine, così che le persone possano concentrarsi su attività a maggior valore.
Microsoft Learn documenta un'implementazione concreta con il nome Computer Use in Azure OpenAI in Microsoft Foundry. Secondo tale documentazione, Computer Use è uno strumento AI specializzato, basato su un proprio modello, che interagisce con le interfacce utente dei sistemi informatici e delle applicazioni. Interpreta ciò che è visibile sullo schermo e agisce di conseguenza, ad esempio aprendo applicazioni, cliccando su pulsanti, compilando moduli e completando flussi di lavoro su più pagine. Può anche adattarsi quando l'interfaccia cambia, ed è una delle differenze pratiche rispetto all'automazione dello schermo basata su script fissi.
Lo strumento viene richiamato tramite la Responses API e opera in un ciclo. Il modello restituisce una computer call che contiene un elenco di azioni come click, type, scroll, drag, wait o screenshot. L'applicazione esegue quindi tali azioni e invia uno screenshot al modello. Questo processo si ripete finché il modello non richiede ulteriori azioni. Un dettaglio importante è che il modello stesso non esegue nulla: l'applicazione chiamante è responsabile dell'esecuzione delle azioni, quindi il codice che la circonda decide cosa sia effettivamente consentito accadere sulla macchina.
Da questa impostazione derivano diversi punti pratici e di sicurezza. L'accesso richiede la registrazione per il modello tramite un modulo di accesso limitato e la successiva creazione di un deployment. La documentazione definisce controlli di sicurezza per istruzioni malevole presenti negli screenshot, domini non pertinenti e domini sensibili, e questi controlli devono essere confermati prima che il processo prosegua. L'esempio fornito è descritto come sperimentale e destinato a un ambiente di test con privilegi ridotti, con una persona che conferma le decisioni e senza esporre dati sensibili al modello. Chiunque valuti un CUA per flussi di lavoro reali deve quindi bilanciare la comodità di un'automazione senza API con la necessità di supervisione, permessi limitati e un'attenta definizione dell'ambito.
Le decisioni tipiche riguardo a un CUA includono quali attività siano adatte a essere delegate, quali sistemi l'agente possa toccare e come le persone restino coinvolte nel processo. L'episodio di M365.FM sottolinea anche la preparazione organizzativa, osservando che i modelli di prezzo evolvono e richiedono definizioni chiare di cosa conti come agente e di cosa conti come risultato, e consiglia di concentrarsi su flussi di lavoro adattivi e sistemi guidati da agenti come preparazione alla fase successiva della tecnologia aziendale.
Panoramica compilata con l'AI dagli episodi di M365.FM e dai dati di questa pagina. Puoi migliorarla con il pulsante di modifica qui sotto.
| Tipo | Concetto |
|---|
Domande frequenti
Le domande contrassegnate con AI sono state scritte con l'AI a partire dai fatti riportati in questa pagina.
Che cos'è un Computer-Using Agent (CUA)? (AI)
Un Computer-Using Agent è un agente AI che legge un'interfaccia grafica utente e la utilizza come farebbe una persona, cliccando, digitando e navigando. Questo gli consente di lavorare con sistemi privi di API.
Come funziona lo strumento Computer Use in Microsoft Foundry? (AI)
Viene richiamato tramite la Responses API in un ciclo: il modello restituisce un elenco di azioni come click, type o scroll, l'applicazione le esegue e restituisce uno screenshot, e questo processo si ripete finché non vengono richieste ulteriori azioni. Il modello non esegue nulla direttamente.
Quali considerazioni di sicurezza si applicano a Computer Use? (AI)
La documentazione descrive controlli di sicurezza per istruzioni malevole negli screenshot, domini non pertinenti e domini sensibili, che devono essere confermati. Il suo esempio è sperimentale e destinato a un ambiente di test con privilegi ridotti, con una persona che conferma le decisioni e senza esporre dati sensibili.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Esperti e aziende per questo argomento
Nessuno ha ancora indicato questo argomento. Aggiungilo al tuo profilo.
Mantenuto da Mirko Peters (Microsoft MVP) · Ultimo aggiornamento: