M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions m365con.net

Computer-Using Agent (CUA)

Concept

Agen penggunaan komputer adalah agen AI yang membaca antarmuka pengguna grafis dan mengoperasikannya seperti manusia dengan mengklik, mengetik dan bernavigasi, sehingga agen dapat bekerja dengan sistem lama yang tidak memiliki API.

✦ CONCEPTComputer-Using Agent(CUA)M365.FM
Title graphic: Computer-Using Agent (CUA) (Concept)

Juga dibahas

Episode tentang Computer-Using Agent (CUA) juga membahas Process Mining, API-first architecture, Copilot Studio topics, Kembaran digital, Foundry Agent Service, dan Service account.

Description

Computer-Using Agent (CUA) adalah agen AI yang membaca antarmuka pengguna grafis dan mengoperasikannya dengan cara yang sama seperti yang dilakukan manusia: dengan melihat layar, mengklik, mengetik, dan berpindah melalui menu serta halaman. Karena bekerja pada tingkat antarmuka, CUA dapat menangani perangkat lunak yang tidak menawarkan API, sehingga relevan untuk sistem lama yang jika tidak akan sulit diotomatisasi.

Gagasan di balik CUA adalah pengguna memberikan instruksi dalam bahasa alami dan agen tersebut menjalankan tugas atas nama mereka. Episode M365.FM "Computer-Using Agents: How CUA Could Transform SaaS" menggambarkan CUA sebagai sistem AI yang berinteraksi dengan perangkat lunak untuk pengguna, menyelesaikan tugas, mengotomatisasi alur kerja, dan mengurangi kebutuhan untuk menggunakan antarmuka pengguna tradisional. Episode tersebut membingkai hal ini sebagai kemungkinan pergeseran dalam cara produk SaaS dibangun dan digunakan, dengan perangkat lunak berbasis agen yang mengambil alih pekerjaan rutin sehingga orang dapat berfokus pada tugas yang bernilai lebih tinggi.

Microsoft Learn mendokumentasikan implementasi konkret dengan nama Computer Use di Azure OpenAI in Microsoft Foundry. Menurut dokumentasi tersebut, Computer Use adalah alat AI khusus, didukung oleh modelnya sendiri, yang berinteraksi dengan antarmuka pengguna sistem komputer dan aplikasi. Alat ini menafsirkan apa yang terlihat di layar dan bertindak berdasarkan itu, misalnya dengan membuka aplikasi, mengklik tombol, mengisi formulir, dan menyelesaikan alur kerja multi-halaman. Alat ini juga dapat menyesuaikan diri ketika antarmuka berubah, yang merupakan salah satu perbedaan praktis dibandingkan otomatisasi layar berbasis skrip yang bersifat tetap.

Alat ini dipanggil melalui Responses API dan berjalan dalam sebuah loop. Model mengembalikan computer call yang berisi daftar tindakan seperti click, type, scroll, drag, wait, atau screenshot. Aplikasi kemudian menjalankan tindakan tersebut dan mengirimkan tangkapan layar kembali ke model. Proses ini berulang hingga model tidak lagi meminta tindakan lebih lanjut. Detail penting di sini adalah model itu sendiri tidak menjalankan apa pun: aplikasi pemanggil bertanggung jawab untuk melaksanakan tindakan, sehingga kode di sekitarnya yang memutuskan apa yang benar-benar boleh terjadi di mesin.

Beberapa poin praktis dan keamanan mengikuti dari desain ini. Akses memerlukan pendaftaran untuk model melalui formulir akses terbatas, lalu membuat deployment. Dokumentasi mendefinisikan pemeriksaan keamanan untuk instruksi berbahaya dalam tangkapan layar, domain yang tidak relevan, dan domain sensitif, dan pemeriksaan ini harus dikonfirmasi sebelum proses dilanjutkan. Contoh yang disediakan digambarkan sebagai eksperimental dan dimaksudkan untuk lingkungan uji dengan hak akses rendah, dengan manusia yang mengonfirmasi keputusan dan tidak ada data sensitif yang terpapar ke model. Siapa pun yang mempertimbangkan CUA untuk alur kerja nyata perlu menimbang kenyamanan otomatisasi tanpa API terhadap kebutuhan akan pengawasan, izin yang dibatasi, dan pembatasan cakupan yang cermat.

Keputusan umum seputar CUA mencakup tugas mana yang cocok untuk didelegasikan, sistem mana yang boleh disentuh agen, dan bagaimana manusia tetap terlibat. Episode M365.FM juga menunjuk pada persiapan organisasi, dengan mencatat bahwa model harga terus berkembang dan memerlukan definisi yang jelas tentang apa yang dihitung sebagai agen dan apa yang dihitung sebagai hasil, serta menyarankan fokus pada alur kerja adaptif dan sistem berbasis agen sebagai persiapan untuk fase berikutnya dalam teknologi perusahaan.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Apa itu Computer-Using Agent (CUA)? (AI)

Agen penggunaan komputer adalah agen AI yang membaca antarmuka pengguna grafis dan mengoperasikannya seperti manusia dengan mengklik, mengetik, dan bernavigasi. Hal ini memungkinkannya bekerja dengan sistem yang tidak memiliki API.

Bagaimana cara kerja alat Computer Use di Microsoft Foundry? (AI)

Alat ini dipanggil melalui Responses API dalam sebuah loop: model mengembalikan daftar tindakan seperti click, type, atau scroll, aplikasi menjalankannya dan mengembalikan tangkapan layar, dan proses ini berulang hingga tidak ada lagi tindakan yang diminta. Model itu sendiri tidak menjalankan apa pun.

Pertimbangan keamanan apa yang berlaku untuk Computer Use? (AI)

Dokumentasi menjelaskan pemeriksaan keamanan untuk instruksi berbahaya dalam tangkapan layar, domain yang tidak relevan, dan domain sensitif yang harus dikonfirmasi. Contohnya bersifat eksperimental dan dimaksudkan untuk lingkungan uji dengan hak akses rendah, dengan manusia yang mengonfirmasi keputusan dan tanpa paparan data sensitif.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: