M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Agentic AI dalam Aksi: Mengubah Administrasi Dokumen menjadi Alur Kerja Berbasis Suara

By ·

Selama bertahun-tahun, pembahasan tentang perangkat lunak perusahaan didominasi oleh pekerja pengetahuan yang terikat pada meja kerja. Kita terus membicarakan pengelolaan email, penyusunan dokumen, …

Automatically translated with AI from the original post. Read the English original

Cover: Beyond Copilot: Building AI That Works in the Real World with Azure AI Foundry and Agentic AI for Frontline Workers with Fergus Kidd [MVP]

Selama bertahun-tahun, pembahasan perangkat lunak perusahaan didominasi oleh pekerja pengetahuan yang duduk di depan meja. Kita tanpa henti membicarakan pengelolaan email, penyusunan dokumen, pembuatan slide, dan kolaborasi lewat chat. Namun, sebagian besar tenaga kerja global justru jarang menghabiskan waktu di depan layar. Mereka adalah teknisi lapangan, insinyur lapangan, inspektur ladang angin, tukang ledeng, teknisi listrik, dan tim layanan yang menjaga infrastruktur fisik kita tetap berjalan. Setiap hari mereka memanjat tangga, memperbaiki mesin, memeriksa lokasi industri, dan berinteraksi dengan pelanggan. Di akhir hari yang melelahkan, mereka rutin diharapkan duduk di dalam van yang terparkir atau di meja dapur untuk menghabiskan berjam-jam mengetik laporan administrasi yang rinci. Kesenjangan antara melakukan pekerjaan fisik dan mencatat data digital ini adalah beban operasional yang sangat besar.

Untungnya, sebuah pergeseran besar sedang berlangsung. Dengan menggabungkan agentic AI, small language model, dan perangkat wearable berbasis suara, kita memindahkan AI perusahaan dari kantor ke lokasi kerja. Evolusi ini memungkinkan pekerja merekam data secara alami, menghilangkan tugas administrasi yang membosankan, dan mengubah percakapan lapangan yang berantakan menjadi laporan perusahaan yang terstruktur. Mari kita telusuri bagaimana arsitektur modern membentuk ulang operasi lapangan.

Pendahuluan: Membawa AI Perusahaan Melampaui Meja Kerja

Ketika AI generatif pertama kali meledak ke arus utama, fokus utamanya adalah asisten serba guna. Pekerja pengetahuan dengan cepat mengadopsi alat untuk merangkum transkrip rapat, menyusun email, dan menganalisis spreadsheet. Namun, memperlakukan pekerja lapangan seperti pekerja meja dengan memberi mereka antarmuka chat generik atau aplikasi produktivitas perusahaan standar secara mendasar salah memahami realitas kerja fisik. Seorang teknisi yang memperbaiki unit HVAC di ruang utilitas yang sempit tidak mudah mengeluarkan laptop, masuk ke VPN, dan menavigasi antarmuka enterprise resource planning (ERP) yang kompleks. Mereka membutuhkan alat yang menghormati konteks fisik mereka, beroperasi andal dalam kondisi yang menantang, dan menuntut beban kognitif sekecil mungkin.

Membawa AI perusahaan melampaui meja kerja membutuhkan pemikiran ulang total tentang pengalaman pengguna dan arsitektur sistem. Hal ini menuntut kita untuk melampaui peramban web dan aplikasi desktop tradisional, serta merangkul antarmuka multimodal yang memungkinkan pekerja berinteraksi dengan teknologi sama seperti mereka berinteraksi satu sama lain: melalui ucapan alami. Untuk memahami bagaimana kita dapat membangun sistem ini secara efektif, kita harus terlebih dahulu memeriksa hambatan harian yang dihadapi personel lapangan.

Realitas Pekerjaan Lapangan dan Hambatan Administrasi

Untuk memahami potensi transformatif agentic AI, kita harus melihat dengan cermat seperti apa hari khas seorang teknisi lapangan. Berbeda dengan karyawan kantor yang menikmati internet pita lebar berkecepatan tinggi, banyak monitor, dan konektivitas cloud yang mulus, pekerja lapangan sering beroperasi di lokasi terpencil, ruang bawah tanah, atau fasilitas industri dengan jangkauan jaringan yang tidak stabil. Tangan mereka sering kali sibuk dengan alat, peralatan berat, atau alat pelindung diri (APD). Menghentikan pekerjaan untuk mencatat nomor seri, mencari diagram kabel, atau memeriksa daftar periksa kepatuhan memecah konsentrasi mereka dan memperlambat pekerjaan.

Terlepas dari kendala fisik ini, persyaratan administrasi kini lebih ketat dari sebelumnya. Organisasi membutuhkan catatan yang akurat untuk kepatuhan, penagihan, audit, dan pelacakan pemeliharaan. Ketika pekerja menyelesaikan tugas fisik, mereka dipaksa mengingat setiap detail dari memori dan mengetikkannya ke dalam aplikasi seluler yang kikuk atau portal desktop. Hal ini tak terhindarkan menyebabkan pelaporan yang tertunda, nomor suku cadang yang terlewat, catatan yang tidak akurat, dan kelelahan secara umum. Hambatan administrasi menguras kepuasan kerja dan mengompromikan kualitas data perusahaan. Jika kita menginginkan data yang lebih baik, kita harus menghilangkan beban entri data manual sepenuhnya.

Mengapa Antarmuka Berbasis Suara dan Wearable Lebih Unggul dari Perangkat Lunak Tradisional

Perangkat lunak perusahaan tradisional mengasumsikan interaksi visual: ketuk di sini, gulir ke bawah, ketik di kotak teks ini, lalu klik kirim. Di lapangan, paradigma ini tidak berhasil. Interaksi yang mengutamakan suara mengubah persamaan itu sepenuhnya. Dengan memungkinkan pekerja berbicara secara alami sambil bekerja, kita menghilangkan kebutuhan akan layar, papan ketik, dan pengisian formulir yang melelahkan. Seorang teknisi dapat menceritakan apa yang ia lihat dan lakukan saat memperbaiki sesuatu, sehingga narasi alami dari pekerjaannya berubah menjadi data yang dapat ditindaklanjuti.

Menggabungkan antarmuka suara dengan komputer wearable yang tangguh, seperti kacamata pintar dari penyedia seperti RealWear atau Vuzix, membawa kemampuan ini lebih jauh lagi. Berbeda dengan headset realitas virtual kelas konsumen yang rapuh, mahal, dan canggung dikenakan di depan orang lain, wearable perusahaan yang diperkuat berfungsi sebagai komputer tanpa tangan. Perangkat ini membiarkan tangan pekerja tetap bebas untuk memegang alat, menampilkan informasi berguna di bidang pandang mereka, menyediakan akses kamera, dan menangkap perintah suara yang jelas bahkan di lingkungan industri yang bising. Ketika teknologi dihadirkan melalui suara dan perangkat wearable, teknologi itu berhenti menjadi penghalang dan mulai berperan sebagai asisten yang tak terlihat.

Agentic AI dalam Praktik: Mengubah Percakapan menjadi Laporan Terstruktur

Transkripsi ucapan-ke-teks sederhana tidak cukup untuk menyelesaikan masalah administrasi kertas di lapangan. Jika seorang teknisi mendikte penjelasan panjang lima menit tentang pekerjaan perbaikan, organisasi hanya memiliki file audio tak terstruktur atau blok teks berantakan yang sama sulitnya untuk diproses seperti catatan tulisan tangan. Di sinilah agentic AI unggul.

Alih-alih mengandalkan satu chatbot monolitik, sistem multi-agen dapat mengatur alur kerja yang kompleks di balik layar. Ketika seorang pekerja berbicara dengan asisten AI-nya di lokasi kerja, agen orkestrator mendelegasikan tugas ke sejumlah sub-agen yang terspesialisasi. Satu agen mengurai dialog yang diucapkan untuk mengekstrak entitas penting seperti nomor suku cadang, kode kesalahan, dan jam kerja. Agen lain memvalidasi detail tersebut terhadap basis data inventaris dan riwayat layanan. Agen ketiga memformat data yang telah diekstrak menjadi laporan layanan yang rapi dan terstandar, lalu mengirimkannya langsung ke sistem backend perusahaan. Pekerja cukup menjelaskan pekerjaannya secara percakapan, dan sistem agentic yang melakukan pekerjaan berat dalam mengubah ucapan mentah menjadi nilai bisnis yang terstruktur.

Memanfaatkan Small Language Models dan Agentic RAG untuk Wawasan yang Akurat

Ketika membangun solusi AI untuk lingkungan lapangan yang berisiko tinggi, akurasi adalah hal utama. Model fondasi serbaguna yang dilatih dengan seluruh isi internet mungkin hebat dalam menulis puisi, tetapi model itu dapat dengan mudah mengarang prosedur keselamatan atau salah mengidentifikasi spesifikasi peralatan industri. Untuk aplikasi lapangan, yang lebih besar jarang kali lebih baik.

Arsitektur lapangan modern banyak memanfaatkan small language models (SLM) yang dikombinasikan dengan Retrieval-Augmented Generation (RAG). Dengan memadukan model bahasa yang ringan dan efisien dengan mesin pencarian perusahaan, pengembang dapat membatasi AI secara ketat pada dokumentasi perusahaan yang telah disetujui, manual keselamatan, dan lembar spesifikasi peralatan. Agentic RAG melangkah lebih jauh dengan memungkinkan agen mengkueri berbagai sumber pengetahuan secara dinamis, seperti repositori SharePoint, basis data SQL, dan API langsung, untuk mengambil jawaban yang tepat. Jika seorang teknisi bertanya cara mereset pengendali turbin industri tertentu, agen mengambil buletin resmi dari pabrikan alih-alih menebak. Hal ini secara drastis mengurangi halusinasi, memastikan kepatuhan terhadap regulasi, dan memberikan jawaban yang dapat dipercaya secara instan.

Membangun Aplikasi Lapangan yang Tangguh dengan Azure AI Foundry

Merancang, menskalakan, dan mengelola sistem multi-agen yang canggih ini membutuhkan platform perusahaan yang andal. Membangun integrasi kustom dari nol untuk pemrosesan suara, keamanan, pencarian, dan orkestrasi agen merupakan tantangan rekayasa yang sangat besar. Inilah sebabnya organisasi semakin banyak beralih ke platform seperti Azure AI Foundry untuk membangun aplikasi lapangan yang tangguh dan siap produksi.

Azure AI Foundry menyediakan lingkungan yang komprehensif, yang menggabungkan model fondasi, layanan ucapan tingkat lanjut, Azure AI Search, dan keamanan kelas enterprise. Dengan lingkungan ini, tim pengembang dapat merangkai agen kustom, mengelola pipeline data yang kompleks, dan menerapkan solusi yang dapat dskalakan serta tetap berfungsi meski konektivitas di edge terputus-putus. Yang terpenting, Azure AI Foundry menawarkan fleksibilitas arsitektur yang dibutuhkan untuk kasus penggunaan frontline yang spesifik. Tim administrasi mungkin bekerja di dalam Microsoft Teams dan memanfaatkan Copilot Studio, sementara teknisi lapangan sering membutuhkan aplikasi kustom yang tertanam pada perangkat wearable atau perangkat seluler. Azure AI Foundry berperan sebagai lapisan kecerdasan yang menggerakkan berbagai pengalaman di edge tersebut, sekaligus menjaga keamanan dan tata kelola data perusahaan secara penuh.

Kesimpulan: Membuat Teknologi Menyatu dengan Alur Kerja

Pada akhirnya, ukuran keberhasilan teknologi enterprise adalah seberapa tidak terlihat teknologi itu bagi penggunanya. Ketika perangkat lunak membutuhkan intervensi manual terus-menerus, pelatihan khusus, dan berjam-jam pekerjaan administrasi di akhir hari, gesekan yang muncul membuat pekerja frustrasi dan menurunkan kualitas data. Dengan memanfaatkan kekuatan AI agentik, antarmuka yang mengutamakan suara, model bahasa kecil, serta platform cloud yang andal seperti Azure, kita akhirnya dapat meringankan beban administratif tim frontline.

Untuk menggali topik menarik ini lebih dalam dan mempelajari bagaimana para pakar industri menjawab tantangan yang sama di dunia nyata, pastikan Anda menyimak episode podcast terkait: Beyond Copilot: Building AI That Works in the Real World with Azure AI Foundry and Agentic AI for Frontline Workers with Fergus Kidd [MVP]. Temukan bagaimana rekayasa modern menjembatani kesenjangan antara kecerdasan digital dan pekerjaan fisik, mengubah pekerjaan dokumen yang membosankan menjadi alur kerja yang mulus dan digerakkan oleh suara.

Entities in this article

Agentic AI Azure AI Foundry Agentic RAG Enterprise resource planning (ERP) Generative AI

Related articles

RSS