M365Con 2027 – konferensi online gratis · 11–22 Jan 2027 · 120 sessions m365con.net

Multimodal AI

Concept

Multimodal AI mengacu pada model dan aplikasi yang memproses lebih dari satu jenis input, seperti teks, gambar, suara, dan video.

✦ CONCEPTMultimodal AIM365.FM
Title graphic: Multimodal AI (Concept)

Juga dibahas

Episode tentang Multimodal AI itu juga membahas Azure AI Content Safety, Copilot Control System, Graphics processing unit (GPU), AI evaluation, Reranking, dan OpenAI.

Description

Multimodal AI mengacu pada model dan aplikasi yang memproses lebih dari satu jenis input, seperti teks, gambar, suara, dan video. Dalam literatur riset, bidang yang mendasarinya disebut multimodal learning, cabang dari deep learning yang menggabungkan beberapa jenis data, yang dikenal sebagai modalitas. Modalitas ini dapat mencakup teks, gambar, audio, video, dan, dalam robotika, proprioception. Gagasan utamanya adalah bahwa menggabungkan modalitas memberikan gambaran yang lebih utuh daripada yang dapat diberikan oleh satu jenis data saja.

Pendekatan multimodal digunakan untuk tugas-tugas seperti visual question answering, cross-modal retrieval, text-to-image generation, dan image captioning. Selain itu, aplikasi yang disebutkan dalam sumber berkisar dari pencarian dan rekomendasi hingga diagnostik layanan kesehatan, robotika, pengenalan emosi, dan pencarian kode. Dalam konteks perusahaan, prinsip yang sama muncul ketika sebuah sistem menerima foto, permintaan lisan, atau dokumen bersama teks tertulis dan memanfaatkan semuanya untuk menyelesaikan suatu tugas.

Secara teknis, model multimodal harus merepresentasikan informasi dari setiap modalitas secara bersama-sama. Ada beberapa pendekatan. Dalam early fusion, embedding dari berbagai modalitas digabungkan sebelum prediksi dibuat. Dalam intermediate fusion, setiap modalitas diproses terlebih dahulu secara terpisah, lalu representasi yang dihasilkan digabungkan. Cross-attention adalah mekanisme lain untuk menghubungkan satu modalitas dengan modalitas lain. Resep umum untuk multimodal large language model mengubah keluaran encoder menjadi token yang disisipkan di antara token teks, sering kali menggunakan frozen image encoder. Contoh yang disebutkan dalam sumber antara lain CLIP untuk representasi gabungan gambar-teks, LLaVA, Whisper untuk audio, dan DALL-E untuk generasi. Bidang ini diusulkan pada tahun 2011, dan model multimodal besar seperti Google Gemini dan GPT-4o telah populer sejak 2023.

Episode M365.FM "Beyond Copilot: Building AI That Works in the Real World with Azure AI Foundry and Agentic AI for Frontline Workers with Fergus Kidd [MVP]" menempatkan multimodal AI dalam konteks pekerjaan lini depan. Episode ini menggambarkan computer vision sebagai sesuatu yang memiliki nilai praktis langsung di lapangan. OCR dapat menangkap nomor seri yang panjang tanpa teknisi harus membacakannya, dan pemindaian barcode serta QR dapat dengan cepat mengidentifikasi peralatan dan mengambil catatan yang tepat. Pemeriksaan kualitas visual yang lebih canggih, seperti memverifikasi pemasangan jendela dari sebuah foto, digambarkan sebagai hal yang mungkin dilakukan tetapi membutuhkan usaha tambahan yang signifikan. Episode ini membingkai hal tersebut sebagai titik ketika AI perusahaan menjadi operasional: AI tidak sekadar menghasilkan teks, tetapi menghubungkan orang dengan data yang tepat dan membantu mereka menyelesaikan tugas nyata, berpindah antara pengambilan pengetahuan, catatan, dan pelaporan dalam satu sesi yang sama.

Episode "How Microsoft Built an Enterprise AI Architecture Advantage" mencantumkan multimodal AI di antara bidang inovasi AI yang dibahasnya. Episode ini menggambarkan kemajuan dalam generasi AI yang menggabungkan teks, audio, dan gambar untuk pengalaman pengguna yang lebih kaya, bersama bidang lain seperti AI copilot yang terintegrasi ke dalam aplikasi bisnis dan machine learning untuk manajemen energi.

Sejumlah tantangan terbuka terkait sistem multimodal menurut materi sumber. Menyelaraskan modalitas satu sama lain adalah salah satunya. Memutuskan bagaimana dan kapan menggabungkannya adalah tantangan lain, begitu pula menangani situasi ketika salah satu modalitas tidak tersedia. Memilih sumber data yang saling melengkapi juga penting. Privasi menjadi kekhawatiran lain, karena menggabungkan beberapa sumber data dapat memungkinkan identifikasi ulang orang. Poin-poin ini relevan saat mengevaluasi apakah kemampuan multimodal cocok untuk skenario tertentu, terutama jika gambar, audio, atau video orang atau peralatan direkam sebagai bagian dari alur kerja sehari-hari.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Apa itu multimodal AI? (AI)

Multimodal AI mengacu pada model dan aplikasi yang memproses lebih dari satu jenis input, seperti teks, gambar, suara, dan video. Bidang riset yang mendasarinya disebut multimodal learning, yang menggabungkan beberapa jenis data, disebut modalitas, untuk memberikan gambaran yang lebih utuh daripada satu jenis saja.

Bagaimana model multimodal menggabungkan berbagai jenis data? (AI)

Pendekatan umum meliputi early fusion, di mana embedding digabungkan sebelum prediksi, intermediate fusion dari representasi yang diproses secara terpisah, dan cross-attention. Banyak multimodal LLM mengubah keluaran encoder menjadi token yang disisipkan di antara token teks.

Bagaimana multimodal AI diterapkan dalam pekerjaan lini depan? (AI)

Menurut sebuah episode M365.FM, computer vision mendukung tugas seperti OCR untuk nomor seri, pemindaian barcode dan QR untuk mengambil catatan, dan pemeriksaan berbasis foto seperti memverifikasi pemasangan jendela, meskipun pemeriksaan visual yang lebih canggih membutuhkan usaha yang signifikan.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: