M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions m365con.net

Multimodal AI

Concept

Multimodal AI – це моделі та застосунки, які обробляють більше ніж один тип вхідних даних, наприклад текст, зображення, голос і відео.

✦ CONCEPTMultimodal AIM365.FM
Title graphic: Multimodal AI (Concept)

Також обговорюють

У випуску на тему Multimodal AI обговорюють також: Azure AI Content Safety, Copilot Control System, Graphics processing unit (GPU), AI evaluation, Reranking та OpenAI.

Description

Multimodal AI – це моделі та застосунки, які обробляють більше ніж один тип вхідних даних, наприклад текст, зображення, голос і відео. У науковій літературі базова галузь називається multimodal learning – це напрям глибокого навчання, який поєднує кілька видів даних, відомих як modalities (модальності). Серед них можуть бути текст, зображення, аудіо, відео та, у робототехніці, пропріоцепція. Головна ідея полягає в тому, що поєднання модальностей дає повнішу картину, ніж будь-який окремий тип даних.

Мультимодальні підходи використовуються для таких завдань, як visual question answering, cross-modal retrieval, генерація зображень із тексту та image captioning. Окрім цього, у джерелах згадуються застосування від пошуку та рекомендацій до діагностики в охороні здоров'я, робототехніки, розпізнавання емоцій і пошуку коду. В корпоративному середовищі той самий принцип проявляється тоді, коли система приймає фото, усний запит або документ разом із текстом і використовує все це для виконання завдання.

Технічно мультимодальна модель має спільно представляти інформацію з кожної модальності. Існує кілька підходів. При early fusion (раннє злиття) вбудовування різних модальностей об'єднуються перед тим, як зробити прогноз. При intermediate fusion (проміжне злиття) кожна модальність спочатку обробляється окремо, а потім отримані представлення поєднуються. Cross-attention – це ще один механізм для зв'язування однієї модальності з іншою. Поширений підхід для мультимодальних великих мовних моделей перетворює вихід енкодера на токени, які чергуються з текстовими токенами, часто використовуючи заморожений енкодер зображень. Серед прикладів, згаданих у джерелах, – CLIP для спільних представлень зображення і тексту, LLaVA, Whisper для аудіо та DALL-E для генерації. Цю галузь запропонували у 2011 році, а великі мультимодальні моделі, такі як Google Gemini та GPT-4o, набули популярності з 2023 року.

Епізод M365.FM «Beyond Copilot: Building AI That Works in the Real World with Azure AI Foundry and Agentic AI for Frontline Workers with Fergus Kidd [MVP]» розглядає мультимодальний AI в контексті роботи польового персоналу. В епізоді комп'ютерний зір описується як такий, що має негайну практичну цінність на місці. OCR може зчитувати довгі серійні номери без того, щоб техніку доводилося їх диктувати, а сканування штрихкодів і QR-кодів дозволяє швидко ідентифікувати обладнання та отримати потрібні записи. Складніші візуальні перевірки якості, наприклад підтвердження монтажу вікна за фотографією, описуються як можливі, але такі, що потребують значних додаткових зусиль. Епізод подає це як момент, коли корпоративний AI стає операційним: він не лише генерує текст, а й поєднує людей з потрібними даними та допомагає виконувати реальні завдання, переходячи між пошуком знань, нотатками та звітністю в межах однієї сесії.

Епізод «How Microsoft Built an Enterprise AI Architecture Advantage» серед напрямів інновацій у сфері AI називає й мультимодальний AI. Він описує досягнення в генерації за допомогою AI, які поєднують текст, аудіо та зображення для багатших користувацьких вражень, поряд з іншими напрямами, зокрема AI-копілотами, інтегрованими в бізнес-застосунки, та машинним навчанням для управління енергоспоживанням.

За матеріалами джерел, з мультимодальними системами пов'язано кілька відкритих викликів. Один із них – узгодження модальностей між собою. Інший – визначення того, як і коли їх поєднувати, а також обробка ситуацій, коли якась модальність відсутня. Важливим є і вибір джерел даних, які доповнюють одне одного. Окрема проблема – приватність, адже поєднання кількох джерел даних може зробити можливою повторну ідентифікацію людей. Ці питання важливі під час оцінювання того, чи підходить мультимодальна можливість для конкретного сценарію, особливо коли зображення, аудіо чи відео людей або обладнання фіксуються як частина повсякденних робочих процесів.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

Що таке multimodal AI? (AI)

Multimodal AI – це моделі та застосунки, які обробляють більше ніж один тип вхідних даних, наприклад текст, зображення, голос і відео. Базова дослідницька галузь називається multimodal learning; вона поєднує кілька видів даних, названих модальностями, щоб дати повнішу картину, ніж один тип.

Як мультимодальні моделі поєднують різні типи даних? (AI)

Поширені підходи включають early fusion, коли вбудовування об'єднуються перед прогнозом, intermediate fusion окремо оброблених представлень і cross-attention. Багато мультимодальних LLM перетворюють вихід енкодера на токени, які чергуються з текстовими токенами.

Як multimodal AI застосовується в роботі польового персоналу? (AI)

За епізодом M365.FM, комп'ютерний зір підтримує такі завдання, як OCR для серійних номерів, сканування штрихкодів і QR-кодів для отримання записів і фотографічні перевірки, наприклад підтвердження монтажу вікна, хоча складніші візуальні перевірки потребують значних зусиль.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: