M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Multimodal AI

Concept

Multimodal AI refere-se a modelos e aplicações que processam mais de um tipo de entrada, como texto, imagens, voz e vídeo.

✦ CONCEPTMultimodal AIM365.FM
Title graphic: Multimodal AI (Concept)

Também abordados

O episódio sobre Multimodal AI aborda também Azure AI Content Safety, Copilot Control System, Graphics processing unit (GPU), AI evaluation, Reranking e OpenAI.

Descrição

Multimodal AI refere-se a modelos e aplicações que processam mais de um tipo de entrada, como texto, imagens, voz e vídeo. Na literatura de pesquisa, o campo subjacente é chamado de aprendizado multimodal, um ramo do aprendizado profundo que combina diversos tipos de dados, conhecidos como modalidades. Estas podem incluir texto, imagens, áudio, vídeo e, na robótica, propriocepção. A ideia central é que combinar modalidades oferece uma visão mais completa do que qualquer tipo de dado isolado pode proporcionar.

Abordagens multimodais são usadas em tarefas como resposta a perguntas visuais, recuperação entre modalidades, geração de imagens a partir de texto e legendagem de imagens. Além disso, as aplicações citadas nas fontes vão de busca e recomendação a diagnósticos na área da saúde, robótica, reconhecimento de emoções e busca de código. Em contextos corporativos, o mesmo princípio aparece quando um sistema aceita uma foto, um pedido falado ou um documento junto com texto escrito e usa tudo isso para concluir uma tarefa.

Tecnicamente, um modelo multimodal precisa representar, de forma conjunta, as informações de cada modalidade. Existem várias abordagens. Na fusão precoce, os embeddings das diferentes modalidades são combinados antes de se fazer uma previsão. Na fusão intermediária, cada modalidade é processada separadamente primeiro e as representações resultantes são então combinadas. A atenção cruzada é outro mecanismo para relacionar uma modalidade a outra. Uma receita comum para grandes modelos de linguagem multimodais converte a saída de um codificador em tokens intercalados com tokens de texto, frequentemente usando um codificador de imagens congelado. Exemplos citados nas fontes incluem CLIP para representações conjuntas de imagem e texto, LLaVA, Whisper para áudio e DALL-E para geração. O campo foi proposto em 2011, e grandes modelos multimodais como Google Gemini e GPT-4o se popularizaram desde 2023.

O episódio do M365.FM "Beyond Copilot: Building AI That Works in the Real World with Azure AI Foundry and Agentic AI for Frontline Workers with Fergus Kidd [MVP]" posiciona a IA multimodal no contexto do trabalho de linha de frente. O episódio descreve a visão computacional como tendo valor prático imediato em campo. O OCR pode capturar números de série longos sem que um técnico precise lê-los em voz alta, e a leitura de códigos de barras e QR permite identificar rapidamente equipamentos e recuperar os registros corretos. Verificações visuais de qualidade mais avançadas, como validar a instalação de uma janela a partir de uma foto, são descritas como possíveis, mas exigindo esforço adicional considerável. O episódio apresenta isso como o ponto em que a IA corporativa se torna operacional: ela não apenas gera texto, mas conecta as pessoas aos dados certos e ajuda a concluir tarefas reais, alternando entre recuperação de conhecimento, anotações e relatórios dentro da mesma sessão.

O episódio "How Microsoft Built an Enterprise AI Architecture Advantage" inclui a IA multimodal entre as áreas de inovação em IA que discute. Ele descreve avanços na geração por IA que combinam texto, áudio e imagens para experiências de usuário mais ricas, ao lado de outras áreas, como copilotos de IA integrados a aplicações de negócios e aprendizado de máquina para gestão de energia.

Segundo o material de origem, vários desafios em aberto estão associados a sistemas multimodais. Alinhar as modalidades entre si é um deles. Decidir como e quando combiná-las é outro, assim como lidar com situações em que uma modalidade está ausente. A escolha de fontes de dados que se complementem também é importante. A privacidade é outra preocupação, pois combinar diversas fontes de dados pode tornar possível reidentificar pessoas. Esses pontos são relevantes ao avaliar se uma capacidade multimodal se adequa a determinado cenário, especialmente quando imagens, áudio ou vídeo de pessoas ou equipamentos são capturados como parte de fluxos de trabalho do dia a dia.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TipoConcept

Perguntas frequentes

Questions marked with AI were written with AI from the facts on this page.

O que é multimodal AI? (AI)

Multimodal AI refere-se a modelos e aplicações que processam mais de um tipo de entrada, como texto, imagens, voz e vídeo. O campo de pesquisa subjacente é chamado de aprendizado multimodal, que combina diversos tipos de dados, chamados modalidades, para oferecer uma visão mais completa do que um único tipo.

Como os modelos multimodais combinam diferentes tipos de dados? (AI)

Abordagens comuns incluem a fusão precoce, em que os embeddings são combinados antes da previsão, a fusão intermediária de representações processadas separadamente, e a atenção cruzada. Muitos LLMs multimodais convertem a saída de um codificador em tokens intercalados com tokens de texto.

Como a IA multimodal se aplica ao trabalho de linha de frente? (AI)

Segundo um episódio do M365.FM, a visão computacional oferece suporte a tarefas como OCR para números de série, leitura de códigos de barras e QR para recuperar registros e verificações baseadas em fotos, como validar a instalação de uma janela, embora verificações visuais mais avançadas exijam esforço considerável.

Glossário

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Especialistas e empresas para este tópico

Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: