IA multimodal: texto, imagem, vídeo, voz e sensores

Você fotografa a etiqueta de um remédio e pergunta ao assistente para que serve. Ou grava um áudio pedindo um resumo de um vídeo. Em ambos os casos, o sistema precisa entender algo que não é texto digitado. Essa capacidade se chama IA multimodal.

Este texto explica o que é uma modalidade, como os modelos multimodais são construídos, o que cada tipo de dado exige e quais riscos aparecem quando a IA passa a “ver” e “ouvir”.

O que é uma modalidade

Modalidade é um tipo de dado com estrutura própria. Texto é uma sequência de palavras. Imagem é uma grade de pixels. Áudio é uma onda que varia no tempo. Vídeo é uma sequência de imagens, quase sempre acompanhada de áudio. Sensores produzem números contínuos, como posição, temperatura, aceleração ou distância.

Um sistema é multimodal quando recebe ou gera mais de uma dessas modalidades. Um modelo que só lê e escreve texto é unimodal, mesmo sendo muito capaz. Se você ainda não conhece a base, comece por como funciona a IA generativa e o que são LLMs.

Na prática, a palavra cobre situações diferentes:

• Entrada multimodal, saída em texto. Você envia foto, PDF escaneado ou áudio e recebe uma resposta escrita.
• Entrada em texto, saída em outra modalidade. Você descreve uma cena e recebe uma imagem ou um áudio.
• Entrada e saída em várias modalidades. O modelo ouve e responde falando, ou combina imagem e texto na resposta.

A ideia central: transformar tudo em algo comparável

Um modelo de linguagem trabalha com tokens, pequenas unidades de texto convertidas em vetores numéricos (veja como funcionam os tokens). O truque da IA multimodal é fazer o mesmo com os outros tipos de dado: cortá-los em pedaços e convertê-los em vetores que o modelo consiga processar junto com o texto.

Um marco dessa ideia foi o Vision Transformer, de 2020. O artigo mostrou que uma imagem pode ser dividida em pequenos quadrados (no título, 16 por 16 pixels) e cada quadrado pode ser tratado como uma “palavra” por um modelo da família Transformer, a mesma arquitetura usada em modelos de linguagem (Dosovitskiy et al., 2020). Segundo os autores, esse modelo, pré-treinado em grandes bases de dados, teve resultados competitivos com as redes que dominavam a visão computacional até então.

Aprender imagem a partir da legenda

Outro passo importante foi ensinar o modelo a ligar imagens a descrições em linguagem natural. O CLIP, de 2021, foi treinado com 400 milhões de pares de imagem e texto coletados na internet, numa tarefa simples: descobrir qual legenda acompanha qual imagem (Radford et al., 2021).

O efeito prático é que a linguagem passa a funcionar como índice para conceitos visuais. Os autores relatam que o modelo conseguia classificar imagens de tarefas para as quais não tinha sido treinado especificamente, o chamado aprendizado zero-shot, e testaram isso em mais de 30 bases de dados de visão computacional.

Acoplar a visão a um modelo de linguagem

A geração seguinte juntou esses codificadores de imagem a modelos de linguagem já treinados. O Flamingo, de 2022, conectava um modelo de visão e um modelo de linguagem pré-treinados e aceitava sequências que misturam imagens, vídeos e texto (Alayrac et al., 2022). O LLaVA, de 2023, também conectava um codificador visual a um LLM e foi ajustado com exemplos de instruções sobre imagens que haviam sido gerados por um modelo de texto (Liu et al., 2023).

Uma revisão acadêmica sobre esses sistemas, chamados modelos de linguagem multimodais (MLLMs), resume a arquitetura com uma imagem: o LLM funciona como o “cérebro” que executa as tarefas multimodais (Yin et al., 2023). A revisão descreve três módulos típicos. Um codificador pré-treinado comprime a imagem ou o áudio em representações compactas. Um conector ajustável traduz esse resultado para o “idioma interno” do LLM. E o LLM faz a compreensão e o raciocínio. Alguns sistemas acrescentam um gerador, que permite responder com imagem ou áudio, e não só com texto.

Modalidade por modalidade

Imagem e documentos

É a modalidade mais madura nos assistentes de uso geral. Serve para descrever fotos, ler gráficos, interpretar capturas de tela e extrair texto de documentos escaneados. O CLIP já incluía reconhecimento de texto em imagens entre as tarefas testadas.

O ponto de atenção é que ler uma imagem não é o mesmo que entendê-la. Números pequenos, tabelas densas e caligrafia continuam sendo fonte frequente de erro, e o modelo nem sempre avisa quando não conseguiu ler.

Voz e áudio

Há duas formas de um sistema lidar com voz.

A primeira é em cadeia: um modelo transcreve a fala em texto, um LLM responde em texto e outro modelo converte a resposta em voz. O Whisper, de 2022, é um exemplo de transcritor. Foi treinado com 680 mil horas de áudio em vários idiomas e tarefas, com transcrições encontradas na internet (Radford et al., 2022).

A segunda é o modelo único, treinado de ponta a ponta. O cartão de sistema do GPT-4o, publicado pela OpenAI em outubro de 2024, descreve um modelo que recebe texto, áudio, imagem e vídeo e gera texto, áudio e imagem, com uma única rede neural processando tudo (OpenAI, 2024). Segundo a empresa, o modelo pode responder a uma entrada de áudio em até 232 milissegundos, com média de 320, perto do tempo de resposta de uma conversa humana.

A diferença importa. Na cadeia, tudo o que não vira texto se perde no caminho, como tom de voz, pausas e ruídos de fundo. No modelo único, essas informações podem, em princípio, ser consideradas.

Vídeo

Vídeo é caro. Uma hora de imagem e som gera uma quantidade enorme de dados, e o modelo precisa escolher o que olhar. A documentação da API Gemini, do Google, mostra como isso é feito na prática: por padrão, o vídeo é amostrado a 1 quadro por segundo, cada quadro consome um número fixo de tokens e o áudio é processado separadamente, a 32 tokens por segundo (Google, documentação de compreensão de vídeo, consultada em 08/10/2026).

A própria documentação alerta que, nessa taxa, ações rápidas podem perder detalhes. Se algo acontece entre dois quadros amostrados, o modelo simplesmente não viu. Isso vale para qualquer sistema que amostre vídeo, e é um bom motivo para desconfiar de respostas sobre eventos muito breves.

Sensores e o mundo físico

A modalidade menos visível para o público é a de sensores: câmeras de robôs, medições de posição, leituras de máquinas. O PaLM-E, de 2023, é um exemplo de pesquisa nessa direção. O modelo recebia “frases multimodais” que intercalavam imagens, estimativas de estado contínuas (como a posição de objetos) e texto, treinadas em conjunto com um modelo de linguagem pré-treinado (Driess et al., 2023). A versão maior tinha 562 bilhões de parâmetros.

Aqui o erro tem outro peso. Uma resposta errada sobre uma foto é corrigível. Uma ação errada de um robô ou de um sistema industrial pode causar dano físico. Por isso essa aplicação costuma andar junto com o debate sobre agentes de IA e sobre limites de autonomia.

Para que serve no dia a dia

Na avaliação da redação, os usos mais comuns hoje se agrupam assim:

• Documentos e formulários. Ler notas fiscais, contratos escaneados, tabelas em imagem e capturas de tela.
• Acessibilidade. Descrever imagens para pessoas com deficiência visual e transcrever áudio para pessoas com deficiência auditiva.
• Atendimento. Receber a foto de um produto com defeito ou um áudio do cliente. Tratamos riscos desse uso em IA no atendimento ao cliente.
• Busca e organização. Encontrar imagens ou trechos de vídeo a partir de uma descrição em texto, exatamente o que a ligação entre imagem e legenda do CLIP permite.
• Inspeção e indústria. Analisar imagens de peças, plantações ou instalações, em geral com modelos especializados e validação humana.

Onde a IA multimodal erra

Os modelos multimodais herdam os problemas dos modelos de texto, como as alucinações de IA, e ganham outros.

Ver o que não está lá. Uma revisão de 2024 sobre o tema define a alucinação multimodal como a geração de respostas inconsistentes com o conteúdo visual (Bai et al., 2024). Exemplos típicos: citar um objeto que não aparece na imagem, errar a quantidade de itens ou inventar a relação entre eles.

Perder o que passou rápido. Como mostrado acima, vídeos são amostrados. O que acontece entre os quadros pode não chegar ao modelo.

Obedecer ao que está escrito na imagem. O projeto de segurança em IA generativa da OWASP, organização de referência em segurança de aplicações, lista a injeção de prompt como o primeiro risco de aplicações com LLMs. No caso multimodal, alerta que um atacante pode esconder instruções em imagens que acompanham um texto inofensivo, e que ataques entre modalidades podem ser difíceis de detectar e mitigar com as técnicas atuais (OWASP, LLM01:2025). Na prática, uma imagem enviada por terceiros deve ser tratada como dado não confiável, não como ordem.

Custo e contexto. Imagens, áudio e vídeo consomem muitos tokens. Isso encarece o uso e ocupa a janela de contexto do modelo, assunto que detalhamos em contexto e memória em IA.

Privacidade. Fotos e gravações costumam conter mais informação do que parece: rostos, placas, documentos ao fundo, vozes de outras pessoas. Antes de enviar, vale perguntar o que mais está na imagem ou no áudio.

Como usar com mais segurança

1. Peça o que o modelo viu antes do que ele concluiu. Por exemplo: “transcreva os números da tabela” e só depois “calcule o total”. Fica mais fácil achar o erro.
2. Confira os detalhes críticos na fonte. Valores, datas, nomes e dosagens lidos de imagem devem ser checados no original.
3. Envie a melhor versão possível. Foto nítida, bem iluminada e recortada no que interessa reduz a margem de erro.
4. Desconfie de respostas sobre eventos rápidos em vídeo. Se a resposta depende de um instante, assista ao trecho.
5. Trate imagens e áudios de terceiros como não confiáveis. Em sistemas que processam arquivos recebidos, instruções dentro deles não devem virar ação automática.

O que levar deste texto

• IA multimodal é a que trabalha com mais de um tipo de dado: texto, imagem, áudio, vídeo ou sensores.
• A técnica comum é converter cada tipo de dado em representações que um mesmo modelo processa, quase sempre com um LLM no centro.
• Voz pode ser tratada em cadeia (transcrever, responder, sintetizar) ou por um modelo único; a segunda forma preserva mais do que não é texto.
• Vídeo é amostrado, e o que acontece entre os quadros pode passar despercebido.
• Os riscos incluem descrever o que não existe, obedecer a instruções escondidas em imagens e expor dados pessoais. Para decisões que importam, a checagem humana continua necessária.