LLMs: o que são os grandes modelos de linguagem

Quando você pede a um assistente de IA para resumir um relatório ou redigir um e-mail, quem produz o texto é um LLM. A sigla aparece em quase toda notícia sobre inteligência artificial, mas raramente vem explicada.

Este texto mostra o que é um LLM, como ele gera respostas, como é treinado e quais limites você deve ter em mente ao usá-lo. Se quiser começar por um panorama mais amplo, veja antes o que é inteligência artificial.

O que significa LLM

LLM vem do inglês large language model, ou grande modelo de linguagem.

Um modelo de linguagem é um programa que aprendeu, a partir de exemplos, quais sequências de texto são prováveis. Segundo o curso de LLMs da Hugging Face, modelos como GPT, BERT e T5 são treinados como modelos de linguagem sobre grandes quantidades de texto bruto, de forma autossupervisionada. O resultado é uma espécie de retrato estatístico da língua.

O “grande” do nome se refere a duas coisas: a quantidade de dados usada no treino e o número de parâmetros do modelo.

Parâmetros são os números internos que o modelo ajusta durante o treinamento. Funcionam como milhões ou bilhões de pequenos botões de regulagem. Dois exemplos documentados ajudam a dar escala:

• o GPT-3, descrito em artigo de 2020 de Tom B. Brown e coautores, tinha 175 bilhões de parâmetros;
• o maior modelo da família Llama 3, descrito em artigo de 2024, tem 405 bilhões de parâmetros e uma janela de contexto de até 128 mil tokens.

Não existe uma linha oficial que separe um modelo “grande” de um “pequeno”. Na avaliação da redação, o termo LLM descreve mais uma família de técnicas do que um tamanho exato.

A ideia central: prever o próximo pedaço de texto

Um LLM não consulta um banco de respostas prontas. Ele gera texto aos poucos.

Primeiro, o texto que você digita é dividido em tokens, pequenos pedaços que podem ser palavras inteiras, partes de palavras ou sinais. Explicamos isso em detalhe em como funcionam os tokens nos modelos de IA.

Depois, o modelo calcula quais tokens têm mais chance de vir em seguida. Ele escolhe um, acrescenta ao texto e repete o processo. A resposta inteira nasce desse ciclo, token por token.

Imagine a frase “Choveu o dia inteiro, então levei o meu”. Um modelo bem treinado atribui alta probabilidade a “guarda-chuva” e baixa probabilidade a “abacaxi”. Não porque “entenda” a chuva como você, mas porque viu padrões parecidos milhões de vezes nos dados.

A Hugging Face chama essa tarefa de modelagem causal de linguagem: a saída depende do que veio antes, nunca do que vem depois. É uma descrição simplificada, mas suficiente para entender por que um LLM soa fluente: ele foi otimizado justamente para produzir continuações plausíveis.

Plausível, porém, não é o mesmo que verdadeiro. Voltaremos a esse ponto adiante.

O Transformer, a arquitetura por trás

A maioria dos LLMs atuais se apoia no Transformer, arquitetura de rede neural apresentada em 2017 no artigo “Attention Is All You Need”, de Ashish Vaswani e coautores.

A novidade foi basear o modelo inteiramente em mecanismos de atenção, abandonando as estruturas recorrentes e convolucionais que dominavam a área. Em termos simples, a atenção permite que cada token “olhe” para os outros tokens da sequência e pese quais deles importam mais para interpretá-lo.

Na frase “O banco estava cheio porque era dia de pagamento”, a atenção ajuda o modelo a ligar “banco” a “pagamento” e não a uma praça com bancos de madeira.

Segundo os autores, o Transformer era mais paralelizável e exigia bem menos tempo de treino que as alternativas da época. Essa eficiência tornou viável treinar modelos cada vez maiores.

O Transformer original foi pensado para tradução e tinha duas partes: um codificador, que lê a entrada, e um decodificador, que gera a saída. A Hugging Face explica que modelos só com decodificador são os mais usados para geração de texto. É essa a família dos assistentes conversacionais. Para o quadro mais amplo, veja como funciona a IA generativa.

Como um LLM é treinado

O treinamento costuma ter duas grandes etapas.

Pré-treinamento

No pré-treinamento, o modelo começa com parâmetros aleatórios e é exposto a um volume enorme de texto. A tarefa é sempre a mesma: prever o próximo token. Como a resposta certa já está no próprio texto, ninguém precisa rotular os exemplos à mão. Por isso o processo é chamado de autossupervisionado.

Para dar ideia do volume, o artigo do Llama 3 informa que o modelo foi pré-treinado com cerca de 15 trilhões de tokens multilíngues.

Por que tanto? Um estudo de 2020 de Jared Kaplan e coautores, “Scaling Laws for Neural Language Models”, observou que o erro dos modelos de linguagem cai de forma previsível, seguindo uma lei de potência, conforme aumentam o tamanho do modelo, a quantidade de dados e a capacidade de computação usada no treino. Esse tipo de resultado ajudou a justificar a corrida por modelos maiores.

O custo também cresce. A Hugging Face lembra que treinar modelos grandes consome muito tempo, computação e energia, com impacto ambiental.

Ajuste e alinhamento

Um modelo apenas pré-treinado sabe continuar textos, mas não necessariamente segue instruções. Pedir “resuma este contrato” pode render uma continuação qualquer em vez de um resumo.

O artigo InstructGPT, publicado em 2022 por Long Ouyang e coautores, mostrou um caminho para resolver isso. Os autores afirmam que aumentar o modelo não basta para que ele siga a intenção do usuário. A proposta foi:

1. ajustar o modelo com exemplos de respostas escritas por pessoas (o chamado ajuste fino, ou fine-tuning);
2. pedir a avaliadores humanos que ordenassem respostas do modelo da melhor para a pior;
3. usar essas preferências para treinar o modelo por reforço, técnica conhecida como RLHF (reinforcement learning from human feedback, aprendizado por reforço com feedback humano).

Segundo o artigo, os avaliadores preferiram as respostas do InstructGPT às do GPT-3, mesmo sendo o GPT-3 muito maior. Os próprios autores ressalvam que o modelo ainda cometia erros simples.

O que os LLMs fazem bem

O artigo do GPT-3 chamou atenção para uma capacidade que hoje parece banal: executar tarefas novas apenas com instruções e alguns exemplos no próprio texto do pedido, sem novo treinamento. Os autores chamaram isso de aprendizado com poucos exemplos (few-shot) e citaram tradução, perguntas e respostas e aritmética simples entre as tarefas testadas.

Na prática, isso explica por que um mesmo LLM consegue:

• resumir, reescrever e traduzir textos;
• classificar mensagens ou extrair dados de documentos;
• sugerir e explicar código;
• responder perguntas em linguagem natural.

A forma como você formula o pedido faz diferença no resultado. O assunto é tratado em engenharia de prompts.

Os LLMs também são a base de sistemas mais complexos, como os que consultam seus próprios documentos antes de responder (RAG) e os que executam tarefas em várias etapas (agentes de IA).

Limites que você precisa conhecer

A fluência de um LLM é justamente o que torna seus erros difíceis de perceber. Estes são os principais riscos.

Respostas falsas com aparência de verdade. Os modelos às vezes produzem afirmações plausíveis, porém erradas, fenômeno chamado de alucinação. Um artigo de 2025 de Adam Tauman Kalai e coautores, “Why Language Models Hallucinate”, argumenta que parte do problema vem de como os modelos são treinados e avaliados: os métodos de pontuação mais comuns recompensam o “chute” em vez de admitir incerteza. Veja mais em alucinações de IA.

Vieses herdados dos dados. O pré-treinamento usa grandes volumes de texto coletados da internet, e o modelo aprende o bom e o ruim desse material. A Hugging Face mostra um exemplo com o modelo BERT: ao completar frases sobre profissões, ele sugere ocupações diferentes para homens e mulheres, reproduzindo estereótipos. Segundo o curso, o ajuste fino com seus próprios dados não elimina esse viés de origem.

Conhecimento limitado ao treino. O que o modelo “sabe” vem do material com que foi treinado. Fatos posteriores só entram na resposta se forem fornecidos no próprio pedido ou buscados por alguma ferramenta conectada.

Memória de trabalho finita. Cada modelo só consegue considerar uma quantidade limitada de texto por vez, a chamada janela de contexto. Entenda como isso afeta conversas longas em contexto e memória em IA.

Texto difícil de distinguir do humano. Os autores do GPT-3 já relatavam em 2020 que avaliadores humanos tinham dificuldade em distinguir notícias geradas pelo modelo de notícias escritas por pessoas. Isso facilita o uso de LLMs para produzir desinformação em escala.

Como usar um LLM com mais segurança

Algumas práticas reduzem os riscos no dia a dia. São recomendações da redação, não regras técnicas:

• trate a resposta como rascunho, não como fato verificado;
• confira números, datas, nomes e citações em fontes independentes;
• desconfie de referências que você não consegue abrir: elas podem ter sido inventadas;
• evite colar dados pessoais, senhas ou informações sigilosas sem saber como o serviço trata esses dados;
• para decisões de saúde, dinheiro ou direito, consulte um profissional.

Para um roteiro mais completo, leia como avaliar respostas de IA.

O que levar deste texto

Um LLM é um modelo estatístico treinado com quantidades enormes de texto para prever o próximo token. Dessa tarefa simples, repetida em grande escala sobre a arquitetura Transformer, surge a capacidade de resumir, traduzir e conversar.

Etapas de ajuste com feedback humano tornam o modelo mais útil para seguir instruções, mas não o tornam infalível.

Use LLMs como assistentes de primeira versão. A responsabilidade de verificar o que é importante continua sendo sua.