Fine-tuning ou RAG: quando usar cada abordagem

Quando uma empresa quer que a IA “conheça” seus produtos, normas ou clientes, logo aparecem duas propostas. Uma é treinar o modelo com os dados da empresa, o chamado fine-tuning. A outra é deixar o modelo como está e conectá-lo aos documentos, a técnica conhecida como RAG.

As duas mexem em coisas diferentes. Este texto explica o que cada uma faz, o que pesquisas publicadas dizem sobre elas e como decidir, na prática, por onde começar.

O que cada abordagem muda

Um modelo de linguagem é, em essência, um conjunto enorme de números ajustados durante o treinamento. Esses números são os parâmetros. Tudo o que o modelo “sabe” de forma permanente está guardado neles. Se quiser revisar a base, veja o que são LLMs.

Fine-tuning (ajuste fino) é continuar o treinamento de um modelo já pronto com um conjunto menor de exemplos escolhidos por você. Ao final, parte dos parâmetros muda, e o modelo passa a responder de um jeito diferente mesmo sem instruções extras no prompt.

RAG (retrieval-augmented generation, ou geração aumentada por recuperação) não toca nos parâmetros. A cada pergunta, o sistema busca trechos relevantes nos seus documentos e os coloca no prompt, junto com a pergunta. O modelo responde lendo esse material. O mecanismo está detalhado em RAG: como conectar IA a documentos.

Uma forma simples de guardar a diferença:

• Fine-tuning muda como o modelo responde.
• RAG muda o que o modelo tem à mão para responder.

O que as pesquisas dizem sobre ensinar fatos

A dúvida mais comum é: “se eu treinar o modelo com meus documentos, ele vai saber o conteúdo deles?”. Dois estudos ajudam a responder.

Comparação direta entre fine-tuning e RAG

No artigo Fine-Tuning or Retrieval?, de Oded Ovadia e coautores (dezembro de 2023), os pesquisadores compararam as duas técnicas para “injetar conhecimento” em três modelos de 7 bilhões de parâmetros (Llama 2, Mistral e Orca 2). O fine-tuning usado foi do tipo não supervisionado: o modelo simplesmente continuou treinando sobre os textos.

Os testes usaram perguntas de múltipla escolha sobre temas como anatomia e astronomia e, num segundo conjunto, sobre acontecimentos de agosto a novembro de 2023, posteriores ao treinamento dos modelos. Segundo os autores, o RAG superou o fine-tuning de forma consistente, tanto para conhecimento que o modelo já tinha visto quanto para conhecimento novo.

Nos acontecimentos recentes, a diferença foi grande. O Mistral 7B, por exemplo, acertou 48,1% sem ajuda, 50,4% depois do fine-tuning e 87,5% com RAG. Combinar os dois (modelo ajustado e com RAG) ficou abaixo do RAG sozinho nesse conjunto de testes.

Houve uma nuance útil. Quando os pesquisadores treinaram o modelo com várias paráfrases do mesmo conteúdo (dez versões de cada trecho), o fine-tuning melhorou. Os autores tratam esse resultado como preliminar, mas ele sugere que o modelo precisa ver o mesmo fato escrito de muitas formas para absorvê-lo.

Fatos novos e alucinação

O segundo estudo, Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?, de Zorik Gekhman e coautores (maio de 2024, aceito na conferência EMNLP 2024), olhou o problema por outro ângulo. Os autores variaram a proporção de exemplos de treino com fatos que o modelo ainda não conhecia.

Os resultados relatados:

• O modelo aprende exemplos com fatos novos muito mais devagar do que exemplos coerentes com o que já sabe.
• Quando finalmente aprende esses fatos novos, a tendência a alucinar, ou seja, a inventar respostas, aumenta de forma linear.

A conclusão dos autores é que os modelos adquirem conhecimento factual principalmente no pré-treinamento (a fase inicial, com enormes volumes de texto), e que o fine-tuning ensina sobretudo a usar melhor o que já existe ali.

São dois estudos, com modelos e testes específicos. Não encerram o assunto. Mas apontam na mesma direção: se o objetivo é que o modelo responda com base em fatos da sua empresa, treinar com esses fatos é um caminho fraco e arriscado.

Para que o fine-tuning serve bem

Isso não torna o fine-tuning inútil. Ele brilha em outro tipo de problema: comportamento.

A página Model optimization da OpenAI, consultada em 08/10/2026, lista como bons usos do ajuste supervisionado:

• classificação de textos;
• tradução com nuances;
• conteúdo num formato específico;
• correção de falhas em seguir instruções;
• tom e estilo.

A mesma página cita outros ganhos: respostas com formato mais consistente, prompts mais curtos (porque o modelo já “sabe” o que fazer sem tantos exemplos) e a possibilidade de obter um modelo menor e mais barato para uma tarefa específica.

Um exemplo concreto: uma equipe que classifica milhares de chamados de suporte por dia em vinte categorias internas. As categorias não mudam toda semana, há um histórico grande de chamados já classificados por pessoas, e o que importa é responder sempre no mesmo formato. Esse é o perfil típico em que o ajuste fino pode compensar.

A própria OpenAI também diz, na mesma página, que a engenharia de prompts pode ser tudo o que você precisa para obter bons resultados. Antes de treinar qualquer coisa, vale esgotar o que dá para fazer com instruções bem escritas; veja engenharia de prompts.

Um sinal de mercado

Na mesma consulta, a página da OpenAI informa que a empresa está encerrando sua plataforma de fine-tuning: o serviço não aceita novos usuários, os atuais podem criar treinamentos “nos próximos meses” e os modelos já ajustados seguem disponíveis até a descontinuação dos modelos-base. É a situação de um fornecedor em outubro de 2026, não uma regra do setor. Outros provedores e modelos abertos continuam oferecendo ajuste fino.

Na avaliação da redação, o episódio ilustra um risco prático: um modelo ajustado fica preso ao modelo-base e ao fornecedor. Quando a base é aposentada, o trabalho de treino precisa ser refeito. Um sistema de RAG costuma ser mais fácil de mover para outro modelo, porque o conhecimento fica nos documentos.

Custo, esforço e manutenção

As duas abordagens têm custos de natureza diferente.

Fine-tuning

O custo está concentrado antes do uso: montar um conjunto de exemplos de qualidade, rodar o treinamento, avaliar e repetir. E toda vez que a informação muda, é preciso treinar de novo.

Técnicas como a LoRA reduziram muito o custo computacional. No artigo LoRA, de Edward Hu e coautores (2021), em vez de alterar todos os parâmetros, o método congela o modelo e treina pequenas matrizes adicionais. Os autores relatam, em comparação com o ajuste completo do GPT-3 de 175 bilhões de parâmetros, uma redução de 10 mil vezes no número de parâmetros treináveis e de cerca de três vezes na memória de GPU necessária. A QLoRA, de Tim Dettmers e coautores (2023), foi além e permitiu ajustar um modelo de 65 bilhões de parâmetros numa única GPU de 48 GB.

Esses avanços baixam a conta de hardware. Não baixam o trabalho de preparar dados bons, que costuma ser a parte mais demorada.

RAG

O custo está espalhado pelo uso. É preciso montar e manter o índice de documentos, e cada pergunta leva trechos extras no prompt, o que significa mais tokens cobrados por resposta.

Em compensação, atualizar o conhecimento é trocar ou acrescentar documentos. O artigo original do RAG, de Patrick Lewis e coautores (2020), já apontava essa vantagem e a de indicar a origem de cada resposta, dois problemas difíceis para modelos que dependem só da memória interna.

Quando combinar os dois

As abordagens não são excludentes. O método RAFT, descrito por Tianjun Zhang e coautores (2024), usa fine-tuning justamente para melhorar o uso do RAG: o modelo é treinado para ignorar documentos recuperados que não ajudam e para citar literalmente o trecho que sustenta a resposta. Os autores relatam ganhos sobre as abordagens de comparação em conjuntos de dados de medicina (PubMed), perguntas de múltiplas etapas (HotpotQA) e uso de APIs (Gorilla).

Repare na divisão de papéis: o conhecimento continua nos documentos, e o ajuste ensina uma habilidade, a de ler bem esses documentos. Isso conversa com o que os outros estudos indicam.

Lembre também que, no estudo de Ovadia, juntar as duas técnicas não melhorou o resultado em relação ao RAG sozinho. Combinar só vale a pena quando cada parte resolve um problema que você mediu.

Um roteiro para decidir

Na avaliação da redação, a ordem abaixo evita a maioria dos desperdícios. Ela não é uma regra universal, e cada caso pede teste.

1. Comece com um bom prompt. Instruções claras, exemplos e formato de saída definido resolvem muitos casos.
2. Se o problema é falta de informação, use RAG. Documentos internos, dados que mudam, necessidade de citar a fonte ou de controlar quem vê o quê apontam para recuperação.
3. Se a base é pequena, teste colocá-la inteira no contexto. O tema está em contexto e memória em IA.
4. Se o problema é comportamento, considere fine-tuning. Formato que o modelo insiste em errar, tom muito específico, classificação em grande volume, ou necessidade de um modelo menor e mais barato.
5. Meça antes e depois. Monte um conjunto de perguntas de teste com respostas conhecidas e compare as alternativas. Critérios em como avaliar respostas de IA.

Algumas perguntas ajudam a classificar o seu caso:

• A informação muda com frequência? Isso favorece RAG.
• Você precisa mostrar de onde veio a resposta? Isso favorece RAG.
• Você tem centenas ou milhares de exemplos de entrada e saída corretas? Sem isso, fine-tuning dificilmente compensa.
• O erro do modelo é de conteúdo ou de forma? Conteúdo pede RAG; forma pode pedir fine-tuning.

Riscos que valem para os dois

• Dados sensíveis. No fine-tuning, os dados de treino passam a influenciar o modelo e, se o treinamento é feito por um fornecedor, saem do seu ambiente. No RAG, ficam num índice que precisa respeitar permissões de acesso.
• Qualidade da base. Documentos errados geram respostas erradas no RAG; exemplos ruins geram um modelo ajustado ruim.
• Avaliação insuficiente. Sem um conjunto de testes, não há como saber se a mudança melhorou ou piorou o sistema.

O que levar deste texto

Fine-tuning e RAG resolvem problemas diferentes. RAG dá ao modelo acesso a informação que ele não tem, com atualização simples e fonte rastreável. Fine-tuning ajusta o comportamento: formato, tom, tarefas repetitivas e custo por resposta.

Os estudos citados indicam que treinar o modelo com fatos novos é pouco eficiente e pode aumentar alucinações. Por isso, para a maior parte dos projetos que querem “a IA respondendo sobre os nossos documentos”, o caminho mais seguro é começar com um bom prompt, passar ao RAG e deixar o fine-tuning para quando houver um problema de comportamento claro e medido.