Como avaliar a qualidade de respostas de IA

Você faz uma pergunta a um assistente de IA e recebe um texto fluente, organizado em tópicos, com tom seguro. Parece ótimo. Mas parecer ótimo não diz nada sobre estar certo.

Este texto mostra como avaliar respostas de IA de forma deliberada. Primeiro, para quem usa um chatbot no dia a dia. Depois, para quem coloca IA em um processo de trabalho e precisa medir a qualidade com mais rigor.

Por que a aparência engana

Um modelo de linguagem (LLM, na sigla em inglês) gera texto prevendo a continuação mais provável a partir do que aprendeu em grandes volumes de dados. Se você quiser entender esse mecanismo, veja o que são LLMs e como funciona a IA generativa.

O ponto central para a avaliação é este: o mesmo processo que produz frases corretas também produz frases erradas, com a mesma fluência. O perfil de IA generativa do NIST, o instituto de padrões dos Estados Unidos, descreve esse risco como confabulação: a produção de conteúdo errado ou falso apresentado com confiança, conhecido popularmente como “alucinação” (NIST AI 600-1, julho de 2024). O documento observa que o risco aparece quando o usuário acredita no conteúdo justamente por causa do tom confiante.

O mesmo texto do NIST faz um alerta útil para quem avalia: o modelo pode apresentar justificativas e até citações confabuladas para sustentar uma resposta errada. Ou seja, uma resposta “com fontes” ainda precisa ter as fontes conferidas. O tema é aprofundado no nosso texto sobre alucinações de IA.

Há também uma explicação de por que os modelos tendem a “chutar”. Um artigo de Adam Tauman Kalai e coautores, publicado em setembro de 2025, argumenta que muitos testes de desempenho dão ponto só para a resposta certa e zero para “não sei”. Nesse sistema, adivinhar compensa mais do que admitir dúvida (Kalai et al., 2025). Na prática, isso significa que você não deve tratar a ausência de ressalvas como sinal de segurança.

Os critérios que importam

Antes de julgar uma resposta, defina o que “boa” significa para aquela tarefa. A documentação da Anthropic sobre avaliação recomenda critérios específicos, mensuráveis, alcançáveis e relevantes, e lembra que a maioria dos usos exige avaliar várias dimensões ao mesmo tempo (Anthropic, “Define success criteria and build evaluations”). Entre os critérios listados ali estão fidelidade à tarefa, consistência, relevância e coerência, tom, privacidade, uso do contexto fornecido, tempo de resposta e custo.

A pesquisa acadêmica segue a mesma linha. O projeto HELM, de Stanford, propôs avaliar modelos de linguagem em sete métricas, e não só na taxa de acerto: exatidão, calibração, robustez, justiça, viés, toxicidade e eficiência (Liang et al., 2022). Calibração é a capacidade de a confiança expressa pelo sistema corresponder à chance real de estar certo.

Para o uso cotidiano, a redação propõe condensar essas referências em seis perguntas:

1. Exatidão. Os fatos, números, datas e nomes estão corretos?
2. Fundamentação. As afirmações importantes têm fonte verificável, e a fonte diz mesmo aquilo?
3. Aderência ao pedido. A resposta faz o que você pediu, no formato e no escopo pedidos?
4. Coerência. As partes da resposta são consistentes entre si e com o material que você forneceu?
5. Completude. Faltou algo essencial, como uma exceção, um risco ou uma condição?
6. Honestidade sobre incerteza. A resposta indica o que não sabe, ou afirma tudo no mesmo tom?

Checklist rápido para o uso diário

Use esta lista quando a resposta for servir para alguma decisão, mesmo pequena.

• Separe o que é verificável. Sublinhe mentalmente nomes, números, datas, citações e referências. São os pontos com maior chance de erro e os mais fáceis de checar.
• Abra as fontes. Se a resposta cita um artigo, lei ou página, abra o link e confira se existe e se sustenta a afirmação. Desconfie de referências que você não consegue localizar.
• Confira datas. Pergunte-se se a informação pode ter mudado. Preços, versões de produtos, regras e rankings mudam rápido.
• Peça a mesma coisa de novo. Faça a pergunta outra vez, ou reformule. Se os detalhes mudam a cada tentativa, trate-os como suspeitos. Esse é o princípio do método SelfCheckGPT: quando o modelo inventa, as respostas amostradas tendem a “divergir e se contradizer”, segundo os autores (Manakul et al., 2023).
• Cobre a incerteza. Peça que o modelo aponte o que não sabe ou o que depende de verificação. Isso não garante acerto, mas ajuda a localizar os pontos frágeis.
• Compare com o material de origem. Se você deu um documento e pediu um resumo, confira se cada afirmação do resumo está no documento. Acréscimos que não estão lá são um tipo comum de erro.
• Avalie o risco do erro. Quanto custa estar errado? Em saúde, direito, finanças ou segurança, a resposta da IA serve como ponto de partida, não como palavra final. Procure fonte oficial ou um profissional.

Um detalhe sobre perguntas: a forma como você pergunta influencia a qualidade. Pedidos vagos geram respostas vagas. Se quiser melhorar o que entra, veja nosso guia de engenharia de prompts.

Quando a IA entra num processo de trabalho

Se a IA vai responder clientes, resumir contratos ou classificar chamados, a checagem caso a caso não basta. Você precisa de uma avaliação (ou eval): um conjunto de testes que mede a qualidade de forma repetível.

O guia de boas práticas de avaliação da OpenAI descreve um ciclo em cinco etapas: definir o objetivo, coletar um conjunto de dados, definir métricas, rodar e comparar, e avaliar continuamente (OpenAI, “Evaluation best practices”). O mesmo guia alerta contra as avaliações “por impressão”, do tipo “parece que está funcionando”.

Na prática, isso se traduz em um roteiro:

1. Escreva o critério de sucesso. Em vez de “respostas boas”, algo como “o resumo cita prazo, multa e foro do contrato, sem acrescentar cláusulas”.
2. Monte um conjunto de exemplos reais. Use casos do seu dia a dia, incluindo os difíceis e os raros. Para cada um, registre o que seria uma resposta aceitável.
3. Escolha como pontuar. Algumas coisas uma regra automática verifica (formato, presença de um campo, correspondência exata). Outras exigem julgamento.
4. Rode antes e depois de cada mudança. Trocou o modelo, o prompt ou os documentos de apoio? Rode o mesmo conjunto e compare.
5. Acrescente os erros que aparecerem. Cada falha encontrada em uso real vira um novo caso de teste.

O perfil do NIST vai na mesma direção ao observar que o risco de confabulação merece monitoramento especial quando a IA é integrada a aplicações que envolvem decisões de consequência (NIST AI 600-1).

Quem avalia: pessoas, regras e juízes de IA

Há três formas principais de pontuar respostas, segundo o guia da OpenAI.

• Métricas automáticas. Comparação exata de texto, presença de palavras, validação de formato. São baratas e boas para detectar regressões, mas perdem nuances.
• Avaliação humana. É a de maior qualidade, mas lenta e cara. Avaliadores também discordam entre si, por isso o guia sugere critérios de aprovado/reprovado e votação por consenso.
• IA como juiz. Um segundo modelo avalia a resposta do primeiro. É mais barato e escala melhor.

A técnica de IA como juiz tem base empírica, mas também limites conhecidos. Um estudo de 2023 encontrou concordância acima de 80% entre o GPT-4 como juiz e avaliadores humanos, nível comparável ao de concordância entre humanos (Zheng et al., 2023). O mesmo estudo documentou vieses: preferência pela posição em que a resposta aparece, por respostas mais longas e pelas respostas do próprio modelo.

Por isso, a recomendação do guia da OpenAI é validar o juiz de IA contra rótulos humanos antes de confiar nele. Na avaliação da redação, um bom ponto de partida é pedir ao juiz um veredito simples (aprova ou reprova, com motivo) e conferir uma amostra manualmente.

O que os rankings públicos dizem e o que não dizem

Rankings e testes de referência (benchmarks) ajudam a comparar modelos em condições padronizadas. Eles não dizem como um modelo vai se sair na sua tarefa.

Um exemplo clássico é o TruthfulQA, publicado em 2021: 817 perguntas, em 38 categorias como saúde, direito e finanças, desenhadas para induzir respostas que repetem crenças falsas populares. Na época, o melhor modelo testado foi verdadeiro em 58% das perguntas, contra 94% de humanos, e os maiores modelos foram em geral os menos verdadeiros (Lin et al., 2021). Esses números descrevem os modelos de 2021, não os atuais. O valor do estudo hoje está na lição de método: um modelo pode ser muito capaz e ainda assim reproduzir erros comuns presentes nos dados.

Além disso, como argumentam Kalai e coautores, muitos testes recompensam o palpite. Um modelo com pontuação alta pode ter chegado lá arriscando respostas que um sistema mais cauteloso deixaria em aberto (Kalai et al., 2025). Um ranking mede o que o teste mede, e nada além disso.

Sinais de alerta

Alguns padrões pedem checagem redobrada:

• referências com título, autor ou link que você não encontra;
• números muito precisos sem origem indicada;
• respostas que mudam de detalhe a cada nova tentativa;
• concordância imediata com uma premissa sua que pode estar errada;
• afirmações sobre fatos recentes sem data;
• resumo que traz algo que não está no documento original.

Se a ferramenta trabalha com seus documentos, vale entender também como funcionam RAG e IA com documentos e contexto e memória em IA, porque boa parte dos erros nasce do que o modelo recebeu, ou deixou de receber.

O que levar deste texto

• Fluência e confiança não são evidência de acerto. Avalie fatos, fontes e coerência, não o tom.
• Defina o que é uma boa resposta antes de olhar para ela, com critérios específicos para a sua tarefa.
• No uso diário, aplique o checklist: separe o verificável, abra as fontes, repita a pergunta e pese o custo do erro.
• Em processos de trabalho, troque a impressão por testes repetíveis, rodados a cada mudança, e valide qualquer juiz de IA contra avaliação humana.
• Rankings públicos são um ponto de partida, não um veredito sobre o seu caso de uso.