Agentes autônomos: onde funcionam e onde falham

Um agente autônomo de IA é um sistema em que um modelo de linguagem recebe um objetivo, decide os passos, usa ferramentas e confere o resultado, com pouca ou nenhuma intervenção humana no caminho. Se quiser revisar o mecanismo, veja o que são agentes de IA.

A pergunta deste texto é outra: o que as evidências dizem sobre onde esses agentes funcionam e onde falham? Para responder, usamos benchmarks (conjuntos padronizados de tarefas usados para comparar sistemas), estudos independentes e relatos técnicos das próprias empresas.

Um aviso antes de qualquer número: benchmarks de agentes envelhecem rápido. Um resultado de seis meses atrás pode já estar superado, e um teste considerado difícil em 2024 pode estar praticamente resolvido hoje. Por isso, todos os dados abaixo têm data. Trate-os como fotografias, não como verdades permanentes.

Como se mede um agente

Os benchmarks de agentes tentam reproduzir tarefas reais em ambientes controlados. Quatro deles ajudam a entender a evolução:

• SWE-bench (programação). Lançado em outubro de 2023, reúne 2.294 problemas reais tirados de issues (relatos de defeito) e pull requests (pedidos de alteração de código) do GitHub, em 12 repositórios populares de Python. O agente precisa alterar o código para que os testes passem. Na época, o melhor modelo avaliado, o Claude 2, resolveu 1,96% dos problemas.
• WebArena (navegação na web). Publicado em julho de 2023, simula sites realistas, como lojas e fóruns. O melhor agente baseado no GPT-4 completou 14,41% das tarefas; pessoas completaram 78,24%.
• OSWorld (uso do computador). Lançado em abril de 2024, tem 369 tarefas em aplicativos reais de desktop e web, arquivos e fluxos entre programas. Pessoas resolveram mais de 72,36%; o melhor modelo, 12,24%. Os autores apontaram como principais dificuldades localizar e operar elementos da interface gráfica e o conhecimento prático de como usar os programas.
• τ-bench (atendimento com ferramentas). Publicado em junho de 2024, coloca o agente para conversar com um usuário simulado, seguindo políticas de uma empresa e usando sistemas internos. O GPT-4o resolveu menos de 50% das tarefas.

O τ-bench trouxe uma ideia importante: a métrica pass^k, que verifica se o agente acerta a mesma tarefa em todas as k tentativas, e não só em uma. No varejo simulado, a taxa de acerto em oito tentativas seguidas ficou abaixo de 25%. Para um negócio, isso importa mais do que o acerto médio: um atendente que resolve o mesmo pedido às vezes sim, às vezes não, é difícil de colocar em produção.

O salto de 2024 a 2026

Os números de partida eram baixos. Os mais recentes não são. Segundo o AI Index 2026, relatório anual do instituto de IA centrada no ser humano da Universidade Stanford (HAI), o desempenho no SWE-bench Verified, versão revisada do SWE-bench, passou de 60% para perto de 100% em um ano. No OSWorld, a taxa de sucesso dos agentes subiu de 12% para cerca de 66%. O mesmo relatório pondera que os agentes ainda falham em aproximadamente uma de cada três tentativas nesses testes estruturados.

A medida por duração da tarefa

A METR, organização independente que avalia sistemas de IA, propôs em março de 2025 outra forma de acompanhar o progresso: o horizonte de tempo de 50%. É a duração das tarefas, medida pelo tempo que um especialista humano leva para fazê-las, que um modelo completa com 50% de chance de sucesso. No artigo original, o Claude 3.7 Sonnet tinha horizonte de cerca de 50 minutos, e o indicador vinha dobrando aproximadamente a cada sete meses desde 2019.

Com uma versão ampliada do conjunto de tarefas, publicada em janeiro de 2026, a METR estimou que, desde 2023, o horizonte dobra a cada cerca de 131 dias, pouco mais de quatro meses. A própria organização alerta que a tendência é sensível à composição das tarefas.

Os dados publicados pela METR, consultados em outubro de 2026, mostram um detalhe revelador. Para o Claude Opus 4.6, lançado em fevereiro de 2026, o horizonte de 50% foi estimado em cerca de 12 horas, com intervalo de confiança muito largo, de aproximadamente 5 a 60 horas. O horizonte de 80%, que exige mais confiabilidade, ficou em cerca de 70 minutos. Ou seja: o mesmo sistema que às vezes completa tarefas de um dia inteiro só é confiável, quatro vezes em cinco, em tarefas de pouco mais de uma hora.

A página de acompanhamento da METR faz duas ressalvas. Medições acima de 16 horas não são confiáveis com o conjunto atual de tarefas. E as tarefas são sobretudo de engenharia de software, aprendizado de máquina e cibersegurança, com pouco contexto prévio, o que pode não se transferir para trabalhos reais mais confusos.

Por que desconfiar dos placares

Contaminação e testes falhos

Em fevereiro de 2026, a OpenAI, que havia criado o SWE-bench Verified em 2024, anunciou que deixaria de usá-lo. Dois motivos foram apontados. Primeiro, numa auditoria de 138 problemas difíceis, 59,4% tinham falhas materiais nos testes ou na descrição, a ponto de rejeitar soluções funcionalmente corretas. Segundo, todos os modelos de ponta testados conseguiam reproduzir de memória, em alguns casos, a correção original escrita por humanos, sinal de que tinham visto problemas e soluções no treinamento. Isso se chama contaminação: o modelo “estudou a prova” antes de fazê-la.

A conclusão da empresa foi que ganhos nesse teste passaram a refletir mais a exposição ao conjunto de dados do que capacidade real. É um caso exemplar de por que um número perto de 100% não significa um problema resolvido.

Custo fora da conta

O artigo AI Agents That Matter, de Kapoor e coautores, publicado em julho de 2024, criticou a avaliação de agentes por focar só em acerto. Segundo os autores, isso favorece agentes desnecessariamente complexos e caros, facilita atalhos que exploram falhas do teste (por falta de conjuntos de validação separados) e torna resultados difíceis de reproduzir. A proposta é avaliar custo e acerto juntos.

Passar no teste não é estar pronto

Em agosto de 2025, a METR comparou a correção automática com a revisão humana. Um agente baseado no Claude 3.7 Sonnet passou nos testes dos mantenedores em 38% das execuções, em 18 tarefas de projetos de código aberto. Nas soluções revisadas manualmente, nenhuma podia ser incorporada sem ajustes: faltavam testes, documentação ou qualidade de código. A amostra é pequena, mas indica que a correção automática tende a superestimar a utilidade prática.

O mesmo grupo publicou em julho de 2025 um experimento em que desenvolvedores experientes, com ferramentas de IA do início de 2025, levaram 19% mais tempo para concluir tarefas reais, apesar de acreditarem ter ganhado velocidade. Discutimos esse estudo, e como medir ganhos no seu time, em como medir produtividade em projetos com IA.

Onde os agentes funcionam hoje

Juntando as evidências, a avaliação da redação é que agentes rendem melhor quando quatro condições aparecem juntas:

1. Existe verificação objetiva. Programação é o caso mais claro: testes automatizados dizem se a mudança funcionou. A Anthropic, no texto Building effective agents, de dezembro de 2024, destaca programação e atendimento ao cliente como áreas promissoras e recomenda que o agente obtenha “verdade de campo” do ambiente a cada passo.
2. A tarefa é delimitada. Os horizontes de tempo mostram que a confiabilidade cai com a duração. Tarefas curtas e bem especificadas têm muito mais chance de sucesso do que projetos longos e ambíguos.
3. Os erros são reversíveis. Um agente que propõe uma alteração de código, revisada antes de entrar no sistema, erra com custo baixo. Um que executa pagamentos, não.
4. O ambiente é controlado. A Anthropic recomenda testes extensivos em ambientes isolados (sandbox) e barreiras de proteção adequadas.

Na avaliação da redação, esse perfil corresponde a agentes de programação que trabalham num repositório, rodam testes e entregam uma proposta para revisão humana.

Onde eles ainda falham

Erros que se acumulam

Cada passo depende do anterior. A Anthropic resume: a natureza autônoma dos agentes traz custos maiores e potencial de erros compostos. Uma suposição errada no início vira a base de tudo o que vem depois, e uma alucinação deixa de ser só texto errado para virar ação errada.

Consistência

Acertar uma vez não basta. O pass^k do τ-bench e a distância entre os horizontes de 50% e 80% da METR contam a mesma história: a média esconde a variação. Para processos que precisam funcionar sempre do mesmo jeito, essa variação é o problema central.

Interfaces e contexto do mundo real

No OSWorld original, a maior dificuldade estava em operar a interface gráfica. E a METR observa que suas tarefas exigem pouco contexto prévio. Trabalhos reais costumam depender de conhecimento tácito da empresa, de sistemas antigos e de regras não escritas, algo que os benchmarks capturam mal.

Injeção de prompt

Um agente que lê páginas, e-mails e documentos pode encontrar instruções maliciosas escondidas nesse conteúdo. O ambiente de testes AgentDojo, de junho de 2024, com 97 tarefas realistas e 629 casos de teste de segurança, mostrou que modelos avançados falhavam em muitas tarefas mesmo sem ataque e que os ataques existentes quebravam parte das propriedades de segurança.

Em novembro de 2025, a Anthropic apresentou uma taxa de 1% de ataques bem-sucedidos contra seu agente de navegador, medida com um atacante adaptativo que tinha 100 tentativas por ambiente, e afirmou que esse nível, embora seja uma melhora, ainda representa risco relevante. Nas palavras da empresa, “nenhum agente de navegador é imune” a esse tipo de ataque.

Custo e supervisão

Cada volta do ciclo de um agente consome processamento e tokens. Agentes mais elaborados podem custar bem mais sem acertar mais, como mostraram Kapoor e coautores. E a revisão humana, necessária pelos motivos acima, também tem custo: se revisar o trabalho do agente toma quase o mesmo tempo que fazê-lo, o ganho desaparece.

Como ler o próximo anúncio

Quando aparecer um novo recorde, algumas perguntas ajudam a separar sinal de ruído:

• Qual a data e a versão do teste? Compare apenas resultados do mesmo benchmark, na mesma versão.
• O teste pode estar contaminado? Conjuntos públicos e antigos correm mais risco.
• Quantas tentativas? Acerto em uma tentativa é diferente de acerto consistente.
• Quanto custou? Sem custo por tarefa, não há como comparar soluções.
• Quem corrigiu? Teste automático, revisão humana ou o próprio fornecedor?
• A tarefa se parece com a sua? Duração, contexto e reversibilidade fazem diferença.

Para critérios gerais de checagem, veja também como avaliar respostas de IA.

O que levar deste texto

As evidências até outubro de 2026 mostram progresso real e rápido: agentes que resolviam quase nada em testes de 2023 hoje vão bem em tarefas de software com verificação automática, e o tamanho das tarefas que conseguem completar cresce a cada poucos meses.

Ao mesmo tempo, os placares mais famosos ficaram contaminados ou saturados, a confiabilidade cai bastante quando se exige consistência, e a segurança contra injeção de prompt segue incompleta. Use agentes onde há verificação objetiva, tarefas delimitadas e erros reversíveis. Nos demais casos, mantenha uma pessoa no controle e trate qualquer número de benchmark como uma fotografia datada.