segunda-feira, 16 de novembro de 2026

Os testes que elegem a melhor IA do mundo erram em até 42% das questões

Por Leo Candido, AI First Transformation Manager na Artefact.

O AI Index 2026, publicado pela Universidade de Stanford, escancarou uma fragilidade incômoda nos testes que costumam eleger os melhores modelos de inteligência artificial do mercado. Em algumas avaliações populares, a taxa de questões inválidas chega a 42%. O mesmo relatório mostra que, em março deste ano, os quatro maiores fornecedores de IA já apareciam separados por menos de 25 pontos no Arena Elo, ranking que mede a preferência dos usuários entre diferentes sistemas.

A distância técnica entre os líderes do setor está encolhendo, e a régua usada para compará-los nem sempre resiste a uma análise mais cuidadosa. Esses dois números ajudam a explicar algo que venho observando de perto, à frente da transformação de IA na Artefact, entre uma demonstração impressionante e uma aplicação que realmente funciona dentro de uma empresa. Existe uma distância que benchmarks, anúncios e discursos sobre autonomia raramente mostram.

A tecnologia não entrega pouco. O próprio AI Index mostra que os sistemas de fronteira avançaram 30 pontos percentuais em um ano no Humanity’s Last Exam, avaliação que testa raciocínio avançado. A questão é que capacidade técnica e impacto empresarial não são a mesma coisa. O relatório chama essa distância de inteligência irregular, sistemas que resolvem problemas matemáticos complexos ainda falham em tarefas simples. 

Essa irregularidade tem consequências práticas. Empresas não deveriam contratar uma média de pontos em benchmark, e sim uma tecnologia que funcione em situações específicas, com dados reais, regras internas e exceções que não estavam presentes no teste fechado do fabricante. Um sistema pode analisar milhares de documentos com velocidade e ainda interpretar errado uma exceção contratual, ou produzir uma resposta convincente sem que ela esteja correta. O benchmark continua útil, mas não substitui uma avaliação construída com os casos da própria empresa.

A discussão sobre agentes ilustra outro lado do problema. Esses sistemas conseguem planejar, usar ferramentas e executar tarefas em várias etapas, um avanço real em problemas sem caminho previsível. Mas a popularidade do termo fez com que quase qualquer automação passasse a ser chamada de agente, a Gartner batizou esse movimento de “agent washing”. A própria Anthropic, dona do Claude Code, um dos produtos mais hypados do mercado, recomenda começar pela solução mais simples e só aumentar a complexidade quando houver necessidade comprovada. Autonomia não é uma característica gratuita, quanto mais decisões o sistema toma, maiores tendem a ser o custo, a latência e a chance de um erro contaminar as ações seguintes.

Algo parecido acontece quando empresas confundem a compra de ferramentas com a adoção de inteligência artificial. Distribuir licenças amplia o acesso, mas dificilmente transforma a operação sozinho. Quando os processos continuam iguais, parte da equipe passa a usar a tecnologia intensamente, outra recorre a ela de vez em quando, e um terceiro grupo simplesmente não a incorpora. A empresa sabe quantas licenças distribuiu, mas não consegue explicar o que realmente melhorou.

Um estudo da própria Anthropic, com cerca de 400 mil sessões do Claude Code, mostrou que pessoas com mais experiência no domínio direcionaram melhor o agente e tiveram mais sucesso nas tarefas. Isso contraria a ideia de que modelos mais avançados tornam o conhecimento humano menos importante.

Nem o melhor modelo corrige sozinho um processo mal definido ou uma base de dados desorganizada. É assim que enxergo o papel de uma empresa como a Artefact, identificar onde a IA pode gerar valor, redesenhar processos e preparar as pessoas que vão trabalhar com ela.

O hype não é necessariamente ruim, atrai investimento e acelera testes. O problema começa quando o entusiasmo vira certeza em com uma tecnologia que muda e evolui todos os dias. Minha recomendação é começar agora, com um problema concreto, uma métrica definida e disposição para aprender antes de escalar. Isso está além do hype.

Compartilhe essa notícia