Comparativo de IAs para código: quais critérios importam além de acertar o exercício?

Fala aí, beleza? Acertar o exercício virou o mínimo, e é exatamente por isso que dois modelos com nota parecida entregam experiências completamente diferentes dentro de um projeto de verdade

A OpenAI anunciou o GPT-6 Astra em 3 de setembro de 2026, apresentado como seu modelo mais capaz, com destaque para uso de computador, engenharia de software e cibersegurança

Do outro lado, o Claude Fable 5.1 da Anthropic ocupa a posição #1 no LLM Leaderboard da Artificial Analysis, com 66 no Intelligence Index, contra 61 do Astra

Só que essa diferença de 5 pontos não te conta o que interessa: se o modelo segue a instrução até o fim, se ele admite que não sabe, se ele raciocina sobre um documento longo ou se ele quebra o formato da saída na terceira tentativa

Então bora combinar assim: aqui a gente define os critérios que realmente separam um modelo do outro, mostra ONDE cada critério é medido publicamente e como você checa cada um no seu próprio código

Os critérios que importam além de acertar o exercício

A lógica é simples: cada critério abaixo corresponde a uma dor que você sente no uso diário, e cada um tem um lugar público onde é medido

Leia a tabela da esquerda pra direita: o critério, o que ele mede na prática (a dor) e onde você confere o número sem depender de marketing de lançamento

Formação Recomendada

Formação Claude Code

Domine Claude Code do absoluto zero até o avançado

• 114 aulas
• 4 projetos
• 9h 18min

Conhecer formação

Repara numa coisa: só a primeira linha é "acertar o exercício"

As outras quatro são comportamento, e comportamento é o que te faz gostar ou odiar um modelo depois de duas semanas de uso

E tem um critério que NENHUMA dessas listas resolve por você: consistência de formato de saída

Esse não tem linha de tabela pra consultar: ele se mede na mão, rodando a MESMA tarefa de saída rígida várias vezes e olhando a variância entre as rodadas

É exatamente o que eu mostro logo abaixo, no seu repo

Como testar cada critério no seu próprio projeto

A ideia é você montar um conjunto pequeno de tarefas do SEU repositório e rodar o mesmo roteiro em cada modelo que estiver na disputa

1. Teste de restrição explícita. Dê uma tarefa média (refatorar um módulo, por exemplo) com uma restrição clara do tipo "não altere nenhum arquivo de teste" ou "não instale dependência nova". Depois confira o diff inteiro, não a resposta. O erro comum aqui é ler o resumo que o modelo escreveu no final e acreditar: o resumo quase sempre diz que a restrição foi respeitada

2. Teste do "não sei". Pergunte sobre um método interno do seu próprio código que ele não tem como conhecer, ou sobre uma flag de uma lib obscura. O que você observa não é a resposta certa, é se ele recusa ou se inventa com confiança. É a mesma lógica do AA-Omniscience: recusar não é punido, inventar é

3. Teste de documento longo com cruzamento. Jogue um documento grande (um ADR, um contrato, um relatório) e peça uma conclusão que só existe se ele juntar a informação da página 3 com a da página 40. Se você pedir "qual o valor X do documento", você testou busca, não raciocínio. O erro comum deste passo é confundir janela de contexto com compreensão: cabe não significa que entendeu

4. Teste de formato fixo, repetido. Peça a saída em formato rígido (JSON com schema, diff aplicável, mensagem de commit num padrão) e rode a MESMA tarefa umas cinco vezes. O que interessa é a variância, não o acerto de uma rodada. Isso pesa muito se a saída do modelo alimenta outro passo, tipo nas automações com n8n, onde um JSON quebrado derruba a esteira inteira

5. Teste de custo por tarefa concluída. Some o custo de TODAS as tentativas até a tarefa passar no seu CI, e divida por tarefa concluída. Modelo barato que precisa de quatro rodadas sai mais caro que modelo caro que resolve na primeira. Esse é o número que decide, e é o único que ninguém publica por você

Anota os resultados numa planilha simples, com uma coluna por critério

No fim você tem um comparativo de IAs para código que vale pro SEU projeto, que é o único que importa de verdade =)

Esse mesmo roteiro serve pra qualquer disputa, inclusive pra quem está olhando modelos abertos pra programar e não só as opções fechadas

Por que o índice composto engana: o caso do lançamento do GPT-6 Astra

Agora a parte que quase ninguém fala

A própria Artificial Analysis avisa que o Coding Agent Index (score composto por DeepSWE, Terminal-Bench v2.1 e SWE-Atlas-QnA) serve pra comparação rápida, MAS deve ser lido junto do detalhamento por avaliação

O motivo é direto: dois agentes com índices parecidos podem ter forças bem diferentes em tarefas de repositório, fluxos de terminal e avaliações por rubrica

Ou seja, o número único esconde justamente a informação que decide a sua escolha

"E como esse composto é calculado?" Ele é reportado como média pass@1 normalizada por tarefa: as três tentativas de cada tarefa são primeiro promediadas, e depois os scores por tarefa são promediados, dando peso igual a cada tarefa

Peso igual a cada tarefa é ótimo pra ranking geral, e péssimo pra você que só se importa com um tipo de tarefa

Tem ainda uma armadilha mais grosseira, e essa pega muita gente: versão de benchmark

A tabela de lançamento da OpenAI reporta Terminal-Bench 4.0, enquanto o Intelligence Index v4.1.1 e o Coding Agent Index da Artificial Analysis usam Terminal-Bench v2.1

Nome parecido, número na mesma casa, comparação direta IMPOSSÍVEL

Tome cuidado com isso ao montar sua planilha: se a linha mistura fonte com versão diferente, ela vira decoração

E vale notar o que não está lá: o SWE-bench Verified, que virou padrão de citação em post de lançamento, não aparece na tabela de benchmarks divulgada pela OpenAI para o Astra

A tabela publicada traz Terminal-Bench 4.0, DeepSWE v1.1 e FrontierCode

Não é escândalo, é só um lembrete de que a lista de benchmarks escolhida já é uma decisão editorial de quem lança

GPT-6 Astra e Claude Fable 5.1 nos números públicos

Bora aplicar os critérios ao caso concreto do momento

E os multiplicadores de preço, que é onde a conta muda de figura:

• Prompts acima de 272 mil tokens de entrada: 2x nas taxas de entrada e cache, e 1,5x na saída, para a requisição INTEIRA
• Batch e Flex: 50% da tarifa padrão
• Modo Fast: 2x

Se liga nisso na hora de sonhar com a janela de 1.050.000 tokens: encher o contexto não é só mais lento, é mais caro por um multiplicador que vale pra requisição toda

Nota importante sobre a tabela: as linhas vêm de fontes diferentes e usam versões diferentes de benchmark (Terminal-Bench 4.0 na tabela da OpenAI, v2.1 nos índices da Artificial Analysis)

Compare dentro da linha, nunca entre linhas

Veredito: o que esses critérios dizem hoje

Nenhum dos dois ganha em tudo, e quem disser que ganha está vendendo alguma coisa

O GPT-6 Astra lidera o Terminal-Bench 4.0 na tabela da própria OpenAI, com 57,7% contra 55,8% do Fable 5.1, e lidera o AA-Omniscience com 44 contra 43

Repara na margem do Omniscience: 1 ponto

Um ponto num benchmark de alucinação não é motivo pra migrar projeto, é empate técnico entre dois modelos que se comportam parecido nesse quesito

Já o Claude Fable 5.1 lidera o Intelligence Index com 66 contra 61, uma diferença de 5 pontos, e é o modelo Claude mais avançado da linha, acima do Opus 5 e do Sonnet 5

No FrontierCode a coisa fica ainda mais apertada: no Extended o Astra faz 64,5% contra 64,9% da linha Fable 5, e no Main os dois ficam colados, com Fable 5 em 53,5% e Astra em 53,3%

Décimos. Décimos!

Custo entra como critério de peso aqui: a Artificial Analysis aponta que o Astra é mais eficiente em tokens que o antecessor para desempenho similar no Intelligence Index, mas o aumento de preço anula esse ganho

E tem o atrito prático, que é o critério que ninguém coloca em planilha e todo mundo sente

O acesso ao Astra começou restrito, primeiro para empresas do Trusted Access Program e do programa de cibersegurança Daybreak, com API e planos Plus, Pro, Business e Enterprise descritos como chegando nos próximos dias

Sam Altman se desculpou publicamente pelos problemas na liberação poucas horas depois do anúncio, num rollout que deixou assinante pagante sem acesso

Vale lembrar também que a OpenAI adiou o lançamento por várias semanas pra reforçar segurança, depois do incidente envolvendo o Hugging Face em julho de 2026, e informou em 18 de agosto ter pausado duas semanas de treino de aprendizado por reforço voltado a deploy

Então o veredito por cenário fica assim:

• Se o seu trabalho é agente rodando comando no terminal, o Terminal-Bench é a linha que te interessa, e ali o Astra está na frente na tabela do lançamento
• Se o seu problema é o modelo inventar coisa em domínio que você não domina, olhe o AA-Omniscience, onde os dois estão praticamente empatados
• Se você precisa de amplitude, tarefa que mistura código com raciocínio e conhecimento, o Intelligence Index favorece o Fable 5.1 com folga maior
• Se o gargalo é orçamento, esqueça índice e meça custo por tarefa concluída no seu repo

Sem vencedor absoluto, e tá tudo bem: a escolha é do critério que pesa no SEU trabalho

Um vídeo pra começar do zero com IA

Pra quem está chegando agora nesse papo de IA aplicada ao dia a dia, tem esse conteúdo aqui no canal:

Conclusão

Recapitulando: resolver o exercício é piso, não diferencial

A comparação que muda a sua rotina é por critério (obediência agêntica, confiabilidade de conhecimento, raciocínio sobre documento longo, consistência de formato) e por custo da SUA tarefa, não por número único de índice composto

Próximo passo bem concreto: separa umas cinco tarefas reais do seu repositório, roda o roteiro de avaliação da seção de casos de uso em cada modelo candidato e anota tudo numa planilha antes de trocar qualquer coisa

E fica de olho na liberação faseada do Astra, porque testar em condições reais só rola quando o acesso chegar pra valer

até o próximo post! 🙂