GPT-6 Astra: por que o modelo vai bem no benchmark e mal na sua tarefa

Benchmark é prova com enunciado limpo e gabarito no fim

Teu repositório é requisito ambíguo, código legado e contexto espalhado em cinco arquivos e na cabeça de alguém que saiu da empresa

A OpenAI anunciou o GPT-6 Astra em 3 de setembro de 2026, com foco declarado em uso autônomo de computador, programação, cibersegurança e ciência

E a tese deste post é simples: o placar do ranking é filtro inicial, não promessa de resultado no teu trabalho 🙂

O que a OpenAI anunciou no GPT-6 Astra:

A empresa apresentou o modelo como o mais inteligente e alinhado do mundo

Greg Brockman, presidente da OpenAI, foi além e declarou a jornalistas no lançamento que não é irracional sentir que estamos na era da AGI

Frase grande, né?

Só que o lançamento em si foi bagunçado

Um dia depois do anúncio, em 4 de setembro, Sam Altman pediu desculpas publicamente porque assinantes pagantes ficaram sem o acesso prometido

A liberação ampla para clientes de API e assinantes seguia pendente, começando pelos assinantes Pro

Hoje o Astra ainda está em liberação escalonada: começou por um conjunto limitado de organizações, os assinantes Pro entram primeiro na fila entre os planos pagos e a OpenAI diz que a liberação chega a Pro, Plus, Business e Enterprise nos próximos dias

Ou seja: não existe acesso universal confirmado

Onde o GPT-6 Astra está disponível e quanto custa:

A distribuição acontece pela API da OpenAI, pelo Microsoft Azure e pelo AWS Bedrock

A liberação corporativa começou pelos clientes do programa Daybreak da OpenAI

Os preços na API, tarifa Standard:

• US$ 10 por milhão de tokens de entrada
• US$ 50 por milhão de tokens de saída
• US$ 1 por milhão de tokens de entrada em cache
• batch e flex saem pela metade do preço

Tem também o modo Fast, que entrega até o dobro da velocidade do Standard pelo dobro do preço

Se o assunto é tempo de resposta, já tem um post por aqui sobre a lentidão do Astra na prática

E nas assinaturas do ChatGPT que dão acesso ao Astra padrão: Plus a US$ 20 por mês e Pro a US$ 200 por mês

Um aviso de bastidor: token de saída a US$ 50 o milhão faz a fatura subir rápido em tarefa agêntica, e vale entender como os reasoning tokens pesam na conta antes de plugar isso num loop automático

Os números do GPT-6 Astra: o que o modelo entrega em cada tipo de prova

Organizei a tabela pela NATUREZA da prova, não pela ordem que fica bonita no anúncio

Se liga na leitura de cima pra baixo

Matemática fechada e exploração de vulnerabilidade: saturado, 97,6% e 100%

Uso de computador e programação agêntica: bom, na casa dos 70%

Trabalho profissional: 41,4%

Quanto mais a prova PARECE trabalho, menor o número absoluto

Essa é a tabela inteira resumida em uma frase

Por que a tarefa de prova não se parece com o seu código:

Uma tarefa de benchmark tem quatro coisas que o teu chamado do Jira não tem

• enunciado limpo, escrito pra ser entendido
• resposta fechada, existe um gabarito
• escopo delimitado, começa e termina ali
• critério de acerto único, acertou ou errou

E o teu trabalho real tem quatro coisas que a prova não tem

• requisito ambíguo, escrito por alguém com pressa
• código legado sujo, com gambiarra que ninguém documentou
• contexto espalhado entre arquivos, repositório e a cabeça de outra pessoa
• nenhum gabarito, quem decide se ficou bom é gente

E olha que isso não é achismo meu: dá pra medir

Num snapshot de 3 de setembro de 2026 que compara índice geral com índice agêntico, o Astra marca 61,2 na inteligência geral contra 51,5 no agêntico

Uma distância de 9,7 pontos, a MAIOR entre os lançamentos que passam de 40 pontos no índice de inteligência

Pra comparar: o Claude Fable 5.1 vai de 65,7 para 61,3, uma queda de 4,4 pontos

E o GLM 5.3 Flash é o único que SOBE no agêntico, 58,2 contra 57,5

Ou seja, ser mais inteligente na prova não garante ser mais útil no trabalho

E lembra do AutomationBench, a prova que mais se aproxima de trabalho profissional?

41,4% pro líder

Isso significa que a maioria das tarefas ainda não fecha sozinha, mesmo no melhor modelo da comparação

Como ler um ranking de modelo sem se enganar:

Agora a parte útil, porque ranking não é lixo, ele só não é o que vendem

Primeiro: quem opera o índice importa

O Artificial Analysis mantém o Intelligence Index e o Coding Agent Index, usados como referência independente de comparação entre modelos

Índice de terceiro independente vale mais que slide de anúncio, sempre

Segundo: o mesmo número de inteligência pode custar preços MUITO diferentes

Na página viva do Artificial Analysis, a linha marcada como GPT-6 Astra (max) marca 61 pontos no Intelligence Index

O mesmo valor do GPT-5.6 Sol

Só pra não confundir com o 61,2 que apareceu lá em cima: são levantamentos diferentes, cada um com seu recorte, e o que importa na leitura é o empate com o Sol

Só que o preço do Astra é 2,5 vezes o do Sol

Pra contexto, a mediana dos modelos de raciocínio na mesma faixa de preço é 36 pontos

Então o número é alto pra faixa, mas o empate com o irmão mais barato é o dado que dói no bolso

Terceiro: o harness muda o resultado

Que harness? É o arnês que roda o modelo, a camada de agente que decide como ele lê arquivo, chama ferramenta e tenta de novo

No Coding Agent Index, o GPT-6 Astra marca 67 pontos rodando no harness Codex

Empate técnico com Claude Opus 5 e Fable 5, a menos da metade do custo do Fable 5

Mesmo modelo, harness diferente, resultado diferente

Quarto: leia as ressalvas de independência

O 97,6% do FrontierMath Tier 4 vem de um tier com 41 problemas privados

O benchmark é mantido pela Epoch AI, que afirma que a OpenAI financiou o desenvolvimento e tem acesso exclusivo a parte do material

Não invalida o número, mas muda o peso dele

Quinto: veja o que NÃO foi publicado

A OpenAI não divulgou números para SWE-Bench Pro, Terminal-Bench 2.x e FrontierMath Tiers 1 a 3

Benchmark que some do slide costuma dizer tanto quanto o que aparece

Alucinação e cibersegurança: os dois números que mudam o cálculo

Tem dois dados que fogem do eixo benchmark versus tarefa, mas mexem direto no uso real

O primeiro é alucinação

O Artificial Analysis registra queda grande no AA-Omniscience: de 92% para 51% no esforço máximo, com aumento modesto de acurácia

Melhora enorme? Sim

Baixo o suficiente pra confiar sem revisar? Não

Metade ainda é metade, e revisão de output continua sendo teu trabalho

O segundo é cibersegurança

A OpenAI afirma que o Astra é o primeiro modelo a atingir o limiar Critical de cibersegurança da empresa

O modelo público é treinado pra RECUSAR tarefas cibernéticas avançadas, como escrever provas de conceito de exploit

E aquele 100% do ExploitBench lá na tabela? Ele vem do anúncio da OpenAI como medida de CAPACIDADE do modelo, não como promessa do que tu vai conseguir pedir

Capacidade medida e comportamento liberado são coisas diferentes: o que chega pra você no modelo público vem com a recusa por cima

E pra medir contaminação de dados de treino (o problema clássico de o modelo já ter visto a resposta), a OpenAI montou um porte interno sobre 20 vulnerabilidades de alta severidade do V8 divulgadas entre junho e agosto de 2026

Ali o Astra atinge 39,0% de execução arbitrária de código contra 5,5% do GPT-5.6 Sol

Salto absurdo em capacidade ofensiva, e é justamente por isso que vem com recusa embutida no modelo público

O que muda para quem programa com IA no dia a dia:

Vamos ao prático

Se você paga Pro ou Plus, o acesso ainda depende do rollout escalonado, e a fila começa pelos assinantes Pro, então pode ser que o botão nem esteja aí ainda

Se você usa API, o custo por milhão de tokens e o modo Fast entram na conta ANTES da nota do benchmark

US$ 50 por milhão de saída num agente que fica iterando sozinho vira surpresa no fim do mês, e nenhum ranking te avisa disso

E o critério que substitui o ranking é chato, porém honesto: testar o modelo na TUA base de código, com o teu requisito ambíguo, comparando com o que você já usa hoje

O empate técnico no Coding Agent Index entre Astra, Claude Opus 5 e Fable 5 mostra bem o motivo

Quando três modelos empatam na prova, a escolha vira preço e encaixe no teu fluxo, não superioridade técnica

Vale trocar de modelo por causa do GPT-6 Astra?

Depende do que você faz, e vou ser direto

Se teu trabalho depende de matemática fechada, exploração de vulnerabilidade ou uso autônomo de computador, os números justificam a atenção: 97,6% no FrontierMath Tier 4, 100% no ExploitBench (com a ressalva da recusa no modelo público) e 72,6% no OSWorld 2.0 em quase metade do tempo do Sol não são pouca coisa

Se teu trabalho é o desenvolvimento profissional comum, o salto é menor do que o anúncio sugere

Mesma nota de inteligência geral do GPT-5.6 Sol por 2,5 vezes o preço, e 41,4% no benchmark que mais parece trabalho de verdade

Minha leitura: candidato a teste, não troca automática

E dá pra esperar o rollout estabilizar sem perder nada, já que nem o acesso está garantido ainda…

Conclusão

Benchmark é filtro de entrada

Tua tarefa é o teste final

O GPT-6 Astra passa no filtro com folga em prova fechada, passa razoavelmente em prova agêntica e ainda tropeça quando o teste tenta imitar trabalho profissional de verdade

Próximo passo concreto, e é bem simples: separa duas ou três tarefas REAIS e repetidas do teu dia (aquele refactor chato, aquele bug em código legado, aquela integração mal documentada)

Roda nelas o modelo que você já usa hoje

Roda nelas o Astra quando o acesso chegar até você

E decide pelo resultado no TEU contexto, não pelo placar do leaderboard 😀

Abraço e até o próximo post!

Matheus Battisti