Teste cego do GPT-6 Astra: como julgar a resposta sem saber qual modelo escreveu

Escolher modelo por marca é o jeito mais rápido de tomar uma decisão errada com cara de decisão técnica

Fala aí, beleza? O GPT-6 Astra foi anunciado e liberado em preview limitado no dia 03/09/2026, e o Claude Fable 5.1 saiu dois dias antes, em 01/09/2026

Os dois custam o MESMO por token: US$ 10 por milhão de tokens de entrada e US$ 50 por milhão de tokens de saída

Ou seja: preço empatado, hype dos dois lados, e a sua decisão correndo o risco de ser só torcida organizada 😀

É por isso que este post não é um review dizendo quem ganhou

É um protocolo de teste cego: você monta a comparação de um jeito que a marca não entra na conta, e julga só o que apareceu na tela

O que você precisa antes de começar o teste cego

Antes de sair colando prompt, se liga no setup mínimo

• Acesso ao GPT-6 Astra: lembra que o lançamento foi em preview limitado, então o acesso ainda não é pleno pra todo mundo. Os canais em que o modelo aparece são a API da OpenAI, o Microsoft Azure e o AWS Bedrock. No ChatGPT Plus (US$ 20/mês) o Astra está chegando pelo ChatGPT Work e pelo Codex, não pelo modo de chat comum, e o rollout é gradual, então nem todo assinante Plus vê o modelo ainda. Confira o que já liberou na SUA conta antes de montar o protocolo
• Um modelo par com preço equivalente: o Claude Fable 5.1 é o candidato óbvio, porque cobra exatamente a mesma coisa por token. Comparar modelos de faixas de preço diferentes vira outra conversa (aí você está comparando custo, não qualidade)
• Um conjunto de tarefas escritas ANTES do teste: cinco tarefas reais do seu dia, com o texto do prompt congelado
• Uma rubrica de avaliação e um lugar pra anotar voto: pode ser uma planilha, pode ser um arquivo de texto, tanto faz. O que não pode é julgar de cabeça

Formação Recomendada

Formação Claude Code

Domine Claude Code do absoluto zero até o avançado

• 114 aulas
• 4 projetos
• 9h 18min

Conhecer formação

Aviso operacional que economiza sua tarde: a versão pública do Astra é restrita e recusa determinados pedidos na área de cibersegurança, como gerar exploits de prova de conceito

Capacidades avançadas nesse campo ficam limitadas a organizações verificadas

Então não monte o teste em cima desse tipo de tarefa, porque você não vai comparar qualidade, vai comparar política de recusa

Como montar o teste cego passo a passo

O protocolo manual dá mais trabalho, mas é o único que decide entre dois modelos ESPECÍFICOS

1. Defina as tarefas e o critério de vitória antes de ver qualquer saída

Escreva a rubrica primeiro, com peso por item, e trate ela como contrato

RUBRICA (peso total 10)
[3] Corretude tecnica: o que foi afirmado se sustenta
[3] Completude: resolveu a tarefa inteira, sem pular requisito
[2] Aderencia a instrucao: seguiu formato, limite e restricoes do prompt
[1] Concisao: diz o necessario sem encher linguica
[1] Acionabilidade: da pra usar direto, sem retrabalho

O erro comum deste passo: criar a rubrica DEPOIS de ler as respostas. Aí você não avalia, você justifica o que já preferiu

2. Gere as respostas dos dois modelos com o mesmo prompt

Mesmo texto, mesmo contexto, mesma tarefa, sem "ajustar o prompt pro modelo que eu gosto"

Salve cada saída num arquivo separado, cru, sem editar nada ainda

O erro comum deste passo: pedir tarefa gigante numa tacada só e receber resposta truncada, o que envenena a comparação. Se a tarefa for longa, vale entender antes o limite de tokens de saída do Astra e fatiar o trabalho

Outro cuidado na hora de escrever as tarefas: pergunta que depende de fato recente mede memória, não raciocínio. Se for por esse caminho, considere o knowledge cutoff do GPT-6 Astra antes de culpar o modelo por não saber

3. Higienize as saídas

Aqui é onde o teste vira cego de verdade

Tire a autorreferência ao próprio modelo, os bordões de abertura, os emojis, e padronize a formatação: mesmo estilo de lista, negrito fora, títulos fora

import random, re

def limpar(texto):
    texto = re.sub(r"[*_`#]", "", texto)                  # negrito, italico, titulo, crase
    texto = re.sub(r"^\\s*[-+*]\\s+", "", texto, flags=re.M)  # marcador de lista
    texto = re.sub(r"[\\U0001F300-\\U0001FAFF]", "", texto)   # emoji
    texto = re.sub(r"\\n{3,}", "\\n\\n", texto)                 # espacamento padronizado
    return texto.strip()

pares = [("modelo_1", limpar(open("modelo_1.md").read())),
         ("modelo_2", limpar(open("modelo_2.md").read()))]

O erro comum deste passo: colar a saída crua com formatação intacta. Bullet bonito e negrito no lugar certo já compram voto sozinhos, antes de você ler uma linha

4. Rotule como A e B e embaralhe

O embaralhamento tem que ser feito por sorteio, e o gabarito vai pra um arquivo que você NÃO abre até o fim

random.shuffle(pares)

with open("gabarito.txt", "w") as g:
    for rotulo, (origem, texto) in zip("AB", pares):
        open(f"resposta_{rotulo}.txt", "w").write(texto)
        g.write(f"{rotulo} = {origem}\n")

O erro comum deste passo: manter sempre o mesmo modelo na esquerda "só pra facilitar a organização". Isso não é organização, é vazamento de identidade

5. Julgue com a rubrica, item por item

Nada de "gostei mais da B"

Nota por critério, uma linha de justificativa por critério, e só então a soma

O erro comum deste passo: dar a nota geral primeiro e distribuir os critérios pra bater com ela

6. Repita a mesma comparação com a ordem invertida

O que era A vira B, o que era B vira A, e você julga de novo

Trocar a ordem das opções comparadas é a mitigação conhecida do viés de posição em avaliação pareada

Se as duas rodadas discordarem, ótimo sinal: a diferença entre os modelos naquela tarefa é menor do que a sua flutuação de julgamento

O erro comum deste passo: votar uma vez só, na mesma ordem, e sair falando que o resultado foi claro

7. Só agora revele as identidades e some os votos

Abra o gabarito.txt, cruze com as suas notas e conte vitória por tarefa, não por impressão geral

O erro comum deste passo: espiar antes. Espiou, acabou o teste cego, virou opinião com etapa extra 😛

Battle Mode, Side by Side e Direct Chat: qual modo serve para teste cego

O antigo LMArena virou Arena em 28/01/2026, e o leaderboard oficial fica em arena.ai

Lá dentro tem três modos, e só um deles é cego de verdade

Atalho: rodar o teste cego no Battle Mode do Arena

Se você quer treinar o olho em volume, sem montar script nenhum, o caminho pronto é o Battle Mode do Arena

1. Envie o seu prompt no Battle Mode
2. Receba duas respostas de modelos anônimos, lado a lado
3. Leia as duas com a sua rubrica na mão, do mesmo jeito do protocolo manual
4. Vote na preferida
5. Veja as identidades dos dois modelos, que só são reveladas depois do voto

A limitação honesta do atalho: os dois modelos são sorteados pelo sistema

Você não escolhe o par, então não dá pra garantir que vai cair Astra contra Fable 5.1 na sua rodada

Por isso os dois se completam: o Battle Mode calibra o SEU julgamento em volume, o protocolo manual decide entre dois modelos específicos

O erro comum aqui: abrir o Side by Side, escolher os dois modelos na mão e achar que está fazendo teste cego. Nesse modo as identidades ficam visíveis o tempo todo, é comparação aberta

Três vieses que estragam o seu teste cego (e como prevenir)

A resposta mais longa e mais formatada ganha sempre:

Sintoma: você repara que o vencedor é quase sempre o texto maior, com mais títulos, mais negrito e mais bullet

Causa: viés de estilo. Respostas longas e bem formatadas tendem a vencer votações pareadas mesmo quando a qualidade do conteúdo é parecida, e isso é documentado ao ponto de ter virado feature de leaderboard

Solução: padronize a formatação das duas saídas antes de julgar (passo 3) e, quando for olhar ranking público, use a visão com Style Control, que ajusta a pontuação por regressão logística usando o tamanho da resposta e a contagem de títulos, de negrito e de itens de lista como covariáveis

Você prefere sempre a opção A (ou sempre a B):

Sintoma: olhando a planilha no fim, uma das posições venceu quase todas as rodadas

Causa: viés de posição, aquele hábito de favorecer sistematicamente a primeira ou a segunda opção pela posição, não pelo conteúdo

Solução: reordenar e repetir a comparação, que é a mitigação conhecida. Duas rodadas por tarefa, ordem invertida na segunda

O LLM juiz puxa a sardinha pro próprio lado:

Sintoma: você automatizou a avaliação com um modelo julgando as saídas, e o resultado bate suspeitosamente com a marca do juiz

Causa: self-preference bias, documentado em LLM-as-a-judge: modelos usados como juiz tendem a dar nota mais alta pras próprias saídas

Solução: nunca use como juiz um modelo que está sendo avaliado. E, sinceramente, no teste que decide a ferramenta do SEU time, o juiz é você

Quando o teste cego decide e quando olhar o benchmark público

São usos diferentes, e misturar os dois é o que gera discussão sem fim na timeline

Teste cego decide quando a pergunta é sobre as suas tarefas, o seu prompt, o seu time e o seu padrão de qualidade

E ele fica ainda mais valioso quando já existe preferência declarada por uma marca na equipe, porque é justamente essa preferência que o protocolo neutraliza

Benchmark público serve como leitura complementar, pra você não ficar preso na sua bolha de cinco tarefas

No Artificial Analysis, o Intelligence Index marca o GPT-6 Astra em 55 no modo max e 53 no high

Vale saber COMO esse número é feito: a versão 4.2 do índice foi publicada depois das críticas de que os benchmarks não estavam capturando o avanço do Astra

A v4.2 adicionou o AA-Briefcase (trabalho de conhecimento) e o GDP.pdf (análise de PDF, da Surge AI), e removeu o GPQA-Diamond por saturação

Tem também dois dados que o teste cego, sozinho, não enxerga

Segundo o Artificial Analysis, o GPT-6 Astra usa menos tokens por tarefa do que qualquer outro modelo de fronteira

E a OpenAI declara 72,6% no OSWorld 2.0 em uso de computador, com cerca de 47% menos tempo por tarefa que o modelo anterior

Percebeu o ponto? Com preço por token empatado entre Astra e Fable 5.1, quem gasta menos token por tarefa sai mais barato NO FIM DO MÊS, mesmo com qualidade percebida parecida

Então, junto da rubrica, anote duas colunas bem chatas: custo por tarefa e tempo por tarefa

Qualidade percebida você já está medindo às cegas… essas duas você mede com número

Conclusão

O valor deste post não é o vencedor de hoje, é o procedimento

Rubrica antes, formatação neutra, ordem invertida, identidade por último

Quatro regras, e a sua decisão para de ser sobre logo

Próximo passo concreto: pegue cinco tarefas reais do seu dia, rode a bateria completa, guarde os prompts num arquivo e repita EXATAMENTE a mesma bateria a cada novo lançamento

Com Astra e Fable 5.1 empatados em preço por token, sobra o resultado pra decidir, e resultado é coisa que você mede, não que você acha

Bora testar? 😀

até o próximo post!