DeepSWE: o que significa o Ox Alpha acertar 8 de 10 tarefas no benchmark?

Fala aí, beleza? Circulou um print do Ox Alpha acertando 8 de 10 tarefas do DeepSWE, e em pouco tempo aquilo virou "o modelo novo bateu todo mundo"

O número existe e não foi inventado por ninguém

Só que ele veio de um subset de 10 tarefas de um corpus de 113, e um recorte desse tamanho não é nota final de modelo nenhum

Então bora fazer o caminho contrário do hype: entender o que o benchmark mede, como ele corrige, de onde saiu o 8/10 e o que dá (ou não dá) pra decidir com isso na mão

O que é o benchmark DeepSWE

O DeepSWE é um benchmark de agentes de código feito pra tarefas de longo horizonte, aquelas que não se resolvem com um trechinho de função

São 113 tarefas originais de engenharia, tiradas de 91 repositórios open source ativos, em 5 linguagens: TypeScript, Go, Python, JavaScript e Rust

O benchmark é operado pela Datacurve, com código aberto no repositório datacurve-ai/deep-swe e leaderboard público em deepswe.datacurve.ai

E tem um detalhe de design que muda tudo: cada tarefa tem solução de referência escrita do zero, não copiada de pull request existente, e as tarefas nunca são mergeadas de volta nos repositórios upstream

Por que isso importa? Contaminação

Se a resposta já vive num commit público, o modelo pode ter visto aquilo no treino e você não está medindo capacidade, está medindo memória

Formação Recomendada

Formação Vibe Coding

Do Prompt ao Produto: Crie Software Real com IA

• 474 aulas
• 20 projetos
• 39h 27min

Conhecer formação

Como o DeepSWE corrige uma tarefa: harness, verificador e arquivos de saída

Aqui é onde o benchmark deixa de ser "achismo com porcentagem" 🙂

O harness oficial de execução é o Pier, um fork do Harbor mantido pela Datacurve, com suporte a agentes de CLI em tarefas sem internet

Que é harness, afinal? É o programa que monta o ambiente, entrega a tarefa pro agente, deixa ele trabalhar e depois julga o que sobrou

A correção não olha o seu diff

Cada tarefa tem um verificador program-based escrito à mão, que checa a funcionalidade pedida e aceita qualquer implementação que entregue aquele comportamento

Ou seja: grading por comportamento, não por semelhança com a solução de referência

Desde a versão 1.1, o DeepSWE ainda separa o ambiente de verificação do Harbor: um hook [[verifier.collect]] em cada task.toml extrai os commits como patch, e esse patch é aplicado e avaliado num container limpo e isolado

Cada execução deixa rastro auditável:

• reward.json com os scores estruturados
• ctrf.json com o relatório de testes legível por máquina
• test-stdout.txt com a saída bruta da suíte
• run.log com stdout e stderr capturados

Isso é o que separa benchmark de post viral: o resultado é reproduzível e inspecionável

Se alguém discorda do número, dá pra abrir os arquivos e brigar com os dados, não com a opinião

De onde saiu o número de 8 em 10 tarefas

A origem tem nome: o desenvolvedor Ben Davis rodou 10 tarefas do DeepSWE e publicou a comparação

Nesse recorte, Ox Alpha ficou em 80%, Claude Fable 5 em 65% e GPT-5.6 Sol em 52%

E aqui vai o ponto que quase ninguém repassou junto: o próprio autor avisou na mesma postagem que aquilo era um subset e que o score real poderia variar bastante

Ou seja, o problema não foi o teste

O teste foi honesto e veio com a ressalva colada

O que se perdeu foi a ressalva, que sumiu no caminho entre o post original e o print recortado

Subset de 10 tarefas, suíte completa e leaderboard oficial: os três números lado a lado

Tem três leituras diferentes rodando por aí, e elas NÃO são a mesma coisa

Repara numa coisa: o leaderboard do DeepSWE não publica número seco

Ele publica com margem de erro, e é por isso que a linha da tabela vem com o ± colado em cada modelo

Isso já é a resposta de como se lê esse tipo de dado

Se até a suíte inteira sai com barra de erro, imagina 10 tarefas 😀

O que o resultado de 8/10 diz e o que ele não diz

Bora ser justo com o modelo e com quem testou

O que o 8/10 diz: em 10 tarefas o Ox Alpha entregou comportamento aceito pelo verificador, e isso não é pouco pra um modelo que apareceu do nada

A execução completa reforça o sinal por outro ângulo: 80% das tarefas atingiram 90% ou mais dos testes fail-to-pass

Traduzindo: em quase tudo ele chegou perto de fechar a tarefa, não ficou perdido no meio do repositório

O que o 8/10 não diz: não é Pass@1 da suíte, não tem margem de erro publicada e não é comparável com as linhas do leaderboard

E tem um dado que muda a conversa inteira: nessa execução completa, 9,7% do benchmark se perdeu em falha de formato de chamada de ferramenta

Isso não é o modelo errando a lógica

É o modelo errando o PROTOCOLO de conversar com o harness, coisa de formato de tool-call

Por fim, o motivo estatístico de não ranquear com tão poucas amostras: cada tarefa isolada mexe um bloco inteiro do resultado final

Duas tarefas com sorte diferente e o mesmo modelo despenca vários pontos sem ter ficado pior em nada

A barra de erro fica larga demais pra sustentar pódio

Como rodar o DeepSWE (e o mesmo subset) por conta própria

A parte boa: nada disso é caixa preta, tu roda na tua máquina e confere

1. Clona o repositório do benchmark:

git clone https://github.com/datacurve-ai/deep-swe

2. Instala o harness oficial, exigindo Pier na versão 0.3.0 ou mais nova:

uv tool install datacurve-pier

O erro comum deste passo: rodar com Pier antigo e achar que o problema é o modelo

3. Executa a avaliação apontando a pasta de tarefas, o agente e o modelo:

pier run -p deep-swe/tasks --agent mini-swe-agent --model <provedor/modelo>

4. Se quiser o recorte pequeno, o próprio harness tem flag pra subset determinístico:

pier run -p deep-swe/tasks --agent mini-swe-agent --n-tasks 10 --sample-seed 0

O erro comum deste passo é justamente o do print viral: tratar o resultado de 10 tarefas como score do modelo

Subset com semente fixa serve pra COMPARAR duas execuções na mesma amostra, não pra virar manchete

5. Pra rodar as tarefas em sandboxes paralelas na Modal, acrescenta a flag de ambiente:

pier run -p deep-swe/tasks --agent mini-swe-agent --env modal

Depois é abrir os arquivos de saída da execução e olhar tarefa por tarefa

É ali que o número vira informação

As críticas ao próprio benchmark: gold patches que falham e conta de custo inflada

Seria fácil terminar o post falando "confia no benchmark e pronto", mas não é bem assim

Uma auditoria independente, publicada com dados completos de execução, encontrou 4 de 113 soluções de referência que falham nos próprios verificadores: langchain-request-coalescing, narwhals-rolling-window-suite, prometheus-transactional-reload-status e skrub-duration-encoding

Solução de referência que não passa no verificador da própria tarefa é ruído dentro do resultado de todo mundo

Agora, honestidade também vale pro outro lado: a parte da auditoria que questionava as taxas de resolução foi RETRATADA pelo próprio autor

O setup dele aplicava o patch de teste do verificador antes do agente rodar, o que deixava o modelo enxergar os testes de aceitação, e o resultado não se reproduziu no rerun correto (as seções foram retratadas na issue #21 do repositório)

Segue de pé, porém, a ressalva sobre a conta de custo

O cálculo de custo do benchmark cobra todos os tokens de entrada na tarifa cheia de cache miss, enquanto o auditor aponta que 78% dos tokens em runs reais de agente são cache hits, cobrados com 99,2% de desconto

Na prática, o benchmark paga preço de token novo por token que, no uso real, sairia com desconto pesado, e o valor publicado fica bem acima do que aquela mesma execução custaria

Ou seja: a conta do benchmark não é a conta da sua rotina

E o contraponto positivo, que é forte: a faixa de scores do DeepSWE vai de 12% a 70%, uns 58 pontos de amplitude, contra uma banda de cerca de 30 pontos no SWE-bench Pro

Os prompts têm metade do tamanho, mas a solução de referência toca cerca de 5,5x mais linhas de código

Benchmark que espalha os modelos numa faixa larga separa melhor quem é bom de quem só parece

Cuidado com o nome: existe outro DeepSWE, e não é este

Essa aqui pega muita gente na busca

DeepSWE também é o nome de um MODELO open source da Agentica com a Together AI, lançado em julho de 2025, treinado por RL sobre o Qwen3-32B

O DeepSWE-Preview marcou 42,2% de Pass@1 no SWE-Bench Verified e 59% com test-time scaling híbrido, segundo o anúncio da Together AI

Projeto diferente, gente diferente, sem relação nenhuma com o benchmark da Datacurve

Se tu cair num artigo falando de pesos, treino e RL, é o outro DeepSWE

Como transformar um número de benchmark em decisão de ferramenta

Benchmark só vale se ele mudar alguma escolha tua, senão é entretenimento 😛

Escolher modelo pra trabalho longo de código: olha o Pass@1 da suíte completa COM a margem de erro, nunca o print de subset

Quando dois modelos estão a 1 ponto de distância e a barra é de ±4%, tu não tem um vencedor, tu tem um empate

Avaliar modelo novo sem entrada em leaderboard: roda o subset determinístico com semente fixa e trata o resultado como SINAL, não como nota

É o caso do Ox Alpha hoje: sem entrada oficial, todo número é execução de terceiro

Diagnosticar falha do agente: separa erro de lógica de erro de formato de tool-call

Um é limite do modelo e tu troca de modelo

O outro é ajuste de harness e tu conserta o encanamento, igual aqueles 9,7% perdidos na execução completa

Comparar custo: a tarifa do benchmark ignora cache hit, então o custo da tua rotina real tende a ser outro

Mede na tua conta, com o teu padrão de uso, não na planilha de terceiro

O que sabemos do Ox Alpha hoje (e o que ainda está em aberto)

O retrato do modelo, só com o que dá pra checar

Ele estreou em 20/08/2026 na OpenRouter sob o provider stealth, com model id stealth/ox-alpha, sem nome de empresa nenhum na ficha

Está listado com janela de contexto de 1.048.576 tokens e saída máxima de 131K tokens

O preço aparece como $0 de entrada e $0 de saída, numa janela de preview por tempo indeterminado, sem preço pós-preview anunciado

E até 24/08/2026 nenhuma empresa assumiu oficialmente a autoria

Em aberto: não existe entrada oficial do Ox Alpha no leaderboard do DeepSWE nem em trackers como o Artificial Analysis

Todo número que tu vê circulando é execução da comunidade, incluindo os 58,4% e incluindo o 8/10

A implicação prática é bem direta: dá pra testar de graça agora e formar opinião própria, mas montar rotina de produção em cima de preço zero de preview é risco que tu está assinando sem ler

Conclusão

O 8/10 é um recorte pequeno de um benchmark bem construído, e recorte pequeno não vira ranking

A leitura mais completa que existe hoje coloca o Ox Alpha em 58,4% numa execução da suíte inteira feita pela comunidade, contra um topo de leaderboard perto de 74% ±4%

Dois números, duas bases, duas conversas diferentes

Próximo passo concreto se tu quiser sair do achismo: clona o repositório, roda o subset determinístico com semente fixa no teu tipo de tarefa e compara com o resultado da execução completa antes de trocar de modelo

Benchmark é bússola, não é sentença…

Até o próximo post!