Como testar o Claude Fable 5.1 no seu próprio projeto antes de adotar de vez?

Confiar num benchmark de terceiro pra decidir qual modelo vai mexer no seu código é o mesmo que contratar dev pelo currículo e nunca olhar o código que ele escreve

A Anthropic anunciou o Claude Fable 5.1 junto com o Claude Mythos 5.1, e a pergunta que chega aqui é sempre a mesma: vale trocar?

A resposta honesta é que ninguém pode responder isso por você, porque o teu repositório não está em índice nenhum 🙂

Então bora montar um protocolo de avaliação caseiro, rodado no teu projeto, com número que TU mediu

O que é o Claude Fable 5.1 e por que o benchmark não decide por você

O Fable 5.1 e o Mythos 5.1 são o mesmo modelo, com níveis diferentes de salvaguardas

Na API e na Claude Platform o identificador é claude-fable-5-1, e o modelo está disponível no Claude Code desde o anúncio

Quem tem plano Pro, Max, Team ou Enterprise alcança o modelo, e pra quem constrói tem a Claude Platform nativamente, além dos marketplaces disponíveis na Amazon Web Services, no Google Cloud e no Microsoft Foundry

O preço, que é metade da decisão:

A entrada e a saída seguem iguais às do Fable 5, a mudança de verdade está no cache read

Esse cache read ficou 75% mais barato que o do Fable 5, e a própria Anthropic estima uma redução de custo de cerca de 25% em cargas típicas e de até aproximadamente 45% em cargas altamente agênticas

Repara no detalhe: quem ganha mais é quem roda sessão longa, com muita chamada de ferramenta e muito contexto reaproveitado

Se a tua carga é curta, esse desconto quase não aparece na fatura

E o benchmark? Serve pra alguma coisa?

Serve como parâmetro inicial, não como veredito

Formação Recomendada

Formação Claude Code

Domine Claude Code do absoluto zero até o avançado

• 114 aulas
• 4 projetos
• 9h 18min

Conhecer formação

No Artificial Analysis Intelligence Index o Fable 5.1 aparece com 66 pontos, o maior score entre os modelos com resultado publicado no índice, contra 63 do Claude Opus 5, e a mediana dos comparáveis é 36

Olha o tamanho da distância: 30 pontos pra mediana e TRÊS pontos pro segundo colocado

Três pontos num índice generalista não dizem absolutamente nada sobre o teu monorepo de cinco anos, com convenção esquisita e teste flaky 😛

E tem outro motivo pra você ter medição própria: o Fable 5 e o Mythos 5 entraram em controles de exportação do Departamento de Comércio dos EUA e a Anthropic tirou os modelos do ar

O Fable 5 voltou globalmente em 1º de julho, com novos limites de uso e um security fix, e parte dos usuários passou a reclamar de desempenho "nerfado"

Quem tinha planilha própria conseguiu comparar antes e depois

Quem só tinha impressão, ficou discutindo impressão

O que você precisa antes de começar o teste

Checklist curto, sem enrolação:

• Acesso ao modelo: plano Pro, Max, Team ou Enterprise, ou crédito na Claude Platform
• Claude Code instalado e funcionando na tua máquina
• Um repositório real, com histórico: projeto de exemplo não serve, porque projeto de exemplo é sempre fácil
• Um lugar pra registrar: planilha ou um arquivo markdown versionado dentro do próprio repo
• A linha de base definida: qual modelo você usa hoje no dia a dia e vai servir de comparação
• Uma decisão sobre a troca automática de modelo: ela vem ativada por padrão na primeira vez que você seleciona Fable 5 ou Fable 5.1, e pode ser desligada, então decide ANTES se vai deixar ligada ou não e anota a escolha junto do teste

Esse item da linha de base é o que mais gente pula, e é justamente o que transforma o teste em opinião

Sobre orçamento:

Dá pra fazer uma bateria inteira com pouco crédito, e mais pra frente, na seção "Quanto custa rodar uma bateria dessas na prática", eu mostro os números reais de uma bateria que eu mesmo rodei (com outro modelo, mas serve de ordem de grandeza)

Um aviso importante sobre consumo por plano: a regra confirmada é do Fable 5, não do 5.1

No Max, em assentos premium do Team e do Enterprise por assento, o Fable 5 conta nos limites do plano e dá pra usar até 50% do limite semanal com ele sem custo extra

No Pro e em assentos padrão, o Fable 5 roda com usage credits em vez dos limites do plano

Se isso vale igual pro 5.1 eu não vi confirmado em lugar nenhum, então não vou afirmar

Antes de sair rodando, vale a mesma disciplina de avaliar um sistema antes de instalar no projeto: primeiro você define como vai medir, depois você mexe

Protocolo de avaliação em 7 passos

A ideia é simples: mesma entrada, condição controlada, resultado anotado

1. Separe de 3 a 5 tarefas reais já resolvidas do seu repositório e congele o estado do código

Pega um bug que já foi fechado, um refactor que já rolou e uma feature pequena que já entrou

A graça é que você JÁ SABE qual era a resposta certa, então dá pra julgar sem achismo

Congelar é literal: cria uma branch a partir do commit anterior à correção e trabalha sempre a partir dela

git checkout -b eval/fable-5-1 <commit-antes-da-correcao>
git tag eval-base

O erro comum deste passo: escolher tarefa nova, que ninguém sabe resolver, e depois não ter como dizer se o modelo acertou

2. Escreva o prompt uma vez e reutilize idêntico em todas as rodadas

Salva o prompt num arquivo do repo, tipo evals/tarefa-01.md, e copia dali sempre

Se você reescreve o prompt "melhorando um pouquinho" na segunda rodada, acabou o teste, você está comparando prompt e não modelo

3. Fixe a versão do modelo pelo nome completo

Aliases como fable, opus, sonnet e haiku resolvem para um ID padrão, que aponta pra versão recomendada e MUDA com o tempo

O Claude Code aceita definir o modelo por variável de ambiente, no formato ANTHROPIC_MODEL=<alias|nome do modelo>, e é bem aí que você coloca o nome completo em vez do alias:

export ANTHROPIC_MODEL=claude-fable-5-1

"E aquela ANTHROPIC_DEFAULT_FABLE_MODEL que aparece na doc?" A doc lista duas formas de travar a versão: o nome completo do modelo ou essa variável

No exemplo acima eu fui pela primeira, ou seja, o nome completo dentro do ANTHROPIC_MODEL, que é a variável que diz qual modelo a sessão usa

O erro comum deste passo: comparar uma rodada de segunda com uma de quinta usando alias, e achar que o modelo "piorou"

4. Rode a linha de base e depois o Fable 5.1, na mesma tarefa

Pra abrir a sessão já travada no modelo:

claude --model claude-fable-5-1

Dentro da sessão, dá pra rodar /model e selecionar o Fable no seletor de modelos, ou usar /model <alias|nome> pra trocar na hora

A doc de configuração de modelo do Claude Code tem o resto dos detalhes

O erro comum deste passo: rodar a linha de base depois de já ter conversado sobre a tarefa na mesma sessão, aí o contexto contamina a comparação

5. Varie apenas UMA coisa por rodada

Uma variável por vez, sempre

Uma das variáveis mais interessantes é o effort, que é o controle principal de troca entre inteligência, latência e custo na linha Fable, com níveis low, medium, high (padrão) e xhigh, documentado em Build with Claude > Effort na Claude Platform

Se o effort por mensagem está exposto como configuração dentro do Claude Code eu não vi confirmado, então não vou te ensinar um caminho de menu que talvez não exista

Na Claude Platform ele é parâmetro, e é ali que dá pra varrer os níveis com segurança

6. Registre por rodada, sempre as mesmas colunas

Custo, tempo até terminar, número de intervenções suas, testes passando e retrabalho depois

Um markdown versionado já resolve:

| tarefa | modelo | effort | custo | tempo | intervenções | testes | retrabalho |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 01-bug-login | claude-fable-5-1 | high | | | | | |
| 01-bug-login | baseline | high | | | | | |

"Número de intervenções suas" é a coluna mais subestimada: modelo que entrega em 3 minutos mas exige 8 correções tuas não é barato coisa nenhuma

7. Rode cada tarefa mais de uma vez

Resultado único não distingue modelo bom de sorte

Duas ou três passadas por tarefa já mostram se o comportamento é estável ou se é loteria

E se você vier de uma versão anterior, a Anthropic publicou a página "Migrating to Claude Fable 5.1 and Claude Mythos 5.1" na documentação da Claude Platform, que serve de leitura de apoio antes de montar a bateria

Que tarefas colocar na bateria de teste

Nem toda tarefa revela diferença

Criar uma landing page qualquer, qualquer modelo decente faz

O que separa de verdade:

• Sessão agêntica longa, com muitas chamadas de ferramenta: é aqui que o cache read a US$ 0,25 por milhão aparece na conta, e é exatamente o cenário pro qual a Anthropic posiciona o modelo
• Refactor espalhado por muitos arquivos: mede se ele mantém a coerência do começo ao fim ou se esquece a convenção no arquivo 12
• Bug que exige LER contexto antes de editar: aquele que só dá pra resolver entendendo três camadas do sistema
• Tarefa curta e repetitiva: candidata natural a rodar com effort mais baixo, e ótima pra descobrir que você está pagando caro por raciocínio que ninguém pediu

Vale incluir também uma tarefa em domínio sensível, só pra observar aquele comportamento que você já decidiu lá no checklist

Existe uma troca automática de modelo em conversas iniciadas no Fable 5 ou Fable 5.1, acionada quando pedidos são sinalizados por segurança em domínios sensíveis

Ela vem ativada por padrão na primeira vez que você seleciona Fable 5 ou Fable 5.1, e pode ser desligada

Saber que isso existe evita você anotar "o modelo ficou estranho nessa rodada" sem entender o porquê

Quanto custa rodar uma bateria dessas na prática

Aqui eu falo por experiência própria, com uma ressalva grande: os números abaixo são de um teste meu com OUTRO modelo, não com o Fable 5.1

O preço do Fable 5.1 é o que está lá em cima na tabela

O que eu quero passar é a ORDEM DE GRANDEZA de uma bateria caseira, porque muita gente acha que precisa de PC da Nasa e de nota fiscal de multinacional pra testar modelo 😀

Quando testei, eu coloquei 10 dólares de crédito na API e defini o teste como um limite de gasto: quero ver até onde esse modelo chega dentro desse dinheiro

Com esse crédito eu criei seis projetos, usando de um a dois prompts cada

O primeiro foi um projeto descartável, um to do list em HTML, CSS e JavaScript com animações, hover e confete ao concluir tarefa, só pra checar se estava funcionando e quanto ia custar

Custou 15 centavos de dólar

Abri no navegador e estava tudo lá: confete, animação, exclusão funcionando, tudo que eu tinha pedido no prompt

Depois evoluí a régua: editor de markdown com preview lado a lado funcionou plenamente, e um clone de rede social com autenticação, backend e banco saiu em 2 prompts (um pra base, outro pra autenticação)

Criei conta, fiz login, dei like, respondi comentário, os dados persistiram e até o contador de caracteres funcionava

Agora a parte que ninguém gosta de contar: nesse projeto maior apareceram bugs pequenos, e um dos projetos não funcionou de fato, deu erro no console

Deixei como estava no vídeo em vez de esconder, porque teste honesto mostra a falha

Do crédito todo sobrou cerca de 30 centavos de dólar

O que eu NÃO curti: só consegui manter uma tarefa concorrente, um terminal por vez, e isso atrasou minha gravação

É um detalhe operacional que benchmark nenhum mede, e que no teu dia a dia pode pesar mais que três pontos num índice

No vídeo abaixo eu mostro esse método inteiro rodando, do crédito à conclusão:

A moral pro teu protocolo: você não precisa de orçamento grande, precisa de limite de gasto definido e de tarefas reais

Erros que invalidam o seu teste (e como prevenir)

Resultado inconsistente entre as rodadas:

Sintoma: a mesma tarefa, com o mesmo prompt, deu resultado bem diferente com uma semana de distância

Causa provável: você usou alias, e alias resolve para um ID padrão que aponta pra versão recomendada e muda com o tempo

Como prevenir: nome completo do modelo em toda rodada, claude-fable-5-1, ou a outra forma documentada de fixar, a variável ANTHROPIC_DEFAULT_FABLE_MODEL, e anota a string exata na planilha

Comparação injusta porque o repo mudou:

Sintoma: o segundo modelo parece muito melhor, mas ninguém sabe explicar por quê

Causa provável: entre a rodada A e a rodada B alguém mergeou coisa na branch, e o ponto de partida deixou de ser o mesmo

Como prevenir: branch congelada com tag, e git status limpo antes de cada rodada

É o mesmo raciocínio de quando uma skill não funciona no seu projeto: metade dos casos é diferença de ambiente, não do que você está julgando

Custo maior do que o esperado:

Sintoma: a fatura da bateria estourou o que você tinha imaginado

Causa provável: tarefa simples rodando no effort padrão, que é o high

Como prevenir: classifica as tarefas antes, marca quais são candidatas a effort baixo, e testa os níveis (low, medium, high, xhigh) como variável isolada em vez de deixar tudo no padrão

A resposta "mudou de tom" do nada:

Sintoma: no meio da conversa o comportamento muda e você não entende o motivo

Causa possível: a troca automática de modelo, acionada quando pedidos são sinalizados por segurança em domínios sensíveis

Como prevenir: saber que ela vem ativada por padrão na primeira vez que você seleciona Fable 5 ou Fable 5.1, que pode ser desligada, e anotar na planilha quando a rodada tocar em domínio sensível

Como definir seu critério de aprovação e decidir

Escreve o critério ANTES de rodar o teste

Sério, antes

Critério escrito depois do resultado é só você justificando o que já tinha vontade de fazer 😀

Exemplos de critério que funcionam bem:

• mesma taxa de acerto nas tarefas, com MENOS intervenções suas
• custo por tarefa concluída abaixo do que você paga hoje
• nenhuma regressão nos testes que já passavam

E define a regra de desempate antes também, porque na prática os números costumam ficar parecidos

Minha sugestão de desempate: menos intervenção humana ganha, porque é o que você sente na pele todo dia

A própria Anthropic dá um sinal de onde o modelo brilha: ela indica o Fable 5.1 para raciocínio exigente e trabalho agêntico de longo horizonte, ou quando suas avaliações no Claude Opus 5 em effort mais alto ainda não bastam

Lê essa frase com atenção, porque ela é quase uma confissão útil

Se as tuas avaliações no Opus 5 já resolvem, o convite não é pra você

E aqui vai o veredito honesto: se a tua carga é curta e simples, a diferença pode não justificar troca nenhuma

O desconto grande de cache read aparece em carga altamente agênticas, com estimativa de até aproximadamente 45%, e cai pra cerca de 25% em cargas típicas

Sem sessão longa, sem contexto reaproveitado, você paga entrada e saída no mesmo valor de antes e ganha pouco

Conclusão

Testar o Claude Fable 5.1 no seu projeto é isso: tarefas reais congeladas, prompt idêntico, modelo travado no nome completo, planilha preenchida e critério escrito antes

Guarda essa planilha, viu? Ela é o teu ativo de verdade

Quando sair a próxima versão, e vai sair, você reroda a mesma bateria em uma tarde em vez de recomeçar o debate do zero

Próximo passo concreto pra hoje: abre o repositório, escolhe UMA tarefa já resolvida, cria a branch congelada e roda a primeira rodada com claude --model claude-fable-5-1

Uma tarefa medida vale mais que dez opiniões na timeline

até o próximo post!