Como saber se o Jev no Claude Code realmente economizou contexto na sua tarefa?

Fala aí, beleza? Sem painel de métrica, aquela sensação de que a sessão ficou mais leve não prova nada 😛

E com o Jev isso pesa ainda mais, porque todo mundo quer saber se ele economiza contexto e ninguém tem um número na mão

O Jev é o primeiro modelo da classe que a TypeSafe AI chama de System One Models, e está em early access desde 15/09/2026

Só que ele não gera texto: recebe uma entrada e perguntas tipadas, e devolve respostas tipadas com confiança calibrada

O foco dele são decisões dentro de software, como classificação, roteamento, pontuação e extração

Ou seja, o Jev não substitui o modelo do Claude Code

Ele entra como ferramenta auxiliar, chamada pela API HTTP da TypeSafe no endpoint POST https://api.typesafe.ai/v1/systemone

E aí vem o ponto do post: se ele é uma peça a mais no fluxo, a única forma honesta de saber se economizou alguma coisa é rodar a mesma tarefa com e sem ele e comparar

Bora montar esse teste caseiro? 🙂

O que você precisa antes de comparar

A lista é curta, mas cada item importa pra comparação não sair torta

• Claude Code funcionando no projeto onde você vai testar
• O Jev conectado por uma integração, por exemplo o jev-code, um projeto da comunidade mantido por FrancoisChastel (não é da TypeSafe nem da Anthropic) que expõe o Jev como ferramenta com classify, check, score, rank e ask, mais uma skill que ensina o agente quando usar, tudo com setup de um comando
• Ou o Jevmem, uma memória automática de projeto feita sobre o Jev (versão v0.5, licença MIT, pacote npm jevmem)
• Uma tarefa repetível e de escopo fechado, que você consiga rodar igualzinha duas ou mais vezes
• Uma planilha ou um arquivo de texto pra anotar os números de cada rodada

Pra instalar, segue o README de cada projeto, beleza?

E tome cuidado com o tamanho da tarefa!

O Jev 1.13.0 aceita 64k tokens por requisição (estado + todas as perguntas) e 32k tokens para o estado + a pergunta mais longa

Se tu escolher uma tarefa que manda um estado gigante pro Jev, vai estourar esse limite e a comparação vira bagunça antes de começar

Passo a passo do teste caseiro com e sem Jev

Antes do como, o porquê: o Claude Code já carrega muita coisa antes de você digitar qualquer coisa

CLAUDE.md, auto memory, nomes de ferramentas MCP e descrições de skills entram no contexto logo de cara, e cada arquivo lido também ocupa espaço

Então se tu não medir a carga inicial, vai atribuir ao Jev uma diferença que veio de outro lugar

1. Escolha uma tarefa onde o Jev faz sentido e escreva o prompt fixo

Pensa em algo que é decisão tipada: classificar arquivos, rotear pedidos, pontuar itens, extrair campos

Escreve o prompt uma vez só, salva num arquivo e copia ele idêntico nas duas rodadas

O erro comum deste passo: rodar tarefas diferentes em cada formato ("ah, na segunda eu pedi um pouquinho a mais") e depois comparar os números como se fosse a mesma coisa

2. Faça a rodada base, sem o Jev

Começa do zero e olha a carga inicial antes de digitar o prompt:

/clear
/context

O /context mostra o que ocupa a janela de contexto, dividido por categoria: system prompt, ferramentas do sistema, ferramentas MCP, subagentes, arquivos de memória, skills e mensagens

Anota tudo, depois cola o prompt fixo e deixa o Claude Code trabalhar

Durante a execução, conta quantas idas e voltas foram precisas e quanto material tu teve que reenviar (arquivo colado de novo, trecho de log repetido, explicação refeita)

No fim, roda:

/context
/usage

O erro comum deste passo: usar /compact no meio da rodada

O /compact resume o histórico pra liberar contexto, o que é ótimo no dia a dia, mas aqui ele zera a comparação, porque a rodada deixa de ser medível

3. Faça a rodada com o Jev, no mesmo procedimento

Mesmo projeto, mesmo prompt, mesmo /clear, mesmo /context antes e depois, mesmo /usage no fim

O erro comum deste passo: esquecer que a integração também ocupa contexto

A skill do jev-code entra no contexto, e as linhas do JEVMEM.md que o Jevmem injeta também

Isso precisa aparecer na conta, senão tu está comparando só metade da história

4. Repita cada rodada pelo menos mais uma vez

Uma rodada só pode ser sorte: o agente às vezes acerta de primeira, às vezes não

Com duas rodadas de cada lado, tu já percebe se a diferença se mantém ou se foi acaso

5. Compare as categorias, não só o total

Olha mensagens, ferramentas MCP, skills e arquivos de memória separadamente no /context

Se o total caiu mas a categoria skills subiu, tem coisa pra entender ali

E se liga no /usage: o valor em dólar que ele mostra é uma estimativa calculada localmente a partir do preço de tabela

Pra assinante Pro e Max, o custo da sessão não reflete cobrança, então usa esse número pra comparar rodadas e não como conta a pagar

Pra facilitar a anotação, um modelo simples de registro por rodada:

rodada: base-1 (sem Jev)
tarefa: mesma do arquivo prompt-fixo.txt
contexto inicial (/context): system | ferramentas | MCP | memória | skills | mensagens
contexto final (/context): system | ferramentas | MCP | memória | skills | mensagens
turnos ate terminar:
turnos de correcao:
material reenviado: (quais arquivos, quantas vezes)
/usage (estimativa):
resultado igual ao esperado? sim/nao

Ganho real ou só impressão: como ler seus números

Com as rodadas anotadas, a pergunta é: o que conta de verdade?

A regra de ouro: número bom com resultado pior não é economia, é perda disfarçada 😀

Se quiser ir além do contexto e checar a qualidade da saída, tem um post só sobre testar se o Jev melhora o resultado

Quando a economia parece real mas não é

Aqui entram os casos que mais enganam quem faz esse teste pela primeira vez

O total caiu, mas a resposta piorou?

• Causa: tu comparou resultados diferentes
• Solução: valida a saída antes de olhar qualquer número. Se a rodada com Jev entregou menos, ela não entra na comparação

Com Jevmem o contexto inicial subiu?

• Causa: o Jevmem usa os hooks Stop e UserPromptSubmit, grava linhas de até 200 caracteres no JEVMEM.md do repositório e injeta as linhas relevantes no início da sessão seguinte
• O porquê: o hook UserPromptSubmit dispara quando tu envia o prompt, antes do Claude processar, e pode adicionar contexto. O Stop dispara quando o Claude termina de responder
• Solução: mede se essa carga se paga em menos reexplicação nas sessões seguintes. Memória que entra e não evita nenhum reenvio é só peso

O custo em dólar não bate com a fatura?

• Causa: o /usage estima localmente a partir do preço de tabela
• Solução: pra cobrança oficial, confere a página Usage do Claude Console

Como prevenir essas armadilhas?

Protocolo fixo, sempre: mesmo prompt, /clear antes de cada rodada e nada de /compact no meio

Se mais gente do time vai repetir o teste, vale padronizar o uso do Jev no time antes, senão cada um mede de um jeito e os números não conversam

Em que tipo de tarefa vale a pena testar o Jev

Não vou prometer resultado aqui, porque não existe benchmark independente de economia de contexto com o Jev no Claude Code

O que dá pra listar são hipóteses que valem a medição 🙂

Decisões tipadas repetitivas dentro do fluxo

Classificar arquivos, priorizar issues, extrair campos de um texto

É exatamente o tipo de trabalho pra que o Jev foi feito, então é onde a comparação tem mais chance de mostrar diferença (ou de mostrar que não tem nenhuma, o que também é resposta!)

Memória entre sessões com Jevmem

Se tu vive reexplicando o mesmo contexto do projeto toda vez que abre o Claude Code, o Jevmem é candidato natural

Aqui o teste precisa ser em mais de uma sessão, porque o ganho (se existir) aparece na sessão seguinte

Roteamento de turnos com jev-router

O jev-router, projeto da comunidade mantido por gargpratyush, faz roteamento automático de modelo a cada turno no Claude Code e no Codex

Trabalho simples vai pro tier rápido e trabalho difícil vai pro tier forte

Vale medir se a qualidade se mantém nos turnos que foram pro tier rápido

E o custo do próprio Jev?

O Jev 1.13 cobra só token de entrada: US$ 0,042 por milhão de tokens (US$ 42 por bilhão), com saída grátis

Só que esse custo é separado do contexto do Claude Code, beleza?

Não mistura as duas contas na planilha, anota numa coluna própria

O que um teste real com plugin de contexto ensina sobre medir

Antes de tudo: o que vou contar aqui NÃO é sobre o Jev

É sobre o Context Mode, outro plugin que mexe com contexto no Claude Code, e entra aqui só como exemplo de método

Quando testei, instalei o plugin por um comando de marketplace apontando pro repositório do projeto

Antes de rodar qualquer coisa, pedi pro Claude Code gerar um CLAUDE.md do projeto e li esse arquivo pra planejar os prompts do teste

Aí rodei uma sequência de tarefas reais no mesmo projeto:

• uma análise que apontou vulnerabilidades
• a correção das três falhas de segurança mais críticas junto com uma refatoração (extrair a validação dos controllers pra um middleware reutilizável)
• uma funcionalidade nova, com endpoint e seção de estatísticas no frontend

A ideia de variar as áreas foi gerar volume de trabalho de verdade, porque comparar contexto com um prompt de duas linhas não diz nada haha

No fim, usei o comando de status do próprio plugin

Ele reportou 84 KB de dados processados, algo perto de 40 KB desviados pra sandbox sem entrar no contexto principal (na fala esse número saiu meio embolado, então trata como aproximado) e 50% de redução no tráfego de tokens

Minha leitura na hora foi que, sem o plugin, a sessão teria sido impactada à toa

Porém, a lição pra este post é outra: número reportado pela própria ferramenta é ponto de partida, não prova

Por isso a comparação lado a lado com /context continua sendo necessária, seja com o Context Mode, seja com o Jev

Legenda: no vídeo eu mostro o Context Mode, que é outro plugin, não o Jev. Ele serve aqui como exemplo de como montar uma sessão de teste com volume real

Próximo passo: rode sua primeira comparação hoje

Recapitulando o protocolo:

• mesma tarefa, com prompt fixo salvo em arquivo
• /clear antes de cada rodada
• /context antes de digitar e no fim, /usage no fim
• contar turnos, turnos de correção e material reenviado
• nada de /compact no meio
• pelo menos duas rodadas de cada lado

E o critério de ganho real: menos tokens em mensagens com o mesmo resultado, menos turnos de correção e menos reenvio de arquivos, já somando a carga da skill ou da memória

O próximo passo é simples: pega uma tarefa pequena desta semana e faz as duas rodadas

Se o ganho não aparecer nos números, o Jev no Claude Code não está se pagando nesse caso, e tudo bem, tu descobriu isso com dado e não com sensação 😀

Até o próximo post!