Jev com conteúdo em português: o que testar antes de confiar nas decisões

O Jev entende português, mas não com a mesma acurácia do inglês, e quem diz isso é a própria TypeSafe AI

Fala aí, beleza? 😀

Se tu chegou até aqui, provavelmente já viu o hype: o Jev é o primeiro modelo ‘System One’ da TypeSafe AI, e ele não gera texto nem conversa

Ele recebe um texto (ou um estado estruturado) junto com perguntas tipadas e devolve decisões tipadas, com valores limitados e distribuição de probabilidades

O lançamento teve lista de espera e, em 21 de setembro de 2026, o acesso foi aberto pra todo mundo

Aí vem a pergunta que interessa: e o Jev em português, dá pra confiar?

A documentação da TypeSafe é bem direta: o inglês é a principal língua de treino, outros idiomas são aceitos com acurácia menor, e a recomendação é testar com o seu próprio conteúdo antes de colocar em produção

Então neste post eu te passo um roteiro de validação pensado pra texto em PT-BR de verdade, aquele cheio de gíria, erro de digitação, inglês misturado e nome de produto 🙂

O que você precisa antes de começar a validar:

Nada de PC da Nasa aqui haha

A lista é curta:

• Acesso ao Jev: hoje a única versão publicada é a jev-1.13.0, e os aliases jev-latest e jev-preview apontam pra ela (ou seja, por enquanto tudo é o mesmo modelo)
• Mensagens reais do seu domínio em português: tickets, comentários, e-mails, chats, o que for a matéria-prima da decisão
• Alguém do time pra rotular: uma pessoa que saiba dizer qual é a resposta certa de cada caso
• Uma decisão clara: o que o Jev vai fazer? Os usos indicados são classificação, roteamento, pontuação, verificação e guardrails

E o custo do teste?

No OpenRouter, o Jev 1.13 cobra US$ 0,042 por milhão de tokens de entrada e US$ 0 na saída (só a entrada é cobrada)

Ou seja: não tem desculpa pra testar com uma amostra pequenininha, dá pra rodar volume sem medo da fatura 😛

O foco é o que vem DEPOIS de ter acesso: descobrir se as decisões fazem sentido no seu português

Roteiro de validação do Jev para conteúdo em PT-BR:

Antes do como, o porquê

Não existe métrica oficial de acurácia por idioma publicada pela TypeSafe, então ninguém pode te dizer "em português ele acerta X%"

Quem vai descobrir isso é você, no seu dado

É tipo contratar alguém que fala português como segunda língua: a pessoa é boa, mas tu não sabe ainda como ela lida com a gíria do teu cliente até ver na prática

Bora pros passos?

1. Monte a amostra rotulada com texto real: pegue mensagens do seu domínio e separe em grupos. Gírias e regionalismos, erros de digitação e falta de acento, mistura de português com inglês (tipo "o deploy quebrou" ou "quero cancelar a subscription") e nomes de produto e marcas. Cada mensagem ganha um rótulo com a resposta certa

O erro comum deste passo: testar só frases limpas, bem escritas, com acento no lugar

Seu cliente não escreve assim, né? Se a amostra é bonitinha, o resultado também vai ser, e vai mentir pra você

Um detalhe importante: ninguém publicou ainda como o Jev se comporta com gíria, digitação errada ou code-switching

Por isso esses grupos precisam estar na amostra, é justamente o que você não sabe

2. Defina uma pergunta por julgamento e escolha o tipo certo: o Jev tem três tipos de pergunta. Choice escolhe uma opção de um conjunto que você fornece e devolve a opção, as probabilidades e a confidence. Score devolve uma posição numa escala (com score, legend, probabilities e confidence). Noul é uma proposição sim/não que devolve um valor entre 0 e 1, sem campo separado de confidence

E o que é essa confidence? Em Choice e Score, a TypeSafe descreve como um resumo calculado a partir da distribuição de probabilidades

O erro comum deste passo: fazer uma pergunta ampla do tipo "analise esta mensagem e decida a melhor ação"

Isso é pedir muitos julgamentos de uma vez, e a orientação é dividir

Um exemplo bom de pergunta estreita: "Esta mensagem transmite urgência?"

3. Escreva a pergunta ao pé da letra: o Jev responde à pergunta que foi escrita, não à que você quis dizer. Escopo, negações e condições implícitas são lidos literalmente, então escreva a condição exata

O erro comum deste passo: deixar a condição na cabeça e não no texto

Se tu quer saber se o cliente pediu cancelamento "do plano pago", escreve isso, porque "pediu cancelamento?" é outra pergunta

4. Descreva cada opção com situações concretas: rótulos sem descrição reduzem a confiança. O critério de cada opção deve dizer o que pertence a ela e o que pertence à vizinha, e não usar graus ("pouco", "muito", "bastante"). Nas perguntas Noul, quem cumpre esse papel são o whenTrue e o whenFalse

Um exemplo ilustrativo de pergunta Choice pra suporte:

• Pergunta: Qual é o assunto principal desta mensagem de suporte?
• cobranca: cliente fala de fatura, cobrança em duplicidade, cartão recusado ou pedido de reembolso
• acesso: cliente não consegue entrar na conta, esqueceu a senha ou não recebeu o código de login
• bug: cliente relata que uma função do produto deu erro ou parou de funcionar depois de já ter acessado
• other: qualquer assunto que não seja cobrança, acesso ou erro de funcionamento

Repara que "acesso" e "bug" são vizinhos, e a descrição deixa claro onde um termina e o outro começa

O erro comum deste passo: colocar só os rótulos secos ("cobranca", "acesso", "bug") e esperar que o modelo adivinhe a fronteira

5. Inclua ‘other’ ou ‘none_of_the_above’: o Jev não cria categorias que não estão na lista. Se a lista pode não cobrir todos os casos, dê uma saída pra ele

O erro comum deste passo: forçar o modelo a escolher entre opções que não servem, e aí ele escolhe a menos pior, que continua errada

6. Rode a amostra e compare por grupo: confronte cada resposta com o rótulo e separe os resultados por gíria, digitação, mistura de idiomas e nome de produto. Anote a confidence de cada acerto e de cada erro (nas perguntas Noul não tem campo separado de confidence, então anote o valor entre 0 e 1 que ele devolve)

O erro comum deste passo: olhar só a taxa geral de acerto

Uma média bonita pode esconder um grupo inteiro indo mal, por exemplo todas as mensagens com produto citado em inglês

7. Defina limiares por faixa: confiança alta, o sistema age sozinho. Faixa intermediária, vai pra revisão. Confiança baixa, vai pra um humano (ou pra um LLM mais lento). Os limiares devem ser proporcionais ao custo de uma ação errada

O erro comum deste passo: copiar um limiar que alguém usou pra conteúdo em inglês

A TypeSafe pede pra prestar atenção na Confidence justamente ao rotear conteúdo fora do inglês, e o limiar certo é o que sai do SEU teste

Se quiser se aprofundar nessa parte, tem um guia sobre como validar as decisões do Jev antes de produção

Quando o resultado do Jev oscila em português: o que ajustar na pergunta?

Rodou e o resultado ficou estranho? Calma, antes de culpar o idioma, olha a pergunta

Se liga nos sintomas mais comuns:

Confidence baixa em quase tudo (perguntas Choice e Score):

• Causa provável: opções sem descrição
• Solução: descrever cada opção com situações concretas
• Como prevenir: nunca subir uma pergunta só com rótulos, escreva o critério antes de testar

Acerta mensagem limpa e erra gíria ou texto misturado:

• Causa provável: a acurácia fora do inglês é menor, segundo a própria TypeSafe
• Solução: ampliar a amostra desse grupo e mandar a faixa intermediária pra revisão humana
• Como prevenir: montar a amostra desde o início com os quatro grupos, e não só com texto bem escrito

Escolhe a opção vizinha com frequência:

• Causa provável: critérios descritos como graus ("urgência leve" vs "urgência alta")
• Solução: dizer o que pertence a cada opção e o que pertence à vizinha
• Como prevenir: revisar as descrições procurando palavras como "pouco", "muito", "mais" e trocar por situações

Respostas que parecem certas, mas pra outra pergunta:

• Causa provável: leitura literal de escopo e negação
• Solução: reescrever a condição exata, com o escopo e a negação explícitos
• Como prevenir: ler a pergunta como se fosse um contrato, só vale o que está escrito

Casos que não cabem em nenhuma opção são classificados mesmo assim:

• Causa provável: lista incompleta
• Solução: incluir ‘other’ ou ‘none_of_the_above’
• Como prevenir: antes de rodar, perguntar pro time "qual mensagem nossa não cabe aqui?"

Uma pergunta tentando decidir várias coisas:

• Causa provável: julgamento amplo demais numa pergunta só
• Solução: dividir em perguntas estreitas, que rodam em paralelo sobre o mesmo estado e mantêm cada uma o próprio limiar
• Como prevenir: se a pergunta tem "e" ou "ou" no meio, desconfie, provavelmente são duas

Onde vale usar o Jev com texto em PT-BR (e onde manter um humano):

Os usos indicados pela TypeSafe são classificação, roteamento, pontuação, verificação e guardrails

Trazendo isso pro português do dia a dia:

A regra que vale pra todos: quanto maior o custo de uma decisão errada, mais alto o limiar e maior a faixa que vai pra revisão

Rotear um ticket pra fila errada custa uns minutos

Bloquear o conteúdo de um cliente por engano custa bem mais, então ali o humano fica MUITO mais perto da decisão

E a velocidade? A TypeSafe declara entre 70 e 500 milissegundos por resposta, o que faz sentido pra roteamento em tempo real

Só que esse número é da TypeSafe, não é uma promessa de desempenho em português, então mede também 😉

Próximo passo: medir antes de automatizar

Resumindo: com o Jev em português, a confiança não se presume, se mede no seu dado

O caminho é o mesmo de testar uma skill nova antes de colocar no dia a dia: amostra real, critério claro e olho no resultado

Na prática, o próximo passo é:

• separar uma amostra real com os quatro grupos (gíria, digitação, mistura de idiomas, nomes de produto)
• rotular cada caso com a resposta certa
• rodar uma pergunta estreita, ao pé da letra, com opções bem descritas e um ‘other’
• comparar por grupo e só então ligar a automação na faixa de confiança alta

O resto vai pra revisão até os números do seu teste te darem segurança

Nada de fórmula mágica, é medir mesmo haha

Até o próximo post! 🙂