Benchmarks do Gemini 4 Neon: o que medem e se valem para o seu caso

Ilustração representando benchmarks de inteligência artificial para o modelo Gemini 4 Neon
Resposta rápida

Os números do Gemini 4 Neon que circulam vêm da Vals AI e do Artificial Analysis, não do Google, e o modelo aparece em 1º no Legal Research Bench (56,25%) e no Tax Agent Bench (54,89%). Esses testes medem pesquisa jurídica e tributária do direito dos EUA, e o Vibe Code Bench mede criação de apps web a partir de especificação. Para direito brasileiro, código legado ou planilhas próprias, as notas são um sinal fraco: o caminho é rodar uma bateria curta com tarefas reais do seu trabalho.

O Google lançou o Gemini 4 Neon em 18 de novembro de 2026 como o modelo do meio da família Gemini 4, com foco em engenharia de software complexa, trabalho de conhecimento e fluxos científicos (anúncio oficial). As notas que estão rodando por aí, como Legal Research Bench, Tax Agent Bench e Vals Index, são da Vals AI, uma avaliadora independente.

Esses testes cobrem pesquisa jurídica e tributária do direito dos EUA e criação de apps web a partir de especificação. O seu repositório e a sua planilha não estão em nenhum deles, e é justamente isso que vale entender antes de trocar de modelo.

Quais notas o Gemini 4 Neon tirou nos benchmarks da Vals AI

Na página do modelo na Vals AI, o Neon aparece em 1º lugar em quatro rankings de domínio profissional (Legal Research Bench, Tax Agent Bench, Vals Legal Index e Vals Finance Index) e em 2º no Vals Index geral. O custo por teste é o que a Vals AI gastou para rodar cada avaliação.

Ranking (operado pela Vals AI)NotaPosiçãoCusto por teste
Legal Research Bench56,25%#1US$ 7,37
Tax Agent Bench54,89%#1US$ 4,95
Vals Legal Index78,36%#1US$ 6,10
Vals Finance Index68,32%#1US$ 4,88
Vals Index70,87%#2não citado aqui

Além disso, o Neon está na fronteira de Pareto entre nota e custo em 7 de 14 leaderboards da Vals AI. Traduzindo: nesses rankings, nenhum outro modelo entrega nota maior gastando menos.

Tem também o Artificial Analysis, outro avaliador independente. No Intelligence Index, o Neon marca 61 em esforço xhigh, 60 em high, 55 em medium e 44 em low. Em xhigh ele fica em 3º no geral, atrás do GPT-6.2 Astra (max) e do Claude Fable 5.2 (max), contra uma mediana de 43 entre modelos comparáveis.

Se liga num detalhe: Legal Research Bench, Tax Agent Bench, Vals Index e Vibe Code Bench são todos da Vals AI, não do Google (metodologia). Isso pesa a favor dos números, mas não diz nada sobre o que eles medem.

O Legal Research Bench mede pesquisa jurídica realista no direito dos EUA. O agente usa busca de jurisprudência, busca web e recuperação de documentos e precisa entregar uma resposta fundamentada.

As perguntas cobrem oito áreas de prática: Administrativo/Regulatório, Empresarial e Comercial, Contencioso Cível, Constitucional/Direitos Civis, Penal, Família, Saúde e Imigração (Vals AI).

Como as perguntas são feitas e corrigidas

Advogados em atuação escrevem e revisam as perguntas. Cada uma tem resposta padrão-ouro, fontes de autoridade e uma rubrica ponderada de 1 a 31 itens, com média de 9,35.

A métrica principal é estrita, tipo prova de tudo ou nada: a resposta só vale 100% se todos os itens da rubrica passam, senão vale 0%. O split de teste reservado tem 208 perguntas (Vals AI).

E quem corrige? Um LLM atuando como juiz, em toda a correção. Ou seja, a rubrica foi feita por gente, mas a aplicação dela é automática.

O que essa nota não diz

Os 56,25% do Neon dizem como ele pesquisa direito americano sob uma régua bem rígida. Eles não dizem nada sobre direito brasileiro, sobre redação de peças ou sobre como um revisor humano avaliaria as mesmas respostas.

Nenhum dos benchmarks citados aqui testa direito ou tributação brasileira, nem tarefas em português.

O que o Tax Agent Bench mede (e o que fica de fora)

O Tax Agent Bench é um teste agêntico de pesquisa tributária corporativa dos EUA em nível profissional. O agente identifica a autoridade aplicável (leis, regulamentos, publicações e formulários do IRS), aplica a regra a um caso e entrega a resposta fundamentada (Vals AI).

São 391 perguntas escritas por especialistas no total, mas as notas divulgadas vêm do conjunto de teste privado, com 193 perguntas. Cerca de 60% tratam de imposto de renda corporativo federal dos EUA, e o restante cobre partnerships, tributos estaduais e locais (SALT), preços de transferência e tributos trabalhistas corporativos.

Regras de execução

O agente tem cinco ferramentas: web_search, lookup_authority, fetch_document, retrieve_information e calculator. O limite é de três horas por tarefa.

A métrica principal é all-pass multiplicada por um fator de qualidade de citação de 0,7 a 1, sem crédito parcial nessa métrica; um LLM atua como juiz aplicando as rubricas de especialistas (3 a 89 itens, média 23,6). Há uma métrica secundária de crédito parcial ponderado por gravidade, o Weighted Pass. E tem um ponto MUITO relevante: a resposta precisa citar o dispositivo específico, não basta chegar à conclusão certa.

O repositório vals-ai/tax-agent-bench existe no GitHub da Vals AI.

O que fica de fora

Nada de tributação brasileira. E apesar da calculator estar entre as ferramentas, o teste é de pesquisa e aplicação de regra, não de cálculo dentro de uma planilha sua com fórmulas, abas e convenções próprias.

E para quem programa: o que o Vibe Code Bench indica

O Vibe Code Bench v1.1 mede a criação de uma aplicação web completa e publicável a partir de uma especificação em texto. O modelo usa navegador, terminal e serviços de produção, em 100 especificações verificadas por 964 fluxos automatizados no navegador (Vals AI).

A variante VCB 1-100 é um pouco mais próxima do dia a dia: parte de um app que já funciona e pede até dez solicitações dependentes, uma em cima da outra.

O Neon está na fronteira de Pareto nesse benchmark, a US$ 6,76 por teste (Vals AI). A nota e a posição dele no ranking não estão confirmadas aqui, então o sinal é sobre custo-benefício, não sobre liderança.

Agora, pensa assim: construir um app do zero a partir de uma spec é como montar um móvel novo seguindo o manual. Mexer num repositório grande e legado é reformar uma casa antiga cheia de gambiarra de outros donos.

São habilidades diferentes, né? Se o seu trabalho se parece mais com prototipar interfaces em iterações curtas, o Vibe Code Bench conversa melhor com ele do que se você mantém um monólito de anos.

Como ler a divulgação de benchmarks antes de trocar de modelo

Antes de levar uma nota a sério, responda seis perguntas sobre ela. Se não der pra responder, o número vale pouco pra você.

  • Quem opera o teste? Avaliador independente, como a Vals AI e o Artificial Analysis, pesa mais que número que só aparece no anúncio do fabricante.
  • Qual domínio e jurisdição? Direito e tributos dos EUA não viram competência em CLT ou ICMS por osmose.
  • Quem corrige? Tanto no Legal Research Bench quanto no Tax Agent Bench, um LLM como juiz aplica a rubrica escrita por especialistas humanos. Rubrica humana na correção tende a ser outra conversa.
  • A métrica é estrita ou parcial? Os 56,25% do Legal Research Bench vêm de uma métrica estrita de tudo ou nada. Os 54,89% do Tax Agent Bench vêm da métrica principal desse benchmark, que também é estrita (all-pass multiplicada por um fator de qualidade de citação); o crédito parcial é só a métrica secundária.
  • Quanto custa cada teste? O custo por teste mostra o gasto real de tokens pra chegar naquela nota.
  • Qual esforço de raciocínio foi usado? A mesma família de modelo muda bastante de nota conforme o nível.

Esse último ponto é onde muita gente se perde. A Vals AI rodou o Neon em esforço high e ele fez 70,5% no Vals Index, 98% da nota do xhigh por cerca de metade do custo e 40% menos tempo, ficando em #6 no geral (Vals AI no X). A lógica de escolher nível de pensamento por tarefa vale aqui também.

Ligando o custo por teste ao preço da API

O preço da API do Neon é US$ 3 por milhão de tokens de entrada, US$ 0,15 por milhão em entrada com cache e US$ 15 por milhão de tokens de saída. A janela de contexto é de 1 milhão de tokens (Google).

Como a saída custa cinco vezes a entrada, tarefas em que o modelo raciocina muito e escreve muito ficam caras rápido. Isso explica por que o esforço high, que gasta menos tokens, corta o custo sem derrubar tanto a nota.

Para quais perfis os números do Neon são um bom sinal

Depende de quão parecido o seu trabalho é com o que os testes medem. Dá pra separar em três grupos.

Sinal forte: pesquisa de direito ou tributos dos EUA

Escritórios e equipes que pesquisam direito ou tributação americana estão praticamente dentro do benchmark. O 1º lugar no Legal Research Bench e no Tax Agent Bench é um indício direto, ainda que valha validar com casos do próprio acervo.

Sinal razoável: gerar apps web a partir de especificação

Quem cria aplicações a partir de uma descrição em texto tem no Vibe Code Bench um teste próximo da sua rotina. A posição na fronteira de Pareto sugere bom custo-benefício, mas sem nota confirmada isso não é veredito de qualidade.

Sinal fraco: legislação brasileira, código legado e planilhas próprias

Aqui os benchmarks simplesmente não olharam. Se você trabalha com direito ou tributos brasileiros, mantém código antigo ou depende de planilhas com estrutura própria, precisa de teste próprio.

Pra quem quer avaliar o modelo em documentos e planilhas, uma tarefa real como montar um relatório com citações diz mais do que qualquer ranking americano.

Onde testar

O Neon está em liberação na Gemini API (Google AI Studio, plano pago), no Gemini para empresas (API e seletor de modelos), no Google Antigravity para assinantes pagos do Google AI Pro e Ultra e no app Gemini para assinantes Pro e Ultra. Também dá pra usar via Android Studio com o plano pago da API (Google).

Próximo passo: monte sua própria bateria de teste

Um benchmark seu, pequeno e honesto, responde a pergunta que nenhum leaderboard responde. Bora montar:

  1. Escolha de 10 a 20 tarefas reais do seu trabalho, de preferência coisas que você já resolveu e sabe a resposta. O erro comum aqui é pegar só tarefas fáceis, que qualquer modelo acerta e não separam nada.
  2. Defina o critério de acerto antes de rodar: o que precisa estar na resposta, o que é erro grave e o que é detalhe. Escrever o critério depois de ver a saída é o jeito mais rápido de se enganar.
  3. Rode o Neon em esforço high e o seu modelo atual nas mesmas tarefas, com o mesmo prompt e o mesmo material de entrada. Mudar o prompt entre um e outro invalida a comparação.
  4. Anote, por tarefa, se passou no critério e quanto custou (tokens de entrada e de saída). Sem o custo, você não consegue repetir a leitura de fronteira de Pareto que a Vals AI faz.
  5. Se quiser uma referência, o repositório vals-ai/tax-agent-bench existe no GitHub da Vals AI.

Com 20 tarefas anotadas, você sai do "dizem que é o melhor" pra "no meu caso, acertou tanto e custou tanto". E essa é a única nota que interessa na hora de trocar de modelo 🙂.

Fontes consultadas

Consulta em .

Explore os vídeos do canal Hora de Codar. Se quiser aprofundar o contexto, veja O Google CALOU TODO MUNDO com o Gemini 3.1 Pro (ABSURDO!).

Escrito por | Matheus Battisti

Matheus Battisti
Fundador da Hora de Codar

Programador apaixonado pelo mundo das tecnologias, sempre buscando em aprender e se aprofundar em linguagens, frameworks e o que mais for necessário para executar um bom trabalho. Agora tem uma nova missão que é de passar seu conhecimento adiante para formar novos programadores e especializar mais os que já são.

Formações

Formação Vibe Coding

Formação Vibe Coding

Do Prompt ao Produto: Crie Software Real com IA

  • 474 aulas
  • 20 projetos
  • 39h 30min

Blog | Mais populares