Hy4 preview: o que significam 770B de parâmetros com 49B ativos?

Fala aí, beleza? Abrir a ficha técnica de um modelo novo e bater o olho em 770B de parâmetros dá aquele frio na barriga de "isso aqui não roda nem no PC da Nasa"

Aí tu desce duas linhas e vê outro número: 49B ativados por token

A Tencent Hunyuan lançou e abriu o código do Hy4 preview em 28 de agosto de 2026, e esses dois números são a melhor porta de entrada que existe hoje pra entender arquitetura Mixture-of-Experts (MoE)

A promessa deste post é simples: tu sai daqui sabendo ler qualquer ficha técnica de modelo sem se enganar com o número grande da manchete 🙂

De onde vêm esses números: a ficha técnica do Hy4 preview

Antes de discutir arquitetura, o hábito que vale ouro é ir na fonte e ler o card oficial do modelo

No caso aqui, o card está no Hugging Face, e é de lá que sai tudo que a gente vai destrinchar

O que a ficha diz:

• Modelo de linguagem de nova geração da Tencent Hunyuan, lançado e com código aberto em 28 de agosto de 2026
• Licença Apache License 2.0
• Pesos publicados no Hugging Face, no ModelScope, no GitCode e no CNB
• Código aberto no repositório oficial no GitHub
• Janela de contexto de 1.048.576 tokens (1M)
• Modelo text-only, com vocabulário de 120.832 tokens

Esse "text-only" é importante e a própria Tencent lista como limitação conhecida: o endpoint rejeita entrada de imagem por design

Ou seja, se o teu projeto passa por imagem e cena, o caminho é outro tipo de ferramenta, do jeito que rola quando a ideia é criar mundos interativos com IA

Aqui o papo é texto puro, com contexto de 1M pra brincar

Parâmetros totais x parâmetros ativos: a tabela que resolve a confusão

A confusão nasce porque a palavra "parâmetro" aparece três vezes na mesma ficha, medindo coisas diferentes

Se tu conhece dependência de projeto, a analogia ajuda: o node_modules inteiro ocupa disco, mas só uma parte dele é executada em cada request

É mais ou menos essa a ideia do MoE

Os dois primeiros números NÃO são intercambiáveis

Comparar modelo só pelo total é como comparar carro só pelo peso do porta-malas cheio: diz alguma coisa, mas não diz o que tu quer saber

E a linha da MTP é um terceiro tipo de leitura ainda: ela é uma camada nativa dentro do modelo, com os próprios 10B totais e 0,7B ativados, e existe pra acelerar a geração via speculative decoding

Como o roteamento funciona por dentro: camadas, experts e top-8

Beleza, mas de onde saem exatamente os 49B? 🤔

A resposta está na anatomia do backbone

A pilha de camadas:

O backbone tem 78 camadas no total

A primeira usa FFN densa padrão, do jeito clássico

As 77 restantes são camadas MoE

O que tem dentro de cada camada MoE:

Cada camada MoE carrega 256 experts roteados mais 1 expert compartilhado

E aqui está o pulo do gato: cada token ativa os top-8 experts roteados mais o expert compartilhado

Oito de duzentos e cinquenta e seis

O resto dos experts continua existindo, ocupando memória, esperando a vez, só não participa da conta daquele token específico

É por isso que o número total é gigante e o número ativo é uma fração dele: muitos especialistas disponíveis, poucos convocados por vez

E o resto da arquitetura?

O módulo de atenção usa Gated DeepSeek Sparse Attention (Gated DSA), com IndexCache pra reuso do índice esparso entre camadas

O caminho residual usa iHC (identity Hyper-Connections)

A própria Tencent declara a arquitetura como inspirada em DeepSeek e GLM, o que é bem honesto e ajuda quem já leu os cards desses modelos a se localizar rápido

O que 770B com 49B ativos muda para quem vai usar o modelo

Agora a parte que interessa no dia a dia: essa distinção não é curiosidade acadêmica, ela decide se tu roda local ou paga API

Rodar local: o total é que manda

Pra servir o modelo, tu precisa dos pesos inteiros disponíveis, não dos 49B ativos

A Tencent publicou uma variante oficial em FP8, com quantização MXFP8 e cerca de 760GB de pesos, com implantação em 8 GPUs

Sobre hardware: a versão FP8 suporta quantização MXFP8 em GPUs Blackwell, e BF16 está disponível em H200, B200, B300 e GB300

Os frameworks de inferência oficialmente suportados são vLLM e SGLang

Os comandos oficiais usam --tensor-parallel-size 8 no vLLM e --tp-size 8 no SGLang, com opção de decodificação especulativa via MTP

Tome cuidado com esse detalhe do paralelismo: o 8 aí não é enfeite, ele conversa direto com a exigência de 8 GPUs da implantação

O card também cita o AngelSlim, o toolkit de compressão de modelos grandes da própria Tencent, com algoritmos de quantização, quantização de baixo bit e amostragem especulativa

Sem hardware: API e produtos

Se tu não tem esse parque de GPU (spoiler: quase ninguém tem), dá pra usar por API via Tencent Cloud TokenHub e via OpenRouter

No OpenRouter o preço é US$ 0,834 por milhão de tokens de entrada, US$ 2,501 por milhão de tokens de saída e US$ 0,042 por milhão de tokens em cache hit

O modelo também está nos produtos Tencent WorkBuddy, CodeBuddy, Yuanbao e ima

WorkBuddy e CodeBuddy oferecem acesso gratuito por um período limitado de duas semanas

As limitações que a própria Tencent assume

E aqui vale o ceticismo saudável, porque a lista de limitações veio da própria fabricante

Primeiro: text-only, com endpoint que rejeita entrada de imagem por design

Segundo: tendência a raciocinar mais do que o necessário em tarefas complexas e a verificar demais o próprio trabalho, o que aumenta latência e consumo de tokens

Repara como isso conversa direto com a tabela lá de cima: mais tokens gerados significa mais vezes pagando o custo dos 49B ativos

Terceiro: é descrito como versão inicial do Hy4, com espaço de melhoria em pré-treino e pós-treino

Sobre desempenho, o que existe até aqui é uma avaliação cega interna da Tencent, com 163 especialistas e 203 tarefas de engenharia, onde ele teve média 2,99 de 4,00 contra 2,94 do Kimi K3 e 2,92 do GLM-5.3

Dado interno, não benchmark independente, então trate como sinal e não como veredito

Vídeo: IA lendo código e desenhando arquitetura

Pra quem quer começar do zero no papo de deixar a IA interpretar estrutura, este vídeo do canal mostra uma skill que faz a IA ler o teu código e desenhar a arquitetura sozinha

Conclusão

A regra de leitura de ficha técnica cabe em duas linhas

O número total manda na memória: é ele que decide se cabe no teu hardware

O número ativo manda no custo e no tempo por token: é ele que decide o quanto sai caro gerar resposta

No Hy4 preview isso vira 770B totais contra 49B ativos, saindo de 78 camadas com 256 experts roteados cada e top-8 acionados por token

Próximo passo prático: abre o card oficial no Hugging Face ou o repositório no GitHub, procura essas duas linhas, e depois repete o exercício em outro modelo MoE

Quando esse hábito pega, manchete com número grande para de te impressionar 😀

até o próximo post!