Amazon lança o HOPE: poda de experts em MoE que preserva a cooperação

Ilustração de rede neural Mixture-of-Experts com nós de experts sendo removidos pelo método HOPE

Pesquisadores da Amazon publicaram em 9 de novembro de 2026, no blog da Hugging Face, o HOPE (Higher-Order Pruning of Experts). É um método de segunda ordem para remover experts de modelos Mixture-of-Experts (MoE) que leva em conta as interações entre pares de experts, em vez de avaliar cada um isoladamente. O post é assinado por Alex M Tseng.

O alvo é quem roda MoE abertos e esbarra no limite de memória. O paper está no arXiv (2609.18916, v2) e o código foi publicado no GitHub da awslabs, em awslabs/HOPE.

Por que modelos MoE gastam tanta memória mesmo usando poucos experts

Em um MoE, todas as MLPs dos experts precisam ficar na memória durante a inferência, mesmo que a maioria fique ociosa para cada token. Ou seja, você paga a memória do modelo inteiro para usar só uma fatia dele por vez.

O exemplo do post da Amazon é o Qwen3.5-122B. Ele tem 256 experts em cada uma das 48 camadas MoE e usa só 8 experts por camada para cada token.

Mesmo assim, as MLPs dos experts ocupam 95% dos ~250 GB de memória de parâmetros do modelo. É aí que mora o gargalo.

A poda de experts ataca isso de forma direta. Segundo o post, ela remove os experts de forma permanente, evita os problemas de latência do carregamento e descarregamento dinâmico de experts, não exige treino e pode ser combinada com quantização.

O que o HOPE faz de diferente dos métodos de poda de primeira ordem

Os métodos existentes são de primeira ordem: dão a cada expert uma nota de importância isolada e cortam os menos importantes em cada camada. O HOPE muda a pergunta e passa a considerar pares de experts.

E por que isso importa? Segundo os autores, os experts formam grupos cooperativos estáveis que costumam ser ativados juntos.

Se você corta um expert que parece pouco útil sozinho, mas que trabalha colado em outro muito importante, acaba desmontando um grupo inteiro com uma única remoção. Os métodos de primeira ordem não enxergam isso, porque pontuam cada expert separado.

O post da Hugging Face explica que esse efeito se acumula com taxas de poda agressivas, como 50%. Quanto mais experts saem, mais ligações cooperativas correm risco de quebrar.

Na prática, o HOPE monta a escolha de quais experts remover como um programa quadrático binário sobre uma matriz de interação por camada. Cada entrada dessa matriz representa a contribuição conjunta de um par de experts, ponderada pelos pesos do roteador e pelas normas de saída.

O método minimiza um limite superior do erro de poda, já que minimizar o erro real diretamente é intratável. Os detalhes estão no paper no arXiv, assinado por Alex M. Tseng, Prannay Kaul, Luca Zancato, Wei Xia e Stefano Soatto, da Amazon.

Resultados do HOPE com 50% de poda

Com 50% de poda, o HOPE teve o melhor ranking médio entre os métodos comparados e ganhos de até +6,1% em tarefas de codificação agêntica sobre o segundo melhor método de poda, segundo o post dos autores.

Em números de ranking médio, o HOPE ficou com 1,58 contra 2,42 do REAP, entre cinco métodos comparados, conforme reportado pela Hyper.ai. O REAP é o método de poda de experts da Cerebras Research.

A avaliação descrita no paper usou três modelos: Qwen3.5-122B, Qwen3.5-35B e GLM-4.5-Air. Para calibração, os autores usaram o Evol-CodeAlpaca e trajetórias do SWE-Bench Verified.

Vale o aviso: são resultados reportados pelos próprios autores, em um cenário focado em código. Não dá para extrapolar esses ganhos para outros modelos, outras taxas de poda ou outros tipos de tarefa sem medir.

O que muda para quem roda modelos MoE localmente

O HOPE é mais uma opção de poda sem retreino para tentar caber MoE abertos em menos memória, com possibilidade de combinar com quantização e com resultados reportados em codificação agêntica. Não é mágica: é uma forma mais cuidadosa de escolher quais experts cortar.

O fluxo descrito no post tem três etapas:

  1. Calibrar: um único forward pass nos dados de calibração, com hooks do Hugging Face Transformers em cada camada MoE registrando o uso dos experts e as interações entre pares.
  2. Resolver: com essas estatísticas, o método resolve o problema de escolha de quais experts remover em cada camada.
  3. Podar: os experts selecionados são removidos de forma permanente do modelo.

O ponto de partida é o repositório awslabs/HOPE. Os comandos exatos, as dependências e os requisitos de hardware ficam por conta do README do projeto, então confira lá antes de rodar qualquer coisa.

Tome cuidado com um detalhe: a calibração usada na avaliação é toda voltada a código. Se você usa o modelo para outro domínio, como texto jurídico ou atendimento, precisa validar o resultado no seu próprio caso, porque os experts que importam para você podem ser outros.

Se quiser comparar abordagens, o REAP, citado como segundo colocado na comparação, também tem código aberto em CerebrasResearch/reap.

Próximo passo

Escolha um MoE aberto que você já usa no dia a dia e leia o paper junto com o README do awslabs/HOPE para entender o que a calibração exige.

Depois, compare o modelo podado com o original em tarefas reais do seu fluxo, não só em benchmark genérico. Se a qualidade cair no que importa para você, a economia de memória não compensa.

Enquanto isso, vale acompanhar os outros conteúdos do Hora de Codar sobre como rodar modelos e usar ferramentas de IA no desenvolvimento, porque esse tipo de técnica muda rápido e muda bastante o que cabe na sua máquina 🙂.

Fontes consultadas

Consulta em .

Acompanhe os tutoriais do Hora de Codar no YouTube. Se quiser aprofundar o contexto, veja SAKANA FUGU: A IA QUE USA VÁRIOS MODELOS AO MESMO TEMPO.

Escrito por | Matheus Battisti

Matheus Battisti
Fundador da Hora de Codar

Programador apaixonado pelo mundo das tecnologias, sempre buscando em aprender e se aprofundar em linguagens, frameworks e o que mais for necessário para executar um bom trabalho. Agora tem uma nova missão que é de passar seu conhecimento adiante para formar novos programadores e especializar mais os que já são.

Formações

Formação Vibe Coding

Formação Vibe Coding

Do Prompt ao Produto: Crie Software Real com IA

  • 474 aulas
  • 20 projetos
  • 39h 30min

Blog | Mais populares