Prefill e decode: o que significa o Jalapeño ser um acelerador fungível?

Fala aí, beleza? No anúncio do primeiro chip da OpenAI apareceu uma palavra que quase ninguém parou pra explicar: fungível

O Jalapeño é o acelerador de inferência (Intelligence Processor) da OpenAI, co-desenvolvido com a Broadcom e apresentado publicamente em 24 de junho de 2026, o primeiro chip de uma plataforma de computação multigeracional

E pra entender por que a OpenAI insiste nessa palavra, você precisa antes entender as duas fases que todo modelo de linguagem atravessa quando responde alguma coisa

Bora do começo?

As duas fases da inferência: prefill e decode

A própria OpenAI separa a inferência em dois momentos bem diferentes

No prefill, o sistema processa o prompt e tende a precisar de computação

No decode, ele emite os tokens um a um e costuma ser limitado por largura de banda de memória

Repare no detalhe: não são "duas partes da mesma coisa", são duas cargas com gargalos distintos

Formação Recomendada

Formação Vibe Coding

Do Prompt ao Produto: Crie Software Real com IA

• 474 aulas
• 20 projetos
• 39h 27min

Conhecer formação

Uma analogia de aproximação: prefill é ler o enunciado inteiro da prova de uma vez, decode é escrever a resposta palavra por palavra, sempre voltando pra consultar o que já foi escrito

Ler o enunciado te cobra cabeça, escrever a resposta te cobra ir e voltar na folha o tempo todo

É por isso que a OpenAI não trata inferência como uma carga uniforme de computação

Se fosse uniforme, bastaria empilhar FLOPs e pronto

Não basta 🙂

Prefill x decode: o que muda entre as duas fases

Guarda essa tabela, porque ela é a chave de tudo que vem depois

Duas fases, dois gargalos, duas exigências de hardware diferentes

Por que existe a inferência desagregada (e o que ela resolve)

O mercado já tinha uma resposta consolidada pra esse problema, e ela é bem elegante

Chama-se inferência desagregada: rodar prefill e decode em pools de hardware separados, cada um escalando de forma independente

A lógica é direta

Se prefill é limitado por computação e decode é limitado por banda de memória, por que forçar o mesmo pedaço de silício a ser bom nos dois?

Separa, dimensiona cada pool pelo que ele realmente consome, e você aproveita melhor a máquina

Isso não é espantalho pra depois derrubar, é engenharia séria e é a alternativa real ao caminho que a OpenAI escolheu

A especialização tem custo, claro: você precisa mover estado entre os pools e acertar a proporção entre eles

Segura essa palavra, proporção, que ela volta daqui a pouco

Como o projeto do Jalapeño ataca o problema por outro caminho

A OpenAI descreve o Jalapeño como um acelerador balanceado e fungível, que suporta arquiteturas de modelo em mudança, vai bem tanto em prefill quanto em decode e se adapta quando o equilíbrio entre as duas fases muda

Em vez de separar as fases no hardware, o projeto tenta fazer o mesmo sistema virar a chave conforme a fase

O objetivo declarado é minimizar movimentação de dados e atraso de comunicação

Pra isso, o estado do modelo, incluindo o KV cache usado durante a geração da resposta, pode ser colocado explicitamente e mantido local, enquanto o sistema ativa a combinação certa de computação, memória e rede pra cada fase da inferência

E isso não é decisão só do chip

Acelerador, subsistema de memória, rede, software de serving e sistema em escala de rack foram projetados em conjunto pra endereçar as fases distintas da inferência

Co-design é a palavra que eles usam, e ela faz sentido aqui: adianta pouco um acelerador rápido se o estado do modelo tá longe dele

Um ponto que vale registrar: o Jalapeño é um ASIC construído especificamente pra inferência de LLM

Não é acelerador de treinamento reaproveitado, nem processador de IA de propósito geral

O que a OpenAI não detalha é o mecanismo dessa fungibilidade

Como exatamente o chip se reparte entre prefill e decode, como escalona, o que é reconfigurável: isso não foi publicado

Eles descrevem o resultado, não o como

Onde o equilíbrio entre prefill e decode realmente muda

Agora o ponto que amarra a escolha de arquitetura

A OpenAI aponta a adaptação entre as fases como característica definidora de cargas agênticas

Faz sentido quando tu pensa nos formatos de uso

• Prompt gigante e resposta curta: o peso desaba no prefill (aquele arquivo inteiro jogado no contexto pra devolver um veredito de duas linhas)
• Prompt curto e resposta longa: o peso vai pro decode, token a token
• Muitas idas e voltas: agente que chama ferramenta, recebe retorno, chama de novo, e a proporção entre as fases muda a cada rodada

Quando a proporção é estável, dimensionar pools separados é tranquilo

Quando ela balança o tempo todo, o pool especializado ocioso vira desperdício e o outro vira fila

A discussão nem é só de marketing de fabricante: pesquisa acadêmica de 2026 já investiga quando a especialização de prefill, decode, atenção e FFN compensa em inferência agêntica de LLM, no artigo When Does Disaggregation Pay?

Ou seja: a pergunta é legítima e tá em aberto

Os primeiros números do Hot Chips 2026 e o que eles não provam

Os primeiros resultados de desempenho do Jalapeño foram apresentados no Hot Chips 2026, em 25 de agosto de 2026, com publicação simultânea dos números pela OpenAI

Os testes usaram o benchmark público InferenceX, criado e operado pela SemiAnalysis, rodando três modelos: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T

O que saiu:

• de 1,5x a 1,9x mais trabalho de IA por watt em pico de throughput
• de 1,7x a 3,6x menor latência ponta a ponta
• em cargas altamente interativas, a vantagem relatada sobe pra faixa de 2,1x a 4,1x

A comparação foi feita contra os melhores resultados disponíveis de sistemas Nvidia GB200 e GB300 na época do teste

Do lado das especificações divulgadas: 700 W de TDP por pacote, 13,4 PFLOP/s de computação matricial MXFP4, 216 GiB de memória e 15,4 TB/s de banda com HBM4

O pacote combina um die de computação do tamanho de um retículo, fabricado no nó N3P da TSMC, com um chiplet de I/O em N3E e seis pilhas de HBM4

A implantação em escala de rack reúne 128 aceleradores Jalapeño

A divisão de papéis também é pública: a Broadcom entrou com implementação de silício, tecnologia de rede (incluindo a plataforma Tomahawk) e suporte de produção, a TSMC fabrica e a Celestica constrói placa e sistemas de rack

E o ciclo de desenvolvimento, do design inicial ao tape-out de manufatura, levou nove meses

Nove meses é insano pra um ASIC desse porte

Agora a parte que quase ninguém repete, e que precisa ser dita

O Jalapeño não foi testado contra a plataforma Vera Rubin da Nvidia

E as comparações principais rodaram previsão de token único dos dois lados, sem multi-token prediction e sem decodificação especulativa, técnicas comuns em implantações Nvidia de produção

Ou seja: o número é real, o recorte é específico

Tome cuidado ao repetir manchete de "bateu a Nvidia" sem essas duas ressalvas

Modelos abertos, o assunto que aparece no meio dos testes

Repara que o benchmark rodou em cima de modelos de pesos abertos, e esse universo tá se movendo rápido

Pra quem tá chegando agora nele, este vídeo do canal coloca na roda o Kimi K2.7 Code, que é outra versão da família Kimi, não o K2.5 1T que apareceu no teste do Hot Chips, e faz a pergunta que todo mundo tá fazendo, se um modelo open source consegue encarar o Opus 4.8

O que isso muda para quem constrói com LLM

Você provavelmente não vai comprar um Jalapeño, beleza? Mas o conceito serve direto no seu dia a dia

Quando a primeira palavra da resposta demora a aparecer, o aperto tende a estar no prefill

Quando a resposta começa rápido mas vai saindo devagar, o aperto tende a estar no decode

São gargalos diferentes, e por isso as APIs cobram e limitam token de entrada e token de saída de formas diferentes

Isso muda decisão de projeto: enfiar contexto gigante em toda chamada é uma conta, pedir resposta longa é outra conta

E ajuda a ler os próprios limites com menos achismo, inclusive quando a chamada estoura e tu cai num erro no servidor sem entender de onde veio o aperto

Do lado da infra, o que tá confirmado é o seguinte: a OpenAI planeja começar a implantar o Jalapeño na própria infraestrutura de computação até o fim de 2026, e segue implantando aceleradores da Nvidia e de outros fornecedores

Ou seja, não é troca de guarda, é mais um tipo de máquina entrando no parque

Conclusão

Fungível não é slogan, é uma aposta de arquitetura

De um lado, a inferência desagregada separa prefill e decode em pools especializados e escala cada um por conta própria

Do outro, o Jalapeño tenta ser bom nas duas fases e se adaptar quando a proporção entre elas muda, apoiado em co-design de acelerador, memória, rede, software de serving e sistema em escala de rack

Os primeiros números do Hot Chips 2026 são fortes, e as ressalvas também são reais: sem Vera Rubin na comparação e sem MTP nem decodificação especulativa no baseline

A prova mesmo vem quando o chip estiver rodando em produção, e o calendário declarado pela OpenAI é esse: começar a implantar o Jalapeño na própria infraestrutura de computação até o fim de 2026, sem tirar Nvidia do parque

Enquanto isso, faz o exercício nas tuas próprias aplicações: olha onde tá a demora, se é a primeira resposta ou a geração, e você já vai enxergar prefill e decode sem precisar de datacenter nenhum 😀

até o próximo post!