Muse Glimmer entende imagem? Como funciona a entrada multimodal do modelo agentivo da Meta

Fala aí, beleza? A pergunta que todo mundo faz quando um modelo agentivo novo aparece é sempre a mesma: ele ENXERGA a tela ou só lê o que você digitou?

O Muse Glimmer é o modelo agentivo aberto que o Meta Superintelligence Labs lançou em 10 de agosto de 2026, o primeiro modelo aberto do time desde o Muse Spark, lá em abril

Ele vem sob licença Apache 2.0, com os pesos abertos disponíveis no Hugging Face

E sim, ele aceita imagem na entrada. Só que o COMO importa muito mais que o sim, e é isso que a gente vai destrinchar aqui 🙂

O que é entrada multimodal em um modelo agentivo?

Pensa num agente que só lê texto

Ele roda uma ferramenta, a ferramenta devolve alguma coisa, e aí alguém (você, um script, um log) precisa DESCREVER pra ele o que apareceu na tela

Formação Recomendada

Formação Claude Code

Domine Claude Code do absoluto zero até o avançado

• 114 aulas
• 4 projetos
• 9h 18min

Conhecer formação

É como contratar um cara fodão pra arrumar seu carro e vendar os olhos dele: dá pra trabalhar, mas você vira o narrador do serviço inteiro

Entrada multimodal quebra isso. A página oficial descreve o recurso como Multimodal Input and Reasoning: o modelo aceita texto e imagens intercalados por meio de um encoder de percepção dedicado, o que permite ao agente interpretar screenshots, gráficos e documentos junto da conversa

Intercalados é a palavra chave aqui, se liga: não é "manda uma imagem e pergunta o que tem nela", é imagem e texto no mesmo fluxo, na ordem que a tarefa pedir

E tem um detalhe do perfil agentivo dele que amarra tudo: o Muse Glimmer é treinado pra diagnosticar erro e tentar de novo quando uma chamada de ferramenta falha ou devolve resultado inesperado, em vez de simplesmente parar

Agora junta as duas coisas

Um agente que tenta de novo depois de errar é MUITO mais útil quando ele consegue olhar o resultado da tentativa anterior, não só o texto que sobrou dela

Se você já mexeu com processamento multimodal em automações, a lógica é a mesma, só que aqui ela mora dentro do próprio modelo

Como funciona o encoder de percepção do Muse Glimmer:

O encoder de percepção é um componente de visão SEPARADO dentro do modelo

São aproximadamente 1,8 bilhão de parâmetros, no estilo ViT-G/14, com 50 camadas, segundo o repositório oficial no Hugging Face

E o modelo inteiro, já contando essa torre de visão, fica em cerca de 29,6 bilhões de parâmetros, num desenho dense causal transformer

Ou seja: a parte que enxerga é uma fatia pequena de um modelo que é, no fundo, um modelo de texto

E o que significam esses limites, na prática?

Dois números mandam no dia a dia aqui:

Token visual é o jeito do modelo picar a imagem em pedacinhos pra raciocinar em cima

Quanto mais tokens uma imagem consome, mais detalhe ele consegue puxar dela, e mais espaço ela ocupa da janela

Aí vem a conta que ninguém faz e depois se ferra: cada screenshot que você joga no loop do agente COME contexto

Com 131.072 tokens de janela, dá bastante fôlego, mas uma sessão longa despejando print atrás de print vai apertando o espaço que sobra pro raciocínio e pro histórico de ferramentas

Que tarefas de agente a entrada multimodal destrava?

A página oficial fala em interpretar screenshots, gráficos e documentos junto da conversa. Traduzindo pra cenários de verdade:

• Ler o print do erro: em vez de você transcrever a mensagem que apareceu na tela, o agente recebe o screenshot e o log no mesmo prompt
• Conferir o resultado visual antes de tentar de novo: como a recuperação de falha em tool call é comportamento treinado, olhar o que a ferramenta produziu vira parte do ciclo de correção, não um passo manual seu
• Extrair dado de gráfico: aquele número que só existe dentro de uma imagem de dashboard deixa de ser um bloqueio na conversa
• Trabalhar em cima de documento: página escaneada, contrato, PDF virado imagem, tudo entra junto do texto
• Fazer isso em mais de 100 idiomas: o modelo foi treinado com dados de mais de 100 idiomas, então o material não precisa estar em inglês

Modelo multimodal já não é exatamente uma novidade no topo da tabela, dá pra ver isso em lançamentos como o novo modelo multimodal da Mistral. O que muda aqui é a combinação: pesos abertos, licença Apache 2.0 e um desenho pensado pra agente

Os limites: sem áudio, vídeo por frames e teto por imagem

Agora a parte honesta, porque "multimodal" virou palavra guarda-chuva e cada modelo entende uma coisa por ela

• Áudio não é suportado, ponto. Não existe entrada de som aqui
• Vídeo entra como frames amostrados, ou seja, o mesmo encoder de imagem processa quadros individuais. Não é uma torre de vídeo dedicada
• Teto de 4.096 tokens visuais por imagem, então imagem monstruosa não vira detalhe infinito
• Corte de conhecimento em 4 de janeiro de 2026: o que aconteceu no mundo depois disso, ele não sabe de cabeça

Tem também um controle que ajuda MUITO a segurar custo por tarefa: os níveis de esforço de raciocínio, que são low, medium, high e xhigh

Tarefa boba não precisa do xhigh, beleza? 😀

E sobre avaliação, o modelo foi avaliado em DeepSearch QA, MCP-Atlas, τ3-Bench e SWE-Bench, que são benchmarks de tarefa completa de agente, não de visão isolada

O que você precisa para rodar o Muse Glimmer com imagem:

Boa notícia: não precisa de PC da Nasa

Quantizado, o modelo fica abaixo de 20 GB e roda em uma única GPU de consumo ou num Mac. O arquivo GGUF principal fica perto de 17 GB

Agora o detalhe que derruba a galera

Que arquivo é esse tal de mmproj?

O mmproj é o encoder de percepção empacotado à parte

No formato GGUF, ele é OBRIGATÓRIO pra entrada de imagem, e a versão quantizada dele pareia com qualquer quantização do modelo

Pensa nele como o par de olhos vendido em outra caixa: você baixa o modelo, ele roda liso, responde texto numa boa… e simplesmente não enxerga nada, porque os olhos ficaram na outra caixa

Como habilitar a entrada de imagem na prática:

Cada ferramenta tem um caminho próprio aqui, bora ver os quatro:

1. Baixe o arquivo mmproj do repositório GGUF

O repositório GGUF traz o mmproj-Muse-Glimmer-30B-f16.gguf e o mmproj-Muse-Glimmer-30B-bf16.gguf

Esse é o passo que quase todo mundo pula, e é justamente ele que liga a visão

2. Suba o llama.cpp passando a flag --mmproj junto do --model

Ao carregar os arquivos manualmente, o comando fica assim, conforme a documentação da Unsloth:

./llama-server \
  --model Muse-Glimmer-30B-UD-Q4_K_XL.gguf \
  --mmproj mmproj-Muse-Glimmer-30B-bf16.gguf

Erro comum deste passo: carregar só o --model e esquecer o --mmproj

O servidor sobe, o modelo responde, tudo parece certo, e a entrada de imagem simplesmente não existe. Já vi gente achar que o modelo era ruim de visão quando na real ele estava sem o encoder carregado

3. No LM Studio, use a versão Bionic

O modelo está disponível pra baixar e rodar localmente no LM Studio na versão Bionic, e os modelos Muse Glimmer ali suportam tool use, entrada de visão e raciocínio

4. No Ollama, comece pelo Apple Silicon

O modelo está disponível no Ollama acelerado pela engine MLX, com suporte nativo a DFlash e a input de imagem

Tome cuidado com isso: o suporte inicial é no Apple Silicon, com otimizações para NVIDIA, AMD e outras plataformas anunciadas para os dias seguintes ao lançamento

Se você está no Windows com placa NVIDIA e a imagem não pegar, o caminho do llama.cpp com --mmproj é o mais previsível

Vídeo: o cenário dos modelos abertos gigantes

Pra situar essa disputa toda de modelos abertos grandes brigando com os fechados de topo, tem esse vídeo aqui do canal:

Conclusão

Respondendo a pergunta do título de forma direta: sim, o Muse Glimmer entende imagem

E entende por um encoder de percepção dedicado, de aproximadamente 1,8 bilhão de parâmetros no estilo ViT-G/14 com 50 camadas, dentro de um modelo de cerca de 29,6 bilhões de parâmetros

Com limites claros na mesa: até 4.096 tokens visuais por imagem, janela de 131.072 tokens, zero áudio e vídeo tratado como frames amostrados

O próximo passo é bem concreto: baixa os pesos no Hugging Face ou roda direto pelo LM Studio ou Ollama, e testa com um screenshot REAL do seu fluxo, aquele print de erro que você mandaria pra um colega

E se for pelo caminho GGUF, não esquece o mmproj 😀

até o próximo post!