NVIDIA lança 4 modelos abertos do Cosmos 3 Nano para simulação de mundos

A NVIDIA publicou em 5 de novembro de 2026, no blog da Hugging Face, quatro checkpoints open-weight pós-treinados a partir do Cosmos 3 Nano: Transfer-Auto, Sim-Auto, Sim-Transfer e Sim-Bimanual. Os pesos do Sim-Auto já estavam disponíveis desde 20 de outubro de 2026, segundo seu model card no Hugging Face. Cada um tem 16B de parâmetros treináveis e usa a licença OpenMDW1.1, que permite uso comercial e não comercial nos termos da licença.

O foco é simulação interativa de mundos e cenas de direção multissensor e multivisão. Isso interessa a quem trabalha com robótica, veículos autônomos e world models.

Na prática, não é um modelo genérico de vídeo. São quatro variações com entradas e saídas bem diferentes, então vale entender qual resolve o seu problema antes de baixar qualquer coisa.

O que são os quatro modelos do Cosmos 3 Nano

Os quatro checkpoints partem do mesmo modelo base e mudam no tipo de controle que recebem e no que geram. Dois são voltados para direção autônoma, um para converter saída de simulador em imagem realista e um para robôs de dois braços.

Transfer-Auto: dados sintéticos de direção com até 11 câmeras

O Transfer-Auto é um modelo bidirecional para geração offline de dados sintéticos de direção. Ele gera vídeo sincronizado em até 11 visões de câmera, incluindo fisheye, e suporta geração conjunta de RGB e LiDAR.

As entradas são controles World Scenario Map (WSM) por câmera, que definem a estrutura da cena e o movimento do tráfego, mais prompts de texto que guiam a aparência, como clima, iluminação e hora do dia. Imagens RGB iniciais são opcionais e servem para ancorar a aparência da cena. Para gerar LiDAR, o modelo exige controles de range-map de HD-map alinhados.

Sim-Auto: câmera e LiDAR em streaming

O Sim-Auto é a variante de streaming do Transfer-Auto, obtida por destilação causal. Segundo o model card do Sim-Auto, ele gera pequenos blocos sucessivos de vídeo de câmera e LiDAR sincronizados em poucos passos de denoising.

Ele usa o histórico já gerado e controles de direção atualizados, o que permite rollouts longos e interativos. Só que tem um detalhe importante: para rodar em malha fechada, você precisa de um runtime de simulação e de um renderizador de WSM que atualizem os controles a partir das entradas de direção.

Sim-Transfer: do simulador para vídeo fotorrealista

O Sim-Transfer pega os controles espaciais de um simulador (profundidade, segmentação, bordas e blur) e um prompt de texto, e renderiza vídeo RGB fotorrealista.

A divisão de trabalho é clara: física e estado real continuam com o simulador. O modelo cuida da aparência, gerando observações que uma policy consegue consumir.

Sim-Bimanual: vídeo previsto a partir de ações do robô

O Sim-Bimanual simula como o ambiente evolui em resposta às ações de um robô de dois braços. Ele suporta os embodiments YAM e AgiBot, controlados por uma policy ou por joysticks operados por humanos.

O fluxo parte de uma imagem e gera as próximas observações conforme o robô ou a câmera se movem. Na documentação de inferência do Sim-Bimanual, o exemplo padrão usa 900 ações para gerar 901 frames a 30 FPS, com duração configurável.

Onde esses checkpoints ficam dentro da família Cosmos 3

Segundo o model card do Cosmos3-Nano, esse checkpoint base tem 16B de parâmetros e também usa a licença OpenMDW1.1, com uso comercial e não comercial liberado nos termos da licença. Os quatro lançamentos não são modelos novos do zero, e sim exemplos pós-treinados do Nano.

Pensa no Nano como a base e nesses checkpoints como receitas prontas em cima dela, cada uma especializada em um tipo de entrada.

Sobre a licença, a OpenMDW-1.1 foi lançada pela Linux Foundation em 28 de maio de 2026, e a NVIDIA anunciou que adotaria a licença nas famílias Cosmos, Isaac GR00T, Ising e Nemotron. O anúncio diz que ela permite uso comercial e não comercial nos termos da licença, então os detalhes das cláusulas ficam no texto da própria licença.

A NVIDIA também publicou um artigo complementar no blog de desenvolvedores, Build World Models for Interactive Simulation with NVIDIA Cosmos, voltado a quem quer construir world models para simulação interativa.

Como adaptar o Cosmos 3 Nano ao seu conjunto de sensores

O caminho declarado pela NVIDIA começa pelo Transfer-Auto. Você pós-treina o modelo nos seus próprios dados, para que ele se ajuste ao seu layout de câmeras, à sua configuração de LiDAR e ao ambiente-alvo.

Depois disso, o modelo adaptado tem dois destinos possíveis:

• uso direto para geração offline de dados;
• treino causal e destilação few-step para virar uma variante de simulação em streaming.

O segundo destino é exatamente o caminho que gerou o Sim-Auto. Ou seja, se você tem um rig de sensores diferente do padrão, a ordem é adaptar o Transfer-Auto primeiro e só depois destilar.

Junto com os checkpoints, a NVIDIA abriu o relatório técnico e as receitas de pós-treino. Para rodar inferência, cada modelo tem uma "open skill" para você apontar um agente, além de uma alternativa em notebook. Os links para as skills e os notebooks estão no anúncio oficial.

Para o Sim-Bimanual, o anúncio lista como requisitos Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit, com a configuração vLLM-Omni testada em uma GB200 (isso não é uma especificação de memória mínima). Já o model card do Sim-Auto lista hardware suportado que inclui GPUs H100, H20, H200, B200/300 e GB200/300, com Linux como sistema operacional testado. Vale confirmar os detalhes completos direto nas páginas de cada modelo antes de planejar a infraestrutura.

Limitações reconhecidas pela própria NVIDIA

O próprio anúncio admite que os problemas continuam difíceis. Ainda falta medir onde os modelos sustentam fielmente o aprendizado e a avaliação de policies, entender seus limites e melhorar onde eles falham.

Isso é honesto e importante: um world model que gera vídeo bonito não garante que a policy treinada nele vai se comportar bem no mundo real. A validação fica por sua conta.

Tem também a dependência operacional do Sim-Auto. Sem runtime de simulação e renderizador de WSM, a malha fechada não acontece, e você fica só com a geração dos blocos a partir dos controles fornecidos.

Por onde começar

Se você trabalha com veículos autônomos e tem um rig próprio, comece pelo Transfer-Auto e pelas receitas de pós-treino. É a base de todo o fluxo de adaptação.

Se precisa de simulação em streaming, vá para o Sim-Auto, mas planeje antes o runtime de simulação e o renderizador de WSM.

Se já tem um simulador de física rodando, o Sim-Transfer é o ponto de entrada mais direto, porque reaproveita profundidade, segmentação, bordas e blur que o seu simulador já produz.

Para robótica bimanual com YAM ou AgiBot, o Sim-Bimanual é o candidato natural.

Em qualquer caso, leia o relatório técnico e confira os termos da OpenMDW-1.1 antes de colocar algo em uso comercial.

Fontes consultadas

Consulta em 05/11/2026.

• Hugging Face Blog (NVIDIA)
• Hugging Face model card nvidia/Cosmos3-Nano-Sim-Auto
• NVIDIA Cosmos Framework docs: Bimanual inference
• Hugging Face model card nvidia/Cosmos3-Nano
• NVIDIA Technical Blog

Explore os vídeos do canal Hora de Codar.