llm 0.37: o que muda com o GPT-6.1 Sol e Terra, o novo modelo padrão GPT-6 Luna e o comando llm openai endpoint add

Fala aí, beleza? Se você roda o llm no terminal e nunca mexeu no modelo padrão, essa atualização muda o modelo que responde aos seus prompts 👀

O Simon Willison soltou a versão 0.37 da ferramenta de linha de comando e biblioteca Python dele, juntando cerca de dois meses de recursos e correções acumulados, segundo o post do autor

Os destaques: GPT-6.1 Sol, GPT-6.1 Terra e Chat Latest, padrão trocado de gpt-5.6-luna para gpt-6-luna, novos comandos llm openai endpoint e embeddings aceitando content-type por item binário

Tudo detalhado nas notas de lançamento no GitHub, e até agora não apareceu nenhuma 0.37.1, 0.38 ou reversão dessas mudanças

Qual é o novo modelo padrão do llm 0.37 e quem é afetado

O padrão passou de gpt-5.6-luna para gpt-6-luna, mas só para quem NÃO definiu um modelo padrão próprio

Se você já fixou o seu, nada muda por aqui 🙂

As notas de lançamento descrevem o GPT-6 Luna como o modelo de fronteira mais barato da OpenAI, e o Willison diz que ele custa metade do padrão anterior

Fica mais barato, legal né?

Porém tem um detalhe: a troca é silenciosa pra quem confia no padrão

Script, alias, automação que chama o llm sem passar modelo vai começar a usar o GPT-6 Luna depois da atualização, então o comportamento das respostas pode mudar (formato, tamanho, estilo e por aí vai)

Se isso importa no seu fluxo, vale rodar os prompts que você mais usa e comparar as respostas antes e depois da atualização. Pra ideias de como estruturar esse teste, dá uma olhada no post sobre comparar LLMs no Hora de Codar

E se quiser manter outro modelo como padrão, a documentação oficial do llm tem a seção "Setting a custom default model" explicando como fazer isso

Quais modelos da OpenAI o llm 0.37 adiciona

São três modelos novos da OpenAI, segundo as notas:

• gpt-6.1-sol (GPT-6.1 Sol)
• gpt-6.1-terra (GPT-6.1 Terra)
• chat-latest (Chat Latest)

As notas do llm só registram o suporte, sem detalhar diferenças de capacidade, preço ou contexto entre eles

Então aqui não vou chutar nada, beleza? Pra isso o lugar certo é a documentação da própria OpenAI

Como funciona o comando llm openai endpoint add

A 0.37 traz um conjunto de comandos novos pra gerenciar modelos que usam endpoint compatível com a API da OpenAI: llm openai endpoint add, list, remove e path

Que endpoint compatível?

É qualquer serviço que fala o mesmo "idioma" da API da OpenAI, como outros provedores ou servidores locais que imitam essa API

A ideia é facilitar o cadastro desses modelos direto pelo terminal: o add cadastra, o list mostra o que você tem, o remove tira e o path aponta onde fica essa configuração

Segundo a seção Configure an OpenAI-compatible model, na página Other models da documentação, o add permite configurar opções como aliases, suporte à Responses API e raciocínio

A sintaxe exata e os nomes das opções estão lá, então consulte a documentação antes de montar o comando

O que muda nos embeddings multimodais com o llm 0.37

Agora cada conteúdo binário pode ter o seu próprio content-type na hora de gerar embeddings

Parece detalhe, mas não é: segundo o autor, isso é necessário pra modelos como o Gemini Embedding 2, que gera embeddings de texto, áudio, imagens e vídeo

Num mesmo lote você pode ter uma imagem e um áudio, e o modelo precisa saber o que é cada coisa

Pra quem escreve plugins tem mudança também:

• os plugins declaram os tipos MIME que suportam via attachment_types
• as entradas correspondentes chegam como objetos llm.Attachment

E uma correção importante: o llm embed-multi --files decodificava arquivos com caracteres não ASCII como latin-1 em vez de UTF-8

Isso corrompia o conteúdo que ficava gravado e embutido na coleção de embeddings: por exemplo, um arquivo com a palavra "Café" podia ser salvo no banco como "Café"

As notas de lançamento não indicam que os arquivos de origem no disco fossem alterados: o problema ficava só na cópia que o llm guarda na coleção

Se você já rodou o embed-multi --files antes dessa correção, a dica oficial é simples: rode o mesmo comando de novo. Só os arquivos que foram afetados passam por um novo embedding

Correções de logs e do llm chat na versão 0.37

Aqui estão as mudanças do dia a dia, e a primeira é de privacidade

O llm chat agora respeita o llm logs off

Antes, segundo as notas, ele registrava todas as respostas mesmo com o log desligado. Isso sugere que, se você usava llm logs off achando que nada ficava salvo, conversas anteriores a essa atualização podem ter sido registradas no banco mesmo assim: vale conferir seus logs pra confirmar

O resto da lista:

• -u / --usage no llm chat: mostra o uso de tokens na saída de erro padrão depois de cada turno
• Log incremental em cadeias de ferramentas: o llm prompt e o llm chat registram cada resposta assim que ela termina, então um erro ou o limite da cadeia não apaga mais as respostas anteriores dos logs
• Fim do SQLITE_BUSY: corrigidos os erros que apareciam quando vários processos gravavam respostas no mesmo banco ao mesmo tempo

Esse último é massa pra quem roda vários llm em paralelo, em script ou agente

PRs feitos com IA: o que Simon Willison diz sobre esta versão

A versão inclui correções de 12 autores, quase todas feitas com ajuda de IA

E aí vem a parte interessante: segundo o Willison, revisar esses PRs pesou bem menos do que ele esperava

Ele trata esses PRs como relatos de bug com exemplos anexados: às vezes faz o merge, às vezes implementa a própria correção

É a visão dele sobre o projeto dele, num momento em que muita gente que mantém open source reclama de enxurrada de PR gerado por IA

Tem vídeo no canal falando sobre essa atualização do llm:

Próximo passo para quem usa o llm no terminal

Depois de atualizar, a primeira checagem é simples: você depende do modelo padrão em algum script ou atalho?

Se sim, decida se o GPT-6 Luna serve ou se prefere fixar outro modelo, e siga a seção "Setting a custom default model" da documentação

Se você usa provedores ou servidores locais compatíveis com a API da OpenAI, vale abrir a seção "Configure an OpenAI-compatible model" e cadastrar tudo pelo llm openai endpoint add

E se você usa llm logs off, confira o que ficou salvo no banco antes da atualização 😉

Até o próximo post!

Quer aprender mais sobre inteligência artificial e programação na prática? Conheça o canal Hora de Codar no YouTube e acompanhe os próximos vídeos.