Vale a pena treinar um classificador próprio ou usar o Laya?
Classificador próprio ou Laya? Se a sua taxonomia muda com frequência, o Laya tende a ganhar: os rótulos são definidos na requisição, então incluir uma categoria nova não exige retreinar nem fazer redeploy. Ele cobre mais de 100 idiomas no checkpoint multilíngue, nunca inventa categoria e pode se abster quando está inseguro. Os limites: funciona melhor com menos de cerca de 20 opções por pergunta, não explica a decisão e rende mais depois de um fine-tuning no seu domínio (0,362 contra 0,766 de acurácia no benchmark de decisões tipadas)
Fala aí, beleza? Todo time que tem classificador em produção conhece bem o ciclo: coletar dados, treinar e fazer redeploy só porque o critério mudou 😛
E sempre muda, né?
Entra um produto novo, o suporte cria mais uma categoria, o jurídico pede outro tipo de alerta, e lá vai o modelo de volta pro forno
É aí que entra a pergunta deste post: vale continuar mantendo um modelo fine-tunado próprio ou dá pra trocar isso pelo Laya?
Que Laya? É um motor de decisões tipadas sobre texto livre
Tu manda um texto (ticket, email ou JSON) junto com perguntas tipadas, e ele devolve decisões de escolha, nota e sim/não (choice, score, yes/no) com probabilidades calibradas, tudo em um único forward pass
Ele é não autorregressivo, ou seja, não fica gerando token por token igual um LLM faz
Pra decidir entre um e outro, bora olhar três critérios: velocidade de mudança de regra, número de rótulos e cobertura de idiomas 🙂
Formação Claude Code
Domine Claude Code do absoluto zero até o avançado
- 120 aulas
- 4 projetos
- 9h 45min
Classificador próprio vs Laya: comparação por critério
| Critério | Classificador próprio (fine-tunado) | Laya |
|---|---|---|
| Mudança de regra | Coletar dados, treinar e fazer redeploy a cada critério novo | Incluir a opção nova na requisição, sem retreinar nem atualizar pesos |
| Número de rótulos | Definido no treino | Ideal abaixo de cerca de 20 opções por pergunta; acima disso, quebrar a decisão em etapas |
| Idiomas | Os que estiverem nos dados de treino | Multilíngue (mmBERT-base, 322M, mais de 100 idiomas, contexto de 1024 tokens) e base em inglês (ModernBERT-large, 421M, contexto de 512 tokens) |
| Latência | Depende do seu modelo e da sua infra | Cerca de 39,5 ms no checkpoint em inglês e 32,8 ms no multilíngue, em GPU Tesla T4 |
| Saída | Depende de como o modelo foi construído | Não gera texto nem inventa categoria; tem abstenção quando está inseguro |
| Explicação | Depende de como o modelo foi construído | Devolve números, não justificativas |
| Licença | A do seu projeto | Apache 2.0, pesos abertos |
Agora, critério por critério, porque cada um pesa diferente dependendo da sua operação
Mudança de regra: quem se adapta mais rápido?
No classificador próprio, o rótulo mora dentro dos pesos
Mudou o critério? Volta pro ciclo inteiro: coleta, treino e redeploy
No Laya, o espaço de respostas é definido na hora da requisição, pelas opções que tu envia
Adicionar uma categoria nova é só colocar ela na lista de opções, sem retreinar e sem mexer em peso nenhum
Se tu conhece aquela ideia de passar parâmetro pra função em vez de deixar o valor fixo no código, é bem semelhante: a regra sai do modelo e vai pra chamada 😀
Número de rótulos: quantas opções cabem numa pergunta?
Aqui mora o primeiro limite do Laya
O ideal é manter as perguntas de escolha abaixo de cerca de 20 opções
Espaço de rótulos MUITO grande reduz a informação por opção, e a recomendação é quebrar a decisão em várias etapas
Exemplo: em vez de uma pergunta com todas as subcategorias do suporte, primeiro decide a área e depois a subcategoria dentro dela
Idiomas: o Laya cobre quantas línguas?
O checkpoint multilíngue (mmBERT-base, 322M parâmetros) cobre mais de 100 idiomas, com contexto de 1024 tokens
Já o base em inglês (ModernBERT-large, 421M parâmetros) tem contexto de 512 tokens
Tome cuidado com um detalhe: a qualidade específica em português do Brasil é algo que tu precisa validar com os seus próprios dados
Latência: quanto tempo leva cada decisão?
Medido em uma GPU Tesla T4, fica em cerca de 39,5 ms por decisão no checkpoint em inglês de 421M e 32,8 ms no multilíngue de 322M
Como é um forward pass só, não tem aquela espera de geração de texto
Saída e explicação: o que o Laya devolve?
O Laya não emite tokens de texto
Ele só devolve probabilidades sobre o conjunto fixo de opções que tu definiu, então resposta malformada ou categoria inventada é impossível por construção
E quando está inseguro, tem a opção de abstenção (abstain), com confiança calibrada
O outro lado da moeda: ele devolve números, não justificativas
Se tu precisa saber o PORQUÊ da decisão em texto, ele não vai te dar isso
Licença: dá pra rodar na própria infra?
Sim, a licença é Apache 2.0 e os pesos são abertos
Quando o Laya faz mais sentido que treinar um classificador:
O benchmark de decisões tipadas do projeto usa 4 fluxos, e eles dão uma boa ideia dos use cases onde o Laya encaixa:
- Atendimento ao cliente: triagem de tickets e emails, prioridade, área responsável, sim/não pra escalar
- Processamento de notas fiscais: tipo de documento, nota de confiança, se precisa de revisão humana
- Incidentes de segurança: severidade, categoria do incidente, se é falso positivo
- Observabilidade de traces de agentes: avaliar o que um agente fez, com decisões tipadas sobre o trace
O padrão que se repete é este: o Laya brilha quando a taxonomia muda sempre
Se toda semana alguém pede uma categoria nova, o ciclo de retreino vira gargalo, e com o Laya isso vira só uma opção a mais na requisição
Também faz sentido quando a operação roda em vários idiomas, graças ao checkpoint multilíngue
E quando tu precisa de resposta SEMPRE dentro das opções, sem saída quebrada pra tratar no código depois
Outro ponto massa: o pacote inclui um Router que escolhe entre os 3 checkpoints a cada requisição (base em inglês, multilíngue e laya-typed-decisions)
Então tu não precisa montar essa lógica de roteamento na mão 🙂
Quando ainda vale manter seu próprio classificador ou usar um LLM?
O Laya não é bala de prata
Tem dois cenários onde ele não é a escolha certa:
- Muitos rótulos numa pergunta só, sem como quebrar em etapas: se a decisão exige uma lista enorme de opções de uma vez e não dá pra dividir, tu bate direto no limite de cerca de 20 opções
- Julgamento que precisa de justificativa: se a decisão exige raciocínio ou explicação em texto livre, a indicação do próprio projeto é usar um LLM como juiz
No primeiro caso, treinar seu próprio classificador continua sendo um caminho legítimo, principalmente se a taxonomia é estável e muda pouco
Se o critério quase nunca muda, aquele ciclo de coleta, treino e redeploy acontece raramente e deixa de ser dor
Veredito: o Laya substitui o classificador fine-tunado?
Em boa parte dos casos, sim, mas com um asterisco importante
O que o Laya troca de verdade é o ciclo de retreinar a cada mudança de critério por rótulos definidos na requisição
Porém ele não é um motor zero-shot pronto pra tudo: é uma base rápida pra especializar
Se liga nos números do benchmark de decisões tipadas (2.000 decisões em 4 fluxos): o checkpoint base em inglês marca 0,362 de acurácia, e o laya-typed-decisions, fine-tunado nesses fluxos, marca 0,766
Ou seja, a acurácia salta quando tu faz fine-tuning com decisões do seu próprio domínio
Então o ganho real não é "nunca mais treinar"
É que o fine-tuning vira um passo inicial, e as mudanças de regra depois disso não exigem novo treino
E esse passo inicial nem precisa de PC da Nasa: existe um notebook que roda o ciclo inteiro nas 2 GPUs T4 gratuitas do Kaggle, montando o dataset, treinando, ajustando as temperaturas de calibração, avaliando e publicando no Hub
Resumindo: taxonomia que muda muito, vários idiomas e necessidade de resposta sempre dentro das opções apontam pro Laya
Listas gigantes que não dá pra quebrar ou decisões que precisam de explicação apontam pra classificador próprio ou LLM como juiz
Como começar com o Laya:
O Laya é criado e publicado pela Convai Innovations
O código fica no repositório NandhaKishorM/laya no GitHub e os pesos em convaiinnovations/laya no Hugging Face
Bora pros passos:
- Confere a versão do Python, porque o Laya exige Python 3.10 ou mais novo
O erro comum aqui é tentar instalar num ambiente mais antigo e só descobrir depois, então checa antes 😉
- Instala o pacote:
pip install laya- Roda o notebook de fine-tuning com decisões reais do seu domínio
É esse passo que tira o modelo do 0,362 e leva pra perto do que o checkpoint especializado mostrou no benchmark
Prefere não cuidar de infra? Existe o layahost, um serviço independente, sem afiliação com a Convai Innovations, operado na Polônia e hospedado na UE, que roda o Laya aberto com planos a partir de US$ 9 por mês
Conclusão
Na dúvida entre classificador próprio ou Laya, olha pra velocidade com que tuas regras mudam
Se muda sempre, o Laya tira o retreino do caminho, cobre mais de 100 idiomas no multilíngue e nunca devolve categoria inventada
Se tu precisa de lista gigante numa pergunta só ou de justificativa em texto, ainda vale classificador próprio ou LLM como juiz
E em qualquer cenário: comece pelo fine-tuning com decisões reais do seu domínio, é ali que a acurácia salta
Faça o teste e me conta como foi, beleza?
Até o próximo post! 😀
Perguntas frequentes
Quem desenvolve e mantém o Laya?
O Laya é criado e publicado pela Convai Innovations. O repositório fica no GitHub em NandhaKishorM/laya, e os pesos ficam no Hugging Face em convaiinnovations/laya.
Como instalar o Laya pra testar?
A instalação é via pip install laya, e exige Python 3.10 ou mais novo, então confere a versão do Python antes de instalar.
O Laya funciona bem já pronto, sem fine-tuning?
Não é o ideal. No benchmark de decisões tipadas, o checkpoint base em inglês marca 0,362 de acurácia, enquanto o laya-typed-decisions (fine-tunado) marca 0,766. O próprio projeto trata o Laya como base rápida pra especializar, não como motor zero-shot pronto pra produção.
Dá pra fazer fine-tuning do Laya sem ter GPU própria?
Sim, tem um notebook que roda o ciclo inteiro nas 2 GPUs T4 gratuitas do Kaggle. Ele monta o dataset, treina, ajusta as temperaturas de calibração, avalia e publica no Hub.
Existe alternativa hospedada pra quem não quer rodar o Laya na própria infra?
Sim, o layahost é um serviço independente, sem afiliação com a Convai Innovations, operado na Polônia e hospedado na UE. Ele roda o Laya aberto, com planos a partir de US$ 9 por mês.
O Laya troca completamente o uso de LLM na esteira de decisões?
Não necessariamente. Pra decisões tipadas rápidas (choice, score, yes/no) o Laya cobre bem, mas ele não explica a decisão em texto, só devolve números. Quando o julgamento exige raciocínio ou explicação em texto livre, a indicação do próprio projeto é usar um LLM como juiz.
Matheus Battisti
Formações
Formação Vibe Coding
Do Prompt ao Produto: Crie Software Real com IA
- 474 aulas
- 20 projetos
- 39h 27min
Blog | Mais populares
Choice, score e noul: quais são os tipos de pergunta do Laya e quando usar cada um?
Entenda os tipos de pergunta do Laya: choice, score e noul. Como cada um funciona, a acurácia de cada primitiva e quando usar em cada situação.
Como usar o laya para detectar phishing, spam e risco de churn em texto, email e ticket?
Veja como o laya detecta phishing, spam e risco de churn em texto, email e ticket com scores calibrados, rodando local via pip install.
Quando não usar o laya? Os limites de um motor de decisões que não gera texto
Quando não usar laya? Veja os limites do motor de decisões: sem texto, sem zero-shot eficaz, sem raciocínio em várias etapas. Descubra onde ele falha.
