Modelos de linguagem costumam escrever mais do que o necessário, e cada palavra extra custa tempo de processamento e dinheiro. Um artigo publicado no arXiv, intitulado Say Less, Mean Better, propõe uma forma de controlar esse excesso sem treinar o modelo de novo. Segundo os autores, o método, chamado MinimalLM, reduz em 47,6% os tokens gerados e acelera cada resposta entre 19% e 68%, mantendo a qualidade próxima à dos modelos originais.
Por que parar no ponto certo é difícil
Pedir ao modelo que seja conciso ajuda, mas não garante que a resposta fique completa. Já cortar a geração cedo demais economiza processamento, porém pode deixar o texto interrompido. De acordo com o resumo, o desafio é encerrar a geração no momento adequado sem comprometer a integridade da resposta.
Como funciona o MinimalLM
O método separa duas decisões: quando parar e se parar é estruturalmente adequado. Ele combina instruções no nível da resposta, intervenção durante a decodificação e verificações de completude. Segundo o artigo, nada disso exige mudar os parâmetros do modelo nem usar modelos auxiliares.
O que os testes mostraram
Os autores avaliaram três LLMs de código aberto com 330 perguntas, gerando 5.940 respostas entre as configurações de base e de ablação. Na avaliação principal, o método eliminou saídas truncadas estruturalmente. A nota média de qualidade ficou abaixo da dos modelos sem modificação, mas acima do truncamento simples com o mesmo tamanho, como mostra a tabela.
Segundo o artigo, os ganhos de eficiência apareceram em domínios como saúde, programação, direito e ciência.
O que ainda não está claro
O resumo não detalha quais são os três modelos testados nem como a nota de qualidade foi atribuída. Para entender o alcance do método, vale ler o texto completo do artigo.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
