Podar um modelo de linguagem significa retirar partes da sua estrutura para torná-lo menor e mais barato de rodar. O custo costuma ser a precisão. Um estudo publicado no arXiv procurou saber se essa queda indica perda de capacidade de raciocínio ou apenas maior dificuldade para obter respostas corretas por amostragem.

O que os pesquisadores fizeram

Segundo o resumo, o trabalho analisa três formas de poda estruturada: de especialistas, de camadas FFN e de camadas inteiras. Os testes usam quatro benchmarks de matemática e programação. Modelo original e modelo podado são comparados por meio de pass@k, com orçamentos de amostragem equivalentes. Em termos simples, pass@k mede quantos problemas são resolvidos quando o modelo recebe k tentativas.

Apesar do título, o estudo não trata de dar mais tempo a uma única resposta. O recurso avaliado é o número de tentativas.

Cobertura mantida, mas nem sempre barata

De acordo com os autores, mesmo após uma poda substancial, alguns modelos igualam ou superam a cobertura de raciocínio do original. Isso acontece apesar de terem pass@1 menor, e esses modelos resolvem problemas que o original não resolveu nas amostras.

O ponto de atenção está na eficiência. Sob poda severa, os rastros de cadeia de pensamento (CoT) continuam diversos, mas aumentam em repetição e perdem confiabilidade. Quando as respostas certas ficam mais difíceis de amostrar, são necessárias mais tentativas, e o consumo total de tokens pode crescer muito, mesmo que cada resposta individual fique mais curta.

O que muda para quem avalia modelos

  • Pass@1 sozinho pode esconder modelos que ainda resolvem uma faixa ampla de problemas.
  • O custo de amostragem entra na conta: segundo o estudo, a cobertura e a eficiência de amostragem são aspectos separados.
  • Métodos de seleção de especialistas com pass@1 bem diferentes podem resolver os mesmos problemas em orçamentos grandes, mas exigir números diferentes de tentativas para atingir a mesma cobertura.

A conclusão dos autores é que a poda deve ser avaliada pela faixa de problemas que o modelo ainda consegue resolver e pelo custo de amostragem necessário para obter soluções corretas.

O que ainda não está claro

O resumo não informa quais modelos foram usados, quanto foi podado em cada caso nem os valores numéricos dos resultados. Esses dados estão no artigo completo.