Modelos de linguagem costumam ser pesados demais para rodar em equipamentos modestos. Uma saída é a poda de profundidade, que remove blocos Transformer inteiros para deixar o modelo menor e mais rápido. Segundo o estudo publicado no arXiv, essa operação tem um preço desigual, e a recuperação feita depois, chamada de healing (um ajuste fino curto), decide o que volta. Os autores avaliaram modelos pequenos usados como agentes.

O que quebra primeiro

Foram testados quatro modelos com entre 1.2 e 1.7 bilhão de parâmetros: Llama-3.2-1B, Qwen2.5-1.5B, SmolLM2-1.7B e OLMo-2-1B. Em todos eles, chamada de função e matemática colapsaram, com retenção entre 0,00 e 0,07 da pontuação do modelo sem poda. A ordem em que as seis capacidades avaliadas falham foi muito parecida entre os quatro modelos.

Quais parâmetros treinar importa

Treinar integralmente as três últimas camadas, em vez de acrescentar adaptadores de baixo ranque a todos os blocos, custou até 0,18 na retenção média limitada em três famílias de modelos. De acordo com o estudo, um piloto de 300 mil tokens por escopo já detecta essa diferença.

Planejar a recuperação compensa?

Os pesquisadores testaram um planejador que distribui um orçamento de 1 milhão de tokens de healing a partir de 21 pilotos curtos. Com orçamento fixo, ele elevou a capacidade mais fraca em duas famílias, mas só um desses ganhos resistiu a um teste que também reamostra as sementes de treino.

Quando os 3,48 milhões de tokens usados nos pilotos entram na conta, o resultado muda de direção. O treino uniforme, com o mesmo total de tokens de treino, igualou ou superou todas as variantes planejadas em todas as famílias. Em três delas, preservou a matemática de forma significativamente melhor em um teste por item. Os autores concluem que treinar por mais tempo é uma base forte e simples, que qualquer plano de recuperação precisa superar.

O que ainda não está claro

O resumo não traz as pontuações de cada modelo separadamente. Segundo os autores, código, previsões por item e todos os resultados são públicos, o que permite conferir os detalhes no artigo completo.