Onde modelos pequenos guardam sinais de pensamento após a destilação

Modelos alunos podem ter dificuldade com as soluções longas produzidas por modelos grandes de raciocínio, segundo o estudo Where Do Distilled Students Store Thinking?, disponibilizado no arXiv. O trabalho analisa o que permanece nos pesos dos modelos menores quando as respostas do professor são encurtadas. Para isso, considera a interpolação entre um modelo grande de raciocínio e um modelo de respostas curtas, controlada por uma proporção chamada λ.

O que os pesquisadores analisaram

De acordo com os autores, a comparação abrange adaptadores LoRA de três modelos alunos, associados a três pares de professores, em cada valor de λ. Em cada par, o subespaço de atualização dos adaptadores muda mais na região em que o professor deixa de produzir respostas longas e elas se encurtam. O estudo localiza essa mudança, mas não atribui sua causa a um componente específico.

Um subespaço ligado a sinais de pensamento

Os pesquisadores identificam um subespaço compartilhado entre adaptadores e associado a comportamentos semelhantes ao pensamento. Entre os sinais considerados estão marcadores reflexivos, respostas em formato de monólogo e soluções longas. Segundo o estudo, esse subespaço permanece em cerca de metade enquanto, em um dos pares, o professor reduz suas soluções pela metade e mantém a tag de pensamento; depois que o pensamento cessa, o subespaço em grande parte se esvazia.

As intervenções descritas pelos autores apontam uma relação entre esse subespaço e os sinais observados. Sua remoção reduz esses comportamentos em todos os pares, alunos e benchmarks avaliados. Em um dos pares e em outro aluno, a retirada também deixa claramente menos marcadores do que a remoção dos principais componentes da atualização. Nos demais casos, direções aleatórias com energia semelhante muitas vezes têm efeito próximo.

Por fim, os autores inseriram o subespaço em um modelo aluno de respostas curtas, com o dobro do peso. A intervenção fez aparecer marcadores iniciais, assim como a atualização completa, mas o modelo raramente concluiu a resposta. O resultado do estudo, portanto, associa um subespaço dos pesos a sinais de pensamento destilado, sem mostrar que sua presença, por si só, garante a conclusão de uma solução.