Quando um modelo de linguagem deve escolher um número inteiro entre 1 e 30, todos os valores desse intervalo são respostas válidas. Ainda assim, o modelo pode favorecer algumas opções. O resumo de um estudo disponível no arXiv usa essa situação controlada para investigar como a preferência é processada ao longo das camadas e dos tokens.
Como os pesquisadores investigaram
Segundo o resumo, os autores combinaram sondagens por perturbação e atribuição por gradiente para identificar neurônios candidatos a intervenções de ativação. Em seguida, analisaram um caso selecionado com o modelo Qwen3-4B. O objetivo foi rastrear parte da influência de uma edição interna sobre a continuação da resposta, não demonstrar um mecanismo universal para todas as escolhas numéricas.
Uma edição muda a continuação
No caso descrito pelos autores, uma edição feita antes da resposta alterou o resultado de 17 para 15. As duas execuções, porém, emitiram primeiro o número 1. Depois de encerrada a edição, substituições seletivas de estados armazenados no cache e de saídas de atenção permitiram rastrear parte da influência persistente sobre o segundo algarismo.
O resumo relata que substituir a saída de uma cabeça de atenção ou, em outra intervenção, as saídas das demais cabeças em conjunto produz contribuições imediatas semelhantes para a leitura do resultado. As duas intervenções restauram 17, mas têm efeitos finais diferentes sobre as chances de 7 em relação a 5. Quando os pesquisadores mantêm as saídas posteriores das redes MLP nos valores da execução editada, a diferença entre esses efeitos cai de 0,119 para 0,0025 nat, segundo o estudo. Isso indica que o processamento posterior altera como contribuições locais semelhantes afetam a continuação.
Influência não significa mudança de resposta
Em 18 contextos, estimativas retrospectivas captaram boa parte da movimentação das probabilidades, mas não identificaram a troca da resposta escolhida. Nos testes com novas formulações, um prompt manteve a influência sem mudar a resposta. Apenas uma de 12 redações novas se qualificou para o teste envolvendo leitor e MLP; nesse caso, a fixação conjunta das saídas MLP reduziu novamente a diferença entre os efeitos, enquanto a resposta permaneceu 17.
Os autores ressaltam que o estudo usa a escolha numérica como caso controlado para examinar estado persistente e processamento condicional posterior. O trabalho não determina a origem da preferência numérica natural nem apresenta um circuito completo que a explique.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
