Uma pergunta de sim ou não parece simples, mas o estudo Written Once, Read Differently, publicado no arXiv, mostra que a resposta dada pelo modelo pesa nas respostas seguintes. Segundo os autores, quando um modelo de linguagem responde uma pergunta, essa resposta muda a forma como ele responde outra pergunta sobre a mesma entidade. Eles chamam o fenômeno de autocompromisso (self-commitment).
O que foi medido
De acordo com o resumo, a equipe fixou a primeira resposta de cada modelo e mediu a mudança na segunda. Foram 22 modelos de código aberto, de quatro famílias, com entre 0,5 bilhão e 72 bilhões de parâmetros, analisados em 3.600 pares de perguntas sobre 120 entidades.
Segundo a fonte, cada resposta grava uma "direção de compromisso" no fluxo interno do modelo. Quanto mais parecidas são as direções de duas perguntas, mais forte é o acoplamento entre elas em entidades não usadas no treino da medição, com valores de 0,43 a 0,85.
Onde a leitura muda
Remover uma única direção compartilhada entre temas eliminou, em cada modelo, no máximo 17% do efeito. Já a forma como essa direção é "lida" pelo modelo se mostrou bem menos estável, segundo o estudo:
- o circuito de leitura se espalha por mais cabeças de atenção conforme os modelos crescem;
- o ajuste por instruções faz mais perguntas lerem a direção em sentido oposto;
- em um dos modelos, mudar apenas o prompt de sistema inverte o sinal do circuito.
Ao remover a direção preservando o chamado "sumidouro de atenção" (attention sink), a maior parte do acoplamento desaparece, com custo de perplexidade abaixo de 1,3% em 18 dos 19 modelos ajustados por instrução. Em dois modelos, porém, as respostas isoladas também mudaram.
O que ainda não sabemos
O resumo não detalha quais são os modelos nem os critérios de cada teste. Para entender o alcance completo dos resultados, será preciso ler o artigo integral.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
