Maldição dos dois passos: por que modelos decoram fatos novos mas não os usam para deduzir

Imagine ensinar a um modelo de linguagem que determinada pessoa é cidadã de um novo país. Ele repete a informação sem dificuldade, mas, sem usar cadeia de pensamento, não consegue dizer quem é o chefe de Estado desse país. Segundo o artigo, esse problema é chamado de “maldição dos dois passos” (two-hop curse), e foi nomeado por Balesni et al.

Por que isso importa

Atualizar o conhecimento de um modelo não basta se ele não consegue combinar o fato novo com o que já sabe. Até aqui, a abordagem mais comum tratava o problema como uma falha de raciocínio e tentava resolvê-lo com dados sintéticos de raciocínio. Os autores defendem outra explicação: o raciocínio estaria intacto, e o problema estaria na forma como o fato novo é gravado.

A tese dos autores

Segundo o estudo, o fine-tuning grava o fato novo como uma resposta a ser dita. Já o segundo passo lê a expressão de ponte, como “o país dessa pessoa”, como se fosse uma entidade. Nas camadas intermediárias, o modelo faz essa leitura, e ao injetar nessas camadas a representação da nova entidade, a segunda etapa é em grande parte restaurada. Depois do fine-tuning, porém, a expressão de ponte não fica mais próxima da nova entidade do que estava antes da edição.

O método proposto

Os autores chamam a proposta de Legible, que faz a escrita do fato corresponder à leitura que o próprio modelo faz da nova entidade. Ela usa um termo de perda que alinha a expressão de ponte, na camada em que o segundo passo termina de lê-la, à representação da entidade nova, e mantém inalterados os demais sujeitos da mesma relação. Segundo o texto, frases e alvos vêm do próprio modelo editado, e nenhum dado de múltiplos passos é usado.

Resultados informados

• Nos testes com perguntas de maldição dos dois passos do MQuAKE, o Legible combina fatos aprendidos com mais frequência do que o modelo combina o próprio conhecimento.
• Ele alcança de 1,8 a 2,6 vezes a precisão na ponte do CaKE, cujos dados de raciocínio não combinam melhor do que o fine-tuning simples.
• Entre quatro famílias de métodos de escrita, teve a melhor média considerando composição, precisão e localidade.
• Também funcionou no RippleEdits, no benchmark de Balesni et al. e em um modelo de 14B.

Os testes cobriram Qwen2.5, Llama-3 e Qwen3. O resumo não detalha os números completos por modelo nem o custo de treinamento, e isso só deve ser conferido no texto integral do artigo.