Um estudo publicado no arXiv descreve um efeito colateral no treinamento de modelos de IA: a técnica que torna as respostas mais precisas pode, ao mesmo tempo, deixar o modelo menos sensível às evidências do próprio documento. Segundo os autores, a destilação on-policy (OPD) melhora a acurácia das respostas, mas enfraquece a capacidade de reagir ao texto de apoio. A fonte não detalha o funcionamento da destilação em si, então o foco aqui é o efeito observado.
Como o teste foi feito
Os pesquisadores trabalharam com perguntas sobre documentos científicos. Alteraram o documento de forma controlada: a pergunta e o contexto não relacionado foram mantidos, mas o texto passou a sustentar outra resposta. Se o modelo continua dando a resposta original, mesmo com o documento apontando para outra, o fenômeno é chamado de evidence bypass, ou desvio de evidência. Os testes usaram o modelo Qwen3-4B nos conjuntos QASPER e PeerQA.
O que mudou nos números
Os resultados do OPD padrão no QASPER, com o Qwen3-4B, estão resumidos na tabela abaixo. Segundo o estudo, o mesmo padrão aparece no PeerQA: a acurácia nos documentos originais sobe, enquanto a acurácia nas versões contrafactuais cai e o desvio de evidência aumenta.
De onde vem o problema
De acordo com a fonte, o desvio cresce conforme a preferência do modelo, antes da destilação, pela resposta original quando responde sem consultar o documento. As mudanças de comportamento se concentram nas evidências essenciais para a resposta. Entre os fatores testados, o que mais melhorou, em conjunto, a resposta às evidências e o suporte às afirmações foi fornecer ao modelo professor os trechos anotados com a resposta correta.
A proposta: EP-OPD
Os autores propõem o Evidence-Paired OPD (EP-OPD). A técnica combina treino com documentos que sustentam respostas diferentes para a mesma pergunta e uma margem que favorece, em cada caso, a resposta sustentada pelo documento. Em dois tamanhos de modelo e nos dois conjuntos, o EP-OPD recuperou entre 54% e 66% da perda de acurácia contrafactual da OPD padrão, preservando entre 80% e 85% do ganho nos documentos originais.
A conclusão do estudo é que a capacidade de responder às evidências deve ser tratada como alvo de treino e de avaliação, ao lado da acurácia. A fonte não informa como a técnica se comporta com outros modelos ou tipos de texto além dos testados. O código está disponível publicamente no GitHub dos autores.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
