Sistemas de RAG (geração aumentada por recuperação) buscam documentos externos para embasar as respostas de um modelo de linguagem. Segundo um preprint publicado no arXiv, esse mecanismo pode expor o modelo a evidências enganosas presentes nos textos recuperados. O estudo testou o que acontece quando há mais documentos envenenados, e todos concordando entre si, do que documentos saudáveis.
Como o experimento foi montado
De acordo com a fonte, foram avaliadas 200 perguntas selecionadas aleatoriamente do conjunto SciFact, com semente aleatória 38. Cada pergunta foi testada em duas condições:
- Minoria envenenada: um documento envenenado e seis saudáveis.
- Maioria envenenada: seis documentos envenenados que concordam entre si e um saudável.
Os números
Para o Gemma-3-12b, a taxa de detecção da afirmação envenenada caiu de 25% (50 de 200) na condição minoritária para 10% (20 de 200) na majoritária.
Entre as 38 perguntas que tiveram resultados diferentes nas duas condições, 34 passaram de detectadas para não detectadas, e apenas 4 fizeram o caminho inverso. O teste exato de McNemar, citado pelos autores, resultou em p = 6,04e-7.
Por que isso importa
Os autores afirmam que o padrão é consistente com uma resposta semelhante à conformidade: quando a maioria das evidências recuperadas repete a mesma afirmação falsa, o modelo tende a segui-la. Na prática, isso sugere que a diversidade e a qualidade das fontes recuperadas podem pesar mais do que a simples quantidade de textos.
O que ainda não sabemos
O estudo avaliou apenas um modelo, o Gemma-3-12b, e os próprios autores descrevem o resultado como evidência inicial. O resumo não informa se outros modelos apresentam o mesmo comportamento.
