Saber se um modelo de linguagem foi treinado com determinado texto importa para direitos autorais, privacidade e contaminação de benchmarks. Segundo o resumo do estudo, a maioria das avaliações desses testes, chamados de inferência de pertencimento (MI), reúne os textos "membros" e os "não membros" só depois do treinamento. Por isso, um acerto pode refletir apenas diferenças entre os conjuntos de textos, e um erro não permite conclusão. O trabalho propõe uma forma mais rigorosa de medir isso.

Como o experimento foi montado

Os autores refizeram a etapa oficial de treinamento intermediário do OLMo 2 1B, com 50 bilhões de tokens. Trechos selecionados foram substituídos por documentos de 7.814 pares equiparados por domínio e dificuldade. Um sorteio, como uma moeda, decidia qual documento de cada par entrava no treinamento e qual ficava de fora. A execução divulgada pelo Allen Institute for AI (AI2), com a mesma semente, usou dados idênticos em todo o resto e serviu como controle contrafactual.

Principais resultados

  • Um único documento quase não se revela: segundo o estudo, uma exposição aumenta, em média, a probabilidade de um texto nunca visto, mas raramente permite identificá-lo.
  • Teste com referência: usando o contrafactual como referência, a razão de verossimilhança obteve área sob a curva ROC (AUC) de 0,767. Porém, com um único limiar para todos os domínios, detectou apenas 3,8% dos membros com taxa de falso positivo de 1%.
  • Coleções são mais detectáveis: de acordo com o texto, 13 pares equiparados dão ao teste pareado 80% de poder, no nível de 5%, para detectar treinamento com uma coleção, desde que haja não membros do mesmo domínio e uma referência próxima.
  • Outra semente: uma referência treinada com outra semente recupera 92% da vantagem de AUC do contrafactual sobre o acaso.
  • Sem referência: os ataques que não usam referência ficam dentro de 0,07 do acaso quando agregados por domínio.
  • Receita completa de pós-treinamento: refazê-la nos dois modelos deixa 89% do efeito médio.

O que muda para quem avalia esses testes

O ponto central é que a dificuldade está no documento individual. Mesmo com uma referência bem equiparada, a variabilidade entre documentos limita a inferência sobre um texto específico. Assim, afirmar que uma obra específica foi usada no treinamento com base nesse tipo de teste tende a ser pouco confiável. Já a detecção de conjuntos de textos aparece como um cenário mais viável, dentro das condições testadas.

O resumo não detalha como os resultados se comportariam em modelos maiores ou em outros tipos de documento, e o estudo trata de um único modelo de 1 bilhão de parâmetros.

Os autores dizem que vão liberar os checkpoints, as log-probabilidades por token e os documentos de avaliação, e que o código está disponível no GitHub.