Um estudo disponível no arXiv propõe analisar a participação da inteligência artificial na escrita por meio de classes que representem diferentes graus de envolvimento, em vez de recorrer a uma única pontuação. Segundo o resumo da pesquisa, a adoção ampla de grandes modelos de linguagem (LLMs) está alterando a produção de textos e tornando mais difícil identificar sua procedência. O estudo também relaciona essa dificuldade a preocupações com desinformação, plágio e propriedade intelectual.
Da pontuação única a diferentes níveis de participação
De acordo com os pesquisadores, pontuações unidimensionais de coautoria entre humanos e IA não oferecem sinais diretamente ligados ao envolvimento da IA. A estrutura proposta organiza cenários em classes discretas e diferencia, por exemplo, o uso da IA para polir a superfície do texto de sua participação na atualização das estruturas do discurso. A proposta, portanto, busca tornar mais específica a descrição do papel da ferramenta.
O efeito das paráfrases
O resumo aponta que paráfrases adversariais podem confundir os detectores ao borrar as fronteiras entre as classes de coautoria. Para enfrentar esse problema, os pesquisadores incluíram no treinamento paráfrases geradas por um modelo de ataque descrito como de última geração. Segundo a fonte, essas reescritas preservam o significado e apresentam desafios aos sistemas de detecção.
Resultados relatados
Nos experimentos realizados em vários conjuntos de dados e com diferentes modelos geradores, detectores treinados apenas com dados não adversariais tiveram desempenho substancialmente prejudicado pelas paráfrases adversariais. Já a inclusão de exemplos adversariais no treinamento trouxe ganhos consistentes de robustez e boa transferência entre geradores, conforme o resumo.
Para quem avalia a autoria de textos, o trabalho destaca que detectar a presença de IA e identificar o grau de sua participação são tarefas distintas. O resumo não informa os nomes dos conjuntos de dados e modelos usados nem quantifica as quedas de desempenho e os ganhos observados.
