Quem avalia artigos científicos costuma deixar no parecer marcas de opinião: juízos de valor, graus de certeza e recomendações ao autor. Um preprint publicado no arXiv parte dessa característica humana para tentar separar pareceres escritos por pessoas dos gerados por inteligência artificial. O método se chama SAGE (Subjectivity-Aware Generation Estimator), e, segundo os autores, a subjetividade pode funcionar como uma pista explicável para esse tipo de detecção, que importa para a credibilidade da revisão por pares.
Como funciona
De acordo com a fonte, a subjetividade é analisada em dois níveis. No semântico, observam-se a linguagem avaliativa e a modalidade, isto é, como o texto expressa opinião e grau de certeza. No pragmático, observam-se os atos de fala, ou seja, o que o texto faz ao leitor, como avaliar, sugerir ou pedir algo.
Com esses traços, os autores treinaram um classificador leve. Eles usaram características derivadas de anotações de atos de fala e pontuações de subjetividade previstas por modelo. Segundo o resumo, só com esses traços linguísticos o classificador alcança AUROC de 0,9566.
O ganho na combinação
O SAGE também foi combinado com o Sem-Detect, que a fonte descreve como detector de referência atual. No benchmark APRDB, a taxa de verdadeiros positivos com 1% de falsos positivos passou de 0,874 para 0,985. Os autores afirmam que o resultado supera o estado da arte e que os traços linguísticos podem ser integrados a métodos de detecção já existentes.
O que ainda não está claro
O resumo não detalha o conjunto de dados de treino nem o funcionamento do modelo que prevê as pontuações de subjetividade; esses pontos devem estar no corpo completo do artigo. O código e os modelos são citados como públicos, no GitHub e no Hugging Face.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
