Revisores automáticos baseados em IA já são usados para avaliar manuscritos científicos. Um estudo publicado no arXiv (arXiv:2611.02244) pergunta se essas avaliações refletem as melhorias que os autores fazem entre uma versão e outra do artigo. Segundo os autores, as revisões substanciais nem sempre aparecem nas notas.
Como o estudo foi feito
A equipe usou o PaperTrajectory-2026, versão de 2026 de um conjunto de dados com 6.959 trajetórias de artigos de cinco conferências de IA. As mudanças entre versões receberam anotação automática em 14 dimensões, e a qualidade geral foi julgada à parte. Oito revisores de IA avaliaram versões independentes dos manuscritos.
O que os autores encontraram
- Melhorias grandes concentram-se em evidência empírica e enquadramento (framing) do texto.
- Revisões posteriores tendem a ser melhorias incrementais.
- Em quase todas as melhorias grandes, cada revisor manteve a mesma nota.
- A concordância sobre a direção das mudanças de nota é fraca.
- Algumas dimensões de revisão se associam a aumentos de nota, mas de forma específica a cada revisor e com pouco poder preditivo.
Um ponto chama atenção: mesmo quando uma revisão recebe nota neutra mais alta, uma opinião negativa e breve de usuário pode apagar ou inverter essa vantagem, com variação grande entre revisores.
Por que isso importa para quem escreve
Para autores, o recado é que o esforço de revisão nem sempre é visível para ferramentas automáticas de avaliação. Para a ciência, o estudo sugere avaliações que liguem as evidências do manuscrito ao julgamento geral e que se mantenham estáveis quando nenhuma evidência científica muda.
O resumo não informa quais são as cinco conferências nem os nomes dos oito revisores.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
