Uma notícia escrita por uma pessoa é, em geral, indistinguível de uma gerada por IA para quem a lê? De acordo com o estudo Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, disponível no arXiv, a resposta curta é não: os participantes não conseguiram diferenciar de forma confiável um texto humano de um texto de máquina. Os autores concluem que a detecção feita pelo próprio usuário não é uma defesa viável.

Como foi o experimento

A pesquisa usou a JudgeGPT, uma plataforma que mede separadamente duas coisas: a origem do texto (humano ou máquina) e a autenticidade (legítimo ou falso), em escalas contínuas. Foram coletados 2.318 julgamentos de 1.054 participantes, sobre conteúdos gerados por seis modelos de linguagem.

Principais achados

  • Os participantes não distinguiram de forma confiável texto de máquina e texto humano.
  • Essa dificuldade apareceu em todos os modelos testados, inclusive em modelos de pesos abertos com apenas 7 bilhões de parâmetros.
  • A autoavaliação de conhecimento na área previu acerto nos julgamentos (r = 0,35; p < 0,001). A orientação política não teve relação significativa (r = -0,10).
  • A análise por agrupamentos identificou dois padrões de resposta, chamados pelos autores de "Céticos" e "Crédulos".
  • A precisão caiu após cerca de 30 avaliações seguidas, o que os autores atribuem à fadiga cognitiva.

O que ainda não sabemos

O resumo não detalha como os textos foram produzidos nem quais seis modelos foram usados, e também não informa se o trabalho já passou por revisão por pares. Para os autores, a saída está em medidas de sistema, como a proveniência criptográfica do conteúdo, e não em confiar na percepção do leitor.