Ferramentas chamadas de humanizadoras reescrevem textos gerados por IA com o objetivo de fazer com que detectores os classifiquem como escritos por pessoas. O estudo Humanized but Still True? Auditing Facts and Detection in AI-Text Humanizers, disponível no arXiv, examina se essas reescritas preservam informações verificáveis. Segundo o resumo do artigo, rankings públicos avaliavam a evasão de detectores e a similaridade entre textos, mas não a retenção de números, datas, nomes de pessoas e organizações ou trechos citados.
Verificação de fatos nas reescritas
Os autores usaram um verificador baseado em regras, validado por dois anotadores de IA. O resumo informa precisão entre 0,84 e 1,00 e recall entre 0,93 e 0,95; não houve anotação humana.
No ciclo de outubro de 2026 de um ranking público, todas as 11 ferramentas comerciais avaliadas modificaram ou omitiram ao menos uma das unidades verificadas em uma parcela dos documentos que as continham. As mudanças ocorreram em 35% a 65% desses documentos, e a maioria envolveu trechos citados. Considerando apenas números e nomes, 10 das 11 ferramentas alteraram pelo menos um desses elementos em 20% ou mais dos documentos. O resumo informa que o ciclo de setembro de 2026 apresentou resultados semelhantes, entre 19% e 50%.
O estudo também avaliou um humanizador aberto identificado como 12B. Em textos factualmente densos de agências federais dos Estados Unidos, ele manteve pelo menos 97% dos números e nomes, mas reformulou entre 67% e 78% dos trechos citados, apesar da instrução recebida.
Preservação de fatos e detecção
Segundo os autores, não houve relação clara entre a retenção das unidades verificadas e a evasão dos detectores: a correlação de Spearman foi -0,46, com intervalo de confiança de 95% entre -0,65 e 0,08. Os quatro arquivos disponibilizados do modelo aberto — dois deles descritos como versões de baixa precisão com quantização — também não apresentaram a relação monotônica prevista pelos pesquisadores.
Em textos federais com versões originais humanas, versões em estilo de IA e versões humanizadas, o modelo de decisão geral Jev distinguiu originais humanos de reescritas humanizadas com AUROC de 0,864, segundo o resumo, que informa intervalo de 0,827 a 0,902. O resultado ficou entre 0,18 e 0,22 acima dos obtidos por Binoculars, Fast-DetectGPT e RADAR. No limiar de 0,5, contudo, o Jev classificou como IA 24% dos originais humanos.
Nos textos em estilo de IA produzidos por modelos de 2026, dois detectores baseados em perplexidade tiveram AUROC de 0,37 e 0,39, abaixo do acaso. O resumo afirma que isso também ocorreu após a remoção das quebras de linha. Ele não identifica as 11 ferramentas comerciais nem associa cada um desses dois resultados a um detector específico.
Os autores dizem que registraram previamente hipóteses, regras de dados e análises e que disponibilizaram o verificador e resultados por item.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
