Quando um assistente de IA mostra um link como fonte, é natural supor que ele leu a página. Um estudo publicado no arXiv (arXiv:2611.00884) questiona essa suposição. Segundo os autores, verificações de disponibilidade de fontes citadas tratam uma resposta HTTP 200 como sucesso, mesmo quando a página não entrega o conteúdo principal.
O que foi medido
A equipe buscou 10.307 URLs em três dias, com um cliente estático e um cliente com navegador renderizado. O conjunto reunia páginas de 1.507 sites em cinco grupos, caminhos aleatórios inexistentes em cada site e as 4.795 URLs citadas por afirmações verificadas por especialistas no ExpertQA.
Os autores definiram uma taxonomia do que uma resposta 200 pode conter. Pelas etiquetas automáticas, 20,9% das páginas recebidas com status 200 pelo cliente estático não tinham o conteúdo principal. Entre os casos citados estão cascas de aplicativo, desafios para robôs, páginas de bloqueio, páginas de erro ou placeholder e conteúdo parcial. As etiquetas foram conferidas em 300 itens por um assistente baseado em LLM, e 60 deles foram revisados por humanos, que mantiveram todas as etiquetas de usabilidade após discussão.
Por que isso afeta citações
Segundo o resumo, o erro se propaga para as citações. Tratar o 200 como conteúdo elevaria em 12,2 pontos a parcela de pares afirmação-fonte que pareceriam verificáveis com conteúdo ativo. Além disso, a taxa aparente de deriva silenciosa de citação subiria de 5,8% para 21,9%. Ou seja, uma fonte pode parecer viva e, ainda assim, não ter sido lida.
Há também um sinal de alerta nos próprios sites: 13,1% dos sites cuja sonda com caminho aleatório foi respondida devolveram 200 para páginas que não existem.
Como verificar
De acordo com o estudo, heurísticas simples capturam a maior parte do problema. Combinadas e ajustadas em sites separados para teste, três delas recuperam 86% das respostas inutilizáveis revisadas, com taxa de alarmes falsos perto de 5%:
- tamanho do texto extraído;
- comparação com a resposta da sonda de caminho inexistente;
- redirecionamento para a raiz do site.
Detectores que analisam o conteúdo tiveram desempenho comparável. O melhor, um classificador de texto, ganhou entre cinco e sete pontos de revocação, mas com mais que o dobro da taxa de alarmes falsos. A recomendação dos autores é que agentes e suas avaliações registrem explicitamente o resultado de cada busca, em vez de inferi-lo apenas da linha de status.
O que ainda não está claro
O levantamento mediu páginas, não produtos, então o resumo não indica quais assistentes específicos seriam afetados. Os autores prometem liberar os dados rotulados e o código.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
