Como saber se uma IA está inventando respostas? Para treinar e testar os detectores de alucinação, que buscam identificar quando um modelo de linguagem produz informação falsa ou não verificável, é preciso ter rótulos confiáveis que indiquem o que está certo e o que está errado. O estudo «When Ground Truth Is Not Ground Truth» parte de um problema prático: a referência usada para criar esses rótulos também pode ser imperfeita.
O problema dos rótulos automáticos
Segundo o resumo do artigo, pesquisas recentes costumam criar rótulos automaticamente comparando as respostas do modelo com respostas de referência, usando métricas de similaridade como o BLEURT. Na prática, isso trata a similaridade como se fosse um indicador de alucinação. Os autores apontam três limitações dessa métrica: a supervisão é centrada no inglês, a faixa de pontuação não tem limite e ela foi projetada para medir similaridade, não factualidade. Por isso, criar rótulos com base em um limiar pode ser pouco confiável.
O que o estudo fez
Os experimentos combinaram 15 juízes automáticos de supervisão, sete detectores de referência, dois modelos geradores, dois conjuntos de dados de perguntas e respostas e cinco idiomas. De acordo com o resumo, o desempenho dos detectores variou bastante conforme o juiz escolhido para gerar os rótulos.
Validação humana
Na validação humana, o QGen-9B apresentou a menor taxa geral de classificação errada, de 12,86%. BLEURT e BLEURT-n ficaram em 47,23% e 47,32%, respectivamente. Os números estão na tabela ao lado.
Por que isso importa
A conclusão dos autores é que a avaliação de alucinações depende diretamente da forma como os rótulos são construídos. Eles defendem métodos de julgamento mais confiáveis, capazes de captar melhor a correção semântica e factual. Para o leitor, a mensagem é que um número de desempenho de um detector só faz sentido se o rótulo usado como referência também for confiável.
O resumo não informa quais conjuntos de dados, idiomas ou detectores foram usados em cada comparação, nem os detalhes do protocolo de validação humana.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
