LLMs como juízes de contra-discurso: concordância com especialistas humanos ainda é baixa

Discurso de ódio nas redes sociais pode causar sofrimento psicológico duradouro em quem é exposto a ele. Segundo o resumo do estudo, o contra-discurso surgiu como uma estratégia eficaz e não censória para reduzir esse efeito, mas sua aplicação exige uma avaliação rigorosa da qualidade das respostas. O problema é que a avaliação manual não escala, dado o volume de conteúdo na web, e impõe forte desgaste emocional aos anotadores humanos.

Os Large Language Models (LLMs) aparecem como alternativa escalável, mas sua confiabilidade ainda é questionada. Para testar isso, os autores avaliaram 12 LLMs de pesos abertos, de diferentes tamanhos e famílias, sob três formas de instrução: sem exemplos (zero-shot), com alguns exemplos (few-shot) e com raciocínio em cadeia (chain-of-thought). O objetivo era aproximar a avaliação de especialistas humanos em quatro dimensões: relevância, coerência, agressividade e adequação.

Principais resultados

• Concordância baixa: a melhor configuração, Qwen 2.5 72B na dimensão coerência, chegou a um kappa linear ponderado de 0.19 e a um Spearman de 0.42 na avaliação pontual.
• Avaliação em pares: no formato de comparação direta entre duas respostas, o melhor resultado foi um kappa sem ponderação de 0.25.
• Conversão ajuda: transformar notas pontuais em rótulos de comparação melhorou a concordância em algumas configurações. O Qwen 2.5 72B passou de 0.25 para 0.35, e o Mixtral 8×7B, com poucos exemplos, saiu de 0.07 para 0.34.
• Modelos concordam mais entre si: o par mais alinhado foi OLMo 2 32B e Llama 3.3 70B, na coerência em pares, com kappa de 0.76. Com os especialistas, na mesma configuração, a concordância não passou de 0.21.

O que isso significa

Para o leitor, o recado central é cautela. Um modelo pode parecer consistente consigo mesmo e, ainda assim, discordar do julgamento humano. Segundo os autores, os LLMs não estão, por ora, aptos a substituir a avaliação de especialistas, embora a conversão de notas em comparações tenha mostrado algum ganho.

O resumo não informa o tamanho nem a origem do conjunto de respostas avaliadas, e os valores de concordância são apresentados sem uma escala de referência além da citada pelos próprios autores.