Quando não há avaliações humanas, muita gente usa outra IA como juiz: um modelo lê duas respostas e decide qual é melhor. Para confirmar uma conclusão, a prática comum é repetir a comparação com um juiz de outro fornecedor. Segundo o preprint publicado no arXiv, esse teste de confirmação não é tão confiável quanto parece, e o ranking dos sistemas pode mudar só porque o juiz mudou.
O que o estudo fez
Os autores pré-registraram o estudo, ou seja, definiram as hipóteses antes de rodar os testes. Eles declaram uma redução do conjunto de juízes feita depois do registro. Cinco modelos juízes, de três fornecedores, reavaliaram 4.000 batalhas do Chatbot Arena, que já tinham votos humanos. Participaram nove sistemas, formando 33 pares. Cada batalha foi avaliada nas duas ordens de apresentação das respostas.
Os principais resultados
- A concordância com o voto humano foi baixa: a mediana do kappa de Cohen, no nível do veredito, foi de 0,22.
- O ranking dos sistemas não se manteve ao trocar de juiz. A correlação de Kendall com o ranking humano variou de 0,17 a 0,89, com mediana de 0,67. Por isso, a hipótese pré-registrada de estabilidade do ranking não foi confirmada.
- Conclusões confirmadas por dois juízes baratos de fornecedores diferentes coincidiram mais com a conclusão humana do que conclusões de um juiz só, com ganho de 0,10 em precisão. Mas esse ganho veio de descartar um único juiz mal alinhado. Quando esse juiz entrava na confirmação, sobrava conclusão para apenas 35% das comparações.
- Os juízes que concordaram com os humanos chegaram a uma conclusão estável sem precisar de mais vereditos do que os próprios votos humanos. Os demais não convergiram em 26% a 70% dos pares de sistemas, com até 100 vereditos por par.
- Os desacordos com o voto humano apareceram juntos em vários juízes com frequência muito maior do que a independência estatística preveria.
O que ainda não dá para afirmar
Segundo os autores, há apenas um voto humano por batalha, e isso não permite separar um viés compartilhado entre os juízes do ruído dos próprios votantes. Por isso, o estudo mostra que a confirmação entre juízes pode falhar, mas não identifica a causa exata do desacordo.
Por que isso importa
Para quem compara sistemas de IA com juízes automáticos, a lição é que concordância entre dois modelos do mesmo tipo não garante que a conclusão esteja certa. Antes de confiar em um ranking, vale verificar se o juiz concorda com alguma referência humana, como o próprio estudo fez.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
