Uma forma de saber se um modelo de linguagem se aproxima do pensamento humano é submetê-lo às mesmas tarefas cognitivas usadas com pessoas. Foi essa a proposta do CogBattery, descrito em um estudo no arXiv. De acordo com o resumo, o benchmark avalia 54 modelos de linguagem de pesos abertos em versões textuais de 13 paradigmas cognitivos, comparando cada resultado com os dados humanos do estudo original.
O que os autores encontraram
- Semelhança parcial: como pessoas, os modelos respondem mais aos lures de n-back do que aos controles.
- Erros diferentes: apesar disso, eles cometem muito mais falsos alarmes em itens comuns que não são alvos.
- Confiança mal calibrada: a maioria dos modelos separa respostas certas das erradas pior do que os humanos fazem com suas próprias confianças.
- Escolhas repetidas: a maioria sempre escolhe a mesma aposta, inclusive modelos que classificam com precisão.
O que muda na avaliação
Segundo o texto, os padrões aparecem em muitas famílias de modelos. Os escores das tarefas se organizam em duas dimensões. A primeira está muito ligada ao tamanho do modelo, mas modelos maiores não ficam consistentemente mais próximos dos humanos. Já os agrupamentos cognitivos predefinidos não têm vantagem preditiva confiável sobre agrupamentos aleatórios do mesmo tamanho.
A conclusão central é que igualar a direção de um efeito humano não estabelece comportamento semelhante ao humano. Na prática, um modelo pode parecer parecido com pessoas em um resultado geral e ainda assim errar de maneira muito diferente.
O que ainda não sabemos
O resumo não detalha quais são os 13 paradigmas nem como foram feitas as adaptações para texto. Também não informa a data de publicação da versão final nem os nomes dos 54 modelos avaliados. O CogBattery é apresentado como uma referência para testar erros e relatos de confiança de modelos novos.
