Um estudo sobre interpretação linguística comparou o desempenho de pessoas e modelos de linguagem de grande porte (LLMs) ao identificar a que número se referia o pronome inglês they em diferentes contextos. Segundo o artigo publicado no arXiv, a tarefa envolveu 174 usos autênticos do pronome retirados do Reddit, incluindo ocorrências descritas pelos autores como inovadoras e sensíveis ao contexto.
Participaram 73 anotadores humanos: estudantes locais e trabalhadores de crowdsourcing, alguns com formação em linguística e outros sem essa formação. O estudo também avaliou mais de 40 configurações de LLMs. Os resultados comparam a precisão dos modelos com a dos participantes humanos, em uma tarefa de anotação que exige decidir se they se refere a uma pessoa ou a mais de uma.
Resultados da comparação
De acordo com o artigo, Kimi K3 foi o LLM com maior acurácia, de 94,5%. Esse resultado ficou acima do voto da maioria dos anotadores humanos, que alcançou 86,2%, e da média da metade superior dos participantes humanos, de 78,5%. O melhor anotador individual, porém, teve acurácia de 95,7%, acima do modelo. A tabela resume os índices apresentados no estudo.
O papel da revisão humana
Os autores relatam vantagens práticas dos LLMs em custo e velocidade para a anotação. Ao mesmo tempo, a análise qualitativa dos erros mostrou que o raciocínio humano em casos de baixa concordância ajudou a identificar inconsistências na tipologia usada para classificar as ocorrências. Segundo o artigo, essa contribuição pode aprimorar o próprio método de anotação.
Com base nesses resultados, o estudo considera os LLMs viáveis como apoio a anotações linguísticas em larga escala, mas defende que seu uso responsável inclua supervisão crítica humana. Assim, a comparação não se limita a medir qual grupo acerta mais: também aponta que a revisão de casos ambíguos pode melhorar os critérios aplicados à tarefa.
Materiais disponíveis
O artigo informa que o conjunto de dados com rótulos de referência, as anotações humanas e dos modelos e o código completo estão disponíveis em um repositório público baseado em Quarto.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
