Modelos de linguagem são usados para avaliar candidatos a funções profissionais, segundo o resumo de um estudo disponibilizado no arXiv. A pesquisa examinou se as decisões de modelos mudam conforme o gênero atribuído à pessoa avaliada e ao avaliador. Como o experimento consistiu em uma votação hipotética para uma câmara municipal, os resultados dizem respeito a escolhas simuladas, não a processos de contratação reais.
Como foi conduzido o experimento
De acordo com o estudo, oito modelos avaliaram 240 narrativas profissionais sintéticas dos conjuntos Nemotron-Personas da NVIDIA, referentes aos Estados Unidos e à França. As atribuições de gênero de candidatos e avaliadores foram variadas de forma independente. No total, os modelos produziram 30.720 julgamentos.
O que os resultados indicam
Segundo os resultados apresentados no resumo, explicitar o gênero do candidato elevou a probabilidade de um voto “sim” entre 1,05 e 1,73 ponto percentual em comparação com situações em que o gênero não era especificado. Para a identidade de gênero do avaliador, apenas a atribuição não binária esteve associada a um aumento significativo: 1,26 ponto percentual.
O estudo também não encontrou associação significativa geral entre a correspondência de identidade de gênero do candidato e do avaliador e o voto. As taxas de respostas “sim” variaram de 81,3% a 97,2% entre os modelos. Em comparação com a condição sem identidade especificada, de 2,5% a 3,3% das decisões foram revertidas.
Diferenças entre os modelos
Nas substituições diretas entre identidades de gênero explícitas, os modelos de decisão (DLMs) tiveram menos reversões do que os modelos LLM-as-a-Judge (LaJ): 1,18% contra 3,38%, conforme o resumo. O resultado aponta diferenças de sensibilidade observada entre os tipos de modelo testados, sem demonstrar como eles se comportariam em seleções profissionais reais.
Em conjunto, os achados indicam que as decisões variaram conforme as atribuições de gênero e o modelo usado. O estudo destaca a importância de observar tanto diferenças gerais entre grupos quanto a consistência de decisões individuais.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
