Modelos de linguagem já respondem questões de exames médicos no nível de especialistas humanos. Um estudo publicado no arXiv questiona, porém, o que essas notas realmente medem. Segundo os autores, ainda não está claro se os resultados refletem competência clínica ou se são afetados pelo formato das perguntas, pela exposição prévia aos bancos de questões e pela dificuldade delas.
Como o estudo foi feito
Os pesquisadores avaliaram quatorze modelos de seis grandes provedores: um menor e um maior de cada provedor, além de dois modelos de pesos abertos. Foram 3.076 questões de quatro bases: MedQA-USMLE, MedMCQA, PubMedQA e MedBullets. Cada questão foi testada de três formas: em múltipla escolha padrão, sem as alternativas e com a reconstrução de uma pergunta oculta a partir apenas das opções.
O que os resultados mostram
- Na múltipla escolha padrão, os modelos mais fortes superaram a linha de especialistas humanos no MedQA-USMLE e no PubMedQA.
- Os modelos menores ficaram 8,7 pontos percentuais atrás dos maiores, e apenas dois dos seis passaram da barreira humana no exame de licenciamento.
- Sem as alternativas, a acurácia média caiu de 82,3% para 50,9%. As duas maiores quedas couberam a modelos especializados em medicina.
- Os modelos mais fortes reconstruíram uma em cada quatro questões só a partir das alternativas. Nas questões que não conseguiram reconstruir, a acurácia se manteve.
Por que isso importa
A segunda parte do achado sugere que parte do bom desempenho pode vir de contato prévio com as questões, já que os bancos são públicos e amplamente usados online. Para o leitor, isso significa que uma nota alta em benchmark médico não equivale automaticamente a competência clínica. Modelos menores interessam porque podem rodar localmente em hospitais sob regras da HIPAA, mas, segundo o resumo, apenas dois dos seis passaram da média humana.
O resumo não informa os modelos específicos avaliados, o custo de inferência de cada um nem o resultado do teste de combinação de modelos (ensembling), que os autores também investigaram.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
