Cientistas experientes sabem separar resultados estatisticamente confiáveis de dados fracos, e também avaliam quais achados são relevantes para uma hipótese. Um novo estudo pergunta se os modelos de linguagem, que segundo os autores estão cada vez mais presentes em sistemas de descoberta autônoma, conseguem fazer esse mesmo tipo de avaliação. Para responder, a equipe criou o EDB-Bio, um benchmark de raciocínio científico baseado em dados reais de três áreas da biologia.

Como funciona o teste

De acordo com o resumo, o benchmark reúne 96 mil episódios construídos a partir de estudos publicados em três domínios: perturbação de fármacos com transcriptômica, telas de CRISPR e estudos de associação genômica ampla (GWAS) em humanos. Em cada episódio, o modelo recebe uma sequência de resultados experimentais e deve estimar a probabilidade de uma hipótese-alvo ser verdadeira.

O que os primeiros resultados mostram

  • Modelos prontos para uso, tanto os de pesos abertos quanto os de fronteira, apresentam subconfiança sistemática.
  • Suas pontuações de Brier são comparáveis às de um previsor trivial que usa apenas a taxa-base.
  • Após um treinamento com regras de pontuação estritamente próprias, a calibração e a discriminação melhoram de forma significativa.
  • Em uma tarefa de seleção sequencial de experimentos, o modelo Ibis0 foi, segundo os autores, 2,5 vezes mais eficiente que o melhor modelo de fronteira testado.

Além da nota final

Os pesquisadores também usaram fatores de Bayes para medir o peso de cada evidência e observar como os modelos atualizam suas crenças ao longo da sequência. Segundo o resumo, essa análise permite comparar as decisões dos modelos com as de biólogos especialistas sobre relevância e revela inconsistências e vieses. O trabalho se aplica, de acordo com os autores, à biologia do câncer humano.

O resumo não informa quais modelos foram avaliados nem detalha os números completos do experimento; o artigo completo deve trazer essas informações. Os autores afirmam que liberaram código, dados e modelos treinados.