Modelos de linguagem (LLMs) estão cada vez mais sendo usados para responder perguntas médicas, e muitos deles já são implantados localmente. Segundo o resumo do estudo, depois que um modelo é implantado, seu comportamento é regido principalmente pela política ética escrita em sua constituição. O artigo, publicado no arXiv, apresenta o MedConstBench, um benchmark que trata essa constituição como uma variável controlada, e não como uma propriedade fixa do modelo.
O que os autores apontam como lacuna
De acordo com o texto, a maior parte dos trabalhos existentes avalia a correção factual das respostas, e não o equilíbrio entre valores éticos concorrentes. Mesmo os benchmarks que avaliam ética costumam tratá-la como algo fixo. O MedConstBench organiza a avaliação em torno dos quatro princípios de Beauchamp e inclui o MedDilemma, um conjunto de dilemas clínicos criado pelos próprios autores. A pontuação é feita por revisão entre múltiplos modelos, calibrada por humanos.
Principais achados
- Foram avaliados dez LLMs de código aberto sob quatro constituições diferentes.
- O efeito de uma constituição depende da dimensão ética considerada e do modelo.
- Nenhuma constituição é universalmente ótima.
Proposta de seletor
Com base nesses resultados, os autores propõem um seletor adaptativo "do-no-harm", que escolhe uma constituição para cada modelo. Segundo o resumo, ele iguala o melhor resultado possível por modelo, garante um piso mínimo no pior caso e generaliza para modelos não vistos a baixo custo.
