Pequenos modelos para perguntas médicas: quando ensinar o raciocínio ajuda e quando não ajuda

Modelos de linguagem pequenos podem rodar localmente, sem enviar dados a servidores externos, o que ajuda na privacidade e reduz a latência. De acordo com o resumo do estudo, o desafio é ajustá-los bem. Os pesquisadores compararam dois métodos de fine-tuning com cadeia de raciocínio (CoT, na sigla em inglês), isto é, treinamentos que ensinam o modelo a mostrar os passos antes da resposta.

As duas estratégias

• UaS (Uniform-across-Sequence): aplica o mesmo peso à perda em toda a sequência, ou seja, ao raciocínio e à resposta juntos.
• SwS (Segment-weighted): pesa separadamente a perda do raciocínio e a da resposta.

O que os testes mostraram

Foram avaliados seis modelos, de uso geral e de domínio médico, em perguntas de múltipla escolha (MedQA e EMS-MCQA) e em perguntas de resposta livre (Med-O1). Nas questões de múltipla escolha, o SwS foi geralmente melhor, e os modelos de uso geral foram os que mais se beneficiaram. O Qwen3.5-4B chegou a melhorar até 44,8% sobre sua linha de base sem treinamento específico no MedQA. Já os modelos de domínio médico tiveram ganhos menores, ou até negativos, nessas questões.

Nas perguntas de resposta livre, o UaS foi o melhor para quase todos os modelos e trouxe melhorias consistentes nos dois tipos de modelo. Segundo o resumo, o Llama-3.2 de 3 bilhões de parâmetros se aproximou do desempenho de modelos médicos de 7 bilhões, bem maiores.

Raciocínio longo nem sempre é melhor

Os autores também observaram que gerar cadeias de raciocínio muito longas esteve associado a pior desempenho em alguns modelos, nos dois tipos de tarefa. Segundo eles, limitar o tamanho do raciocínio durante o treinamento pode beneficiar alguns modelos específicos.

O que isso muda na prática

A conclusão do estudo é que o peso da perda no raciocínio deve ser ajustado ao formato da tarefa e ao conhecimento que o modelo base já traz, em vez de se usar uma única estratégia para todas as tarefas clínicas. Como o texto analisado é o resumo, detalhes como o tamanho dos conjuntos de dados e a lista exata dos seis modelos não aparecem aqui e precisam ser conferidos no artigo completo.