Modelos de linguagem enfrentam duas preocupações opostas. A primeira é a monocultura, em que modelos erram de forma correlacionada. A segunda é a multiplicidade, em que modelos igualmente precisos tomam decisões conflitantes. Um estudo publicado no arXiv, intitulado Does Reasoning Make Language Models Agree?, investiga como os modelos de raciocínio entram nesse debate. Segundo os autores, a resposta depende de como o raciocínio é observado: quando é induzido de forma controlada, ele aumenta a concordância; quando apenas se observa que o modelo raciocinou por mais tempo, a tendência se inverte.

Duas perguntas diferentes

A pesquisa separa dois conceitos que, na prática, costumam se misturar. O primeiro é o raciocínio como intervenção, ou seja, pedir ao modelo que raciocine mais e comparar o resultado com o de uma resposta sem esse esforço. O segundo é o raciocínio como comportamento observado, isto é, comparar casos em que os modelos produziram traços de raciocínio de tamanhos diferentes. Segundo o texto, as duas medições são comparadas com a concordância esperada apenas pela precisão de cada modelo.

O que os autores encontraram

De acordo com o resumo, o experimento envolveu nove modelos de dois desenvolvedores e três tarefas de classificação. Os principais resultados foram:

  • Raciocínio como intervenção: ativar o raciocínio aumenta a concordância entre modelos avaliados sobre as mesmas pessoas.
  • Raciocínio como comportamento: os indivíduos que provocam traços de raciocínio mais longos recebem previsões menos consistentes entre os modelos.
  • Robustez: ambos os padrões persistem depois de considerar as diferenças de precisão entre os modelos.

Em outras palavras, o estudo sugere que pedir raciocínio tende a promover convergência, enquanto a extensão espontânea do raciocínio tende a sinalizar divergência.

Por que isso importa

Para quem usa sistemas de IA em decisões que afetam pessoas, o trabalho levanta um alerta: mais raciocínio não significa, por si só, respostas mais estáveis. Se vários modelos concordam, isso pode indicar tanto acerto quanto erros compartilhados, que é exatamente o risco de monocultura que os autores mencionam. O resumo não detalha as tarefas usadas nem a magnitude dos efeitos, então não é possível dizer, a partir dele, o tamanho prático dessas diferenças.