Quem usa chatbots com frequência já notou um certo padrão: respostas educadas, bem organizadas e com cara de texto genérico, venham de qual modelo for. Um novo estudo, publicado no arXiv, tenta medir com precisão quanto desse parecido é real. Segundo os autores, a forma mais comum de medir essa homogeneidade é a similaridade de embeddings, que transforma dois textos em um único número. Para eles, esse número é simplificado demais.
Por isso, a equipe usou 25 métricas interpretáveis, divididas em cinco dimensões: semântica, lexical, sintática, estrutural e estilística e de apresentação. A ideia é separar o que o texto diz do como ele diz.
O que o estudo encontrou
Em um estudo com pessoas, a percepção de semelhança dependeu tanto do conteúdo quanto da forma. A similaridade de embeddings correlacionou menos com os julgamentos de significado do que a correspondência em nível de frase, e não teve correlação significativa com os julgamentos de forma.
Entre os 18 LLMs analisados, o padrão geral foi este: os modelos compartilham semântica global e perfis linguísticos amplos, mas se diferenciam em características lexicais, padrões estruturais e convenções de interação. Em resumo, eles dizem coisas parecidas de jeitos diferentes.
Como os modelos mudaram entre 2024 e 2026
Nas versões lançadas nesse período, os modelos ficaram mais parecidos consigo mesmos, mas não mais parecidos entre si. Entre as métricas que mudaram de forma significativa, as distâncias internas de cada modelo diminuíram em 17 de 22, enquanto as distâncias entre modelos diferentes aumentaram em 14 de 21.
O estudo também comparou dois pipelines de pós-treinamento. Segundo os autores, convenções específicas de cada modelo surgem durante o ajuste supervisionado (SFT) e são remodeladas de forma seletiva pela otimização de preferências.
O que ainda não sabemos
O resumo não identifica quais modelos foram avaliados, nem detalha as 25 métricas ou o tamanho da amostra do estudo com pessoas. Para isso, seria preciso consultar o artigo completo.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
