Resultados de pesquisas que usam modelos de linguagem grandes (LLMs) podem depender do modelo ou da versão escolhida. Segundo o resumo de um capítulo disponível no arXiv, as respostas desses sistemas são probabilísticas e variam entre modelos e versões; essa variação pode ter efeitos importantes nos resultados estatísticos produzidos a partir delas.
O capítulo trata do problema de reproduzir pesquisas com LLMs e distingue replicabilidade, reprodutibilidade e robustez. Em vez de exigir que os sistemas gerem respostas idênticas, propõe um padrão probabilístico que considera a distribuição dos resultados. Essa abordagem desloca a avaliação da coincidência entre respostas individuais para a análise de como os resultados se distribuem.
Métodos para examinar a variação
De acordo com o resumo, o trabalho apresenta um roteiro padronizado de prompts e testa a variação dentro de um mesmo modelo, incluindo codificadores e decodificadores. Também desenvolve uma análise da estrutura dos erros, destinada a identificar em que pontos os modelos falham e se os erros de diferentes modelos coincidem.
