Línguas impossíveis são, segundo o resumo do estudo, sistemas que violam restrições estruturais, cognitivas ou lógicas que tornam as línguas humanas aprendíveis e funcionais. A dúvida é se modelos de linguagem (LMs) conseguem dominá-las, e a discussão é alimentada por uma divisão entre teóricos da linguística e pesquisadores empíricos que trabalham com modelos pequenos. Para tratar do tema, os autores propõem a "coerência semântica", medida de quão bem a informação semântica se expressa nas estruturas da língua.

O que os experimentos mostraram

  • Modelos com bilhões de parâmetros, ajustados com amostras de línguas impossíveis, tiveram desempenho semelhante ao obtido em línguas possíveis.
  • Modelos com milhões de parâmetros tiveram degradação significativa ao treinar em línguas impossíveis.
  • Essa diferença aumenta conforme cresce a complexidade semântica.

Do gramatical ao semântico

De acordo com os autores, aumentar o tamanho do modelo desloca o aprendizado de regras gramaticais para a compreensão semântica. Na escala de bilhões de parâmetros, a sensibilidade a perturbações linguísticas de baixo nível caiu para um terço, segundo o texto ("threefold reduction"), enquanto o desempenho se manteve estável diante de perturbações semânticas de alto nível.

O que ainda não está claro

O resumo não detalha quais estruturas foram usadas como línguas impossíveis, quais modelos foram testados nem como a coerência semântica foi medida na prática. Também não há comparação direta com o processamento humano. Trata-se de uma versão v1 publicada no arXiv, ainda sem indicação de revisão por pares.

Para o leitor, o achado central é que a escala não apenas melhora o desempenho, mas muda o tipo de regularidade que o modelo aprende. Os detalhes metodológicos, porém, só poderão ser avaliados no texto completo.