Quem paga pelo conhecimento que os modelos copiam? O colapso de modelos e o paradoxo de Rogers

Modelos de IA treinados com textos gerados por outros modelos tendem a perder conhecimento a cada geração, e o que some primeiro é o conhecimento raro. É isso que um novo estudo publicado no arXiv chama de colapso de modelos. Segundo os autores, as soluções que funcionam dependem de trazer informação de fora desse ciclo, mas a teoria existente trata essa fonte externa como algo dado, fixo e de distribuição constante. A proposta do trabalho é justamente questionar essa fonte.

O paradoxo de Rogers, em linguagem simples

Os autores leem o colapso como um “paradoxo de Rogers”. Pelo que descrevem, uma população que passa a depender de copiar acaba não ficando melhor do que uma que nunca copiou, porque as cópias envelhecem se ninguém continuar aprendendo por conta própria. A ideia é que copiar sem aprender de novo cobra um preço invisível: o conhecimento copiado perde atualidade.

O que os autores testaram

• Primeiro passo: o modelo de Rogers, ajustado apenas a treinamento totalmente sintético, previu, com diferença de poucos pontos percentuais, quanto conhecimento raro modelos de linguagem mantinham sob outras misturas de dados novos. Os modelos iam de trigramas de palavras a um transformer pré-treinado.
• Segundo passo: quando o próprio mundo muda, uma linhagem que copia o próprio passado precisa de mais dados frescos quanto mais rápida for a mudança. Já uma linhagem que recomeça a cada geração a partir de pesos pré-treinados fixos fica amplamente protegida, porque esses pesos são conhecimento que não é copiado.
• Terceiro passo: quando as pessoas que escrevem os dados de treino podem perguntar ao modelo em vez de pesquisar por conta própria, a oferta de dados novos passa a depender do próprio modelo. Nesse equilíbrio, o modelo é tão confiável quanto custa, para as pessoas, descobrir as coisas sozinhas.

O que muda para o leitor

Segundo o resumo, usuários que checam o que lhes dizem e reaprendem quando a informação está errada quebram o paradoxo. Já filtros que selecionam textos plausíveis são conformistas e aceleram o colapso; só verificações que trazem informação nova funcionam como aprendizado crítico. Na prática, a conclusão é que cada aumento da parcela de texto escrito por modelos precisa ser compensado por mais gente aprendendo por si mesma.