Por que modelos de linguagem falham com entradas longas? A explicação mais comum aponta o tamanho do texto. Um preprint publicado no arXiv propõe outra leitura: segundo os autores, em recuperação de informação, o comprimento é barato, mas a concorrência não é. O fenômeno que eles chamam de context rot (apodrecimento de contexto) seria, nesse caso, uma disputa por atenção dentro do modelo.
O que os experimentos mostram
Os pesquisadores testaram cinco modelos abertos, de 0,5 bilhão a 3 bilhões de parâmetros, de quatro famílias. Quando o texto extra era apenas enchimento neutro, a acurácia se manteve entre 0,97 e 1,00, com até 32 mil tokens no Qwen2.5-1.5B. Já quando o enchimento era substituído por afirmações no formato da evidência, colocadas nas mesmas posições, a acurácia caiu para 0,16 a 0,33.
A concorrência também pesa. Segundo o estudo, uma única afirmação que atribui ao mesmo termo consultado um valor rival multiplica a perda por um fator de 9 a 110, e cada rival adicional soma ao prejuízo.
Onde a atenção entra
De acordo com o artigo, uma grandeza interna acompanha bem a falha: a massa de atenção que sobra sobre a evidência. Em 126.473 testes, ela explicou até 58% da variação na perda, enquanto o logaritmo do comprimento explicou no máximo 8%. Na leitura dos autores, a questão central é quanta atenção a evidência consegue captar frente às distrações.
Um alerta metodológico
O artigo também questiona um protocolo usado para sustentar a tese de que o tamanho sozinho prejudica. Esse protocolo mascara o enchimento, e o estudo mostra que, no MMLU, a perda de 11 a 18 pontos em 30 mil tokens se reproduz. Na recuperação, porém, o mascaramento custa 45 pontos de acurácia em 32 mil tokens, enquanto o mesmo enchimento deixado visível não custa nada. Para os autores, isso indica que o mascaramento cria um efeito que não é o do comprimento.
O que ainda não sabemos
A fonte testa modelos de até 3 bilhões de parâmetros. Ela não informa se o mesmo padrão aparece em modelos maiores. Os autores disponibilizam a sonda (probe) e todas as medições por teste, o que permite verificação independente.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
