Uma forma de tornar um modelo de linguagem mais “profundo” sem aumentar muito o número de parâmetros é fazer as mesmas camadas trabalharem várias vezes em sequência. É essa a ideia dos transformers em loop. Segundo o resumo do artigo publicado no arXiv, eles aumentam a profundidade efetiva ao aplicar repetidamente um conjunto compartilhado de camadas, o que oferece uma maneira eficiente em parâmetros de escalar o cálculo. Os autores apresentam o ARLoop, uma arquitetura desse tipo baseada em attention residuals.
Como funciona o loop
Em um transformer comum, cada camada recebe a saída da anterior. Nos modelos em loop, o mesmo bloco de camadas é reaplicado. O problema apontado pelos autores é que as conexões residuais padrão juntam toda a informação dessas repetições em um único fluxo, o que dá pouco controle sobre quais representações intermediárias devem ser reaproveitadas.
O que o ARLoop muda
No ARLoop, a entrada de cada camada é agregada seletivamente por atenção sobre a profundidade do modelo. Segundo o artigo, os pesquisadores observaram que transformers em loop não precisam acessar todo o histórico residual: uma atenção de profundidade em janela deslizante empata ou supera a atenção sobre todo o histórico quando a profundidade recorrente é maior.
Resultados informados
Os experimentos controlados usaram modelos de 140M e 370M de parâmetros, com profundidades recorrentes de R = 1 a 5. De acordo com o resumo, o ARLoop superou consistentemente os desenhos residuais anteriores para transformers em loop. Depois, os autores escalaram a arquitetura para 0,6B e 1,2B de parâmetros, em uma receita de pré-treino de LLM considerada realista, com ganhos particularmente fortes em matemática e programação.
O modelo de 1,2B foi pré-treinado com 0,5T de tokens e três recorrências. Segundo os autores, ele supera o Huginn-3.5B, descrito por eles como o único LLM em loop totalmente aberto até a data do lançamento, em todas as tarefas avaliadas. Também se mostra competitivo com modelos sem loop de tamanho semelhante, como o Qwen3.5-2B, apesar de ter sido treinado com bem menos dados.
O que ainda não está claro
O resumo não detalha quais tarefas foram avaliadas nem os valores exatos dos resultados; para isso será preciso consultar o texto completo do artigo.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
