Modelos de linguagem baseados em difusão (dLLMs) geram tokens, as unidades de texto, em paralelo, por meio de um processo de "desruído" iterativo. Segundo o resumo do artigo, esse modo de geração esbarra em um gargalo: a atenção bidirecional impede o uso de cache KV, recurso que os modelos autorregressivos usam para evitar recálculos. Assim, o mapa de atenção completo é recalculado a cada passo, com custo que cresce de forma quadrática.
O que os autores identificaram
Métodos de atenção esparsa já existentes para dLLMs criam uma máscara esparsa depois de um aquecimento com atenção completa e a reutilizam nos passos seguintes. Além disso, distribuem o orçamento de esparsidade igualmente entre as cabeças de atenção. Para os autores, essas duas escolhas ignoram propriedades estruturais dessa atenção: os padrões são consistentes apenas localmente ao longo dos passos, mudam de forma abrupta em certas transições, e cabeças diferentes concentram a massa de atenção em graus muito distintos.
Como o Step-dLLM funciona
De acordo com o texto, a técnica atualiza periodicamente uma máscara esparsa em blocos, em passos âncora da trajetória de desruído, e a reutiliza dentro de cada intervalo localmente consistente. Também adota um orçamento global adaptativo por cabeça, que comprime com mais intensidade as cabeças de atenção concentrada. A implementação usa um kernel em Triton com uso eficiente de entrada e saída, segundo a fonte.
Um ponto relevante para quem acompanha o tema: a fonte afirma que o método se aplica a modelos já treinados, LLaDA-1.5 e Dream-7B-Instruct, sem necessidade de retreinamento.
Os números informados
- Aceleração ponta a ponta de 2,78 vezes sobre o FlashAttention denso, no LLaDA-1.5.
- Contexto de 8K tokens.
- 256 passos de desruído.
- 90% de esparsidade.
Os autores também afirmam melhora no equilíbrio entre precisão e latência em relação a métodos esparsos anteriores. O resumo não detalha os resultados de precisão nem os benchmarks usados, e o trabalho ainda aparece como versão preliminar (v1) no arXiv.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
