Gerar texto com modelos de linguagem é um processo sequencial, em que cada token depende do anterior. A decodificação especulativa tenta acelerar isso: um rascunho propõe vários tokens e o modelo principal os verifica em paralelo. Segundo o artigo, modelos de fronteira passaram a trazer uma cabeça de rascunho embutida, chamada Multi-Token-Prediction (MTP), que se supunha barata de rodar ao lado da verificação. O preprint, publicado no arXiv, mostra que essa suposição deixa de valer em contextos muito longos.

Por que o rascunho fica caro

Quando a cabeça MTP usa atenção sobre todo o cache KV, ela lê o contexto inteiro em cada um dos γ passos de rascunho por etapa de decodificação. Como apenas 9% a 25% das camadas do modelo alvo mantêm atenção completa, uma única camada de rascunho pode gerar leituras de contexto em ritmo comparável ao do modelo inteiro. Em cargas difíceis, com baixa taxa de aceitação, o MTP nativo chega a ser mais lento do que não usar especulação.

A proposta: janela só no rascunho

O Windowed-MTP aplica ao rascunho uma janela no estilo StreamingLLM, com um sink de atenção. A verificação continua usando o contexto completo, e por isso, de acordo com os autores, a distribuição do modelo alvo é preservada. A intervenção dispensa treinamento e é descrita como drop-in, ou seja, pode ser encaixada no lugar do MTP nativo.

Números reportados

  • Testes com três modelos de duas famílias híbridas (Gated DeltaNet e Mamba2), com contexto de 1 milhão de tokens em uma GPU, no SGLang.
  • Ganho de 1,28x a 1,44x por etapa de decodificação sobre o MTP nativo, independentemente da taxa de aceitação.
  • Com aceitação equivalente, o tempo por token de saída (TPOT) melhora pelo mesmo fator. Segundo o artigo, o ganho cresce com o contexto.
  • Memória: a janela reduz o conjunto de trabalho do rascunho e um anel compacto recupera de 7,7% a 11,1% do KV total em 1M. Isso abre espaço para mais uma requisição concorrente de 1M no teste em lote com o Qwen-35B.

O resumo não informa os nomes dos três modelos nem as taxas de aceitação de cada carga, e os resultados ainda aguardam a validação de outros pesquisadores.