Um artigo publicado no arXiv apresenta o BYOD, sigla de “Build Your Own DLM”, uma receita para converter modelos de linguagem autorregressivos em modelos de difusão. Segundo os autores, modelos de difusão permitem atualizar tokens em paralelo, gerar texto de forma flexível e usar atenção bidirecional. O resumo do estudo também observa que sistemas de difusão de ponta dependem de pré-treinamento custoso ou do ajuste completo do modelo.
Como funciona a conversão
De acordo com o artigo, o BYOD usa somente adaptadores LoRA e mantém congelados todos os parâmetros do modelo-base. Os adaptadores correspondem a 4,1% a 5,8% dos parâmetros finais, segundo os pesquisadores. A receita é apresentada como generalizável e, conforme o resumo, não exige ajustes específicos para a arquitetura de cada modelo.
Os autores relatam conversões para Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B e Ministral 8B. Eles afirmam que, até onde sabem, o trabalho é o primeiro a relatar a conversão de um modelo Mistral de autorregressivo para difusão.
Tempo e recursos informados
Para cada conversão, o processo descrito no artigo envolve 25 mil iterações e usa no máximo 102,4 milhões de tokens. Os pesquisadores dizem que cada execução levou de 3,1 a 4 horas em uma única GPU do Google Colab. O resumo não informa custo em dinheiro nem consumo de energia, portanto esses dados não permitem calcular o custo financeiro total.
Resultados e limite apontado
Segundo o estudo, os quatro modelos conseguem gerar texto a partir de sequências totalmente mascaradas. Os autores também relatam uso de contexto bidirecional em um teste controlado de atenção e retenção substancial do conhecimento dos modelos originais.
Na avaliação de nove tarefas descrita no resumo, BYOD-Gemma obteve 50,6% de acurácia média; LLaDA 8B Instruct alcançou 51,9% no mesmo protocolo. O artigo não especifica, no resumo, quais eram as nove tarefas.
Os pesquisadores identificam como principal limitação a geração aberta com poucos passos de avaliação da rede (NFE). No teste de geração de 128 tokens em 64 passos, o BYOD apresentou perplexidade entre 8,3 e 11,1, ante 4,1 para LLaDA e de 2,2 a 3,0 para os modelos autorregressivos originais. Assim, embora o método mostre uma forma de adaptar modelos existentes sem treinar novamente seus parâmetros-base, os números reportados deixam uma diferença de qualidade nesse cenário específico. O artigo informa ainda que disponibiliza uma implementação de treinamento e avaliação e demonstrações interativas das quatro conversões.
