Reduzir a perda (loss) de um modelo num idioma parece sinal de progresso, mas um estudo publicado no arXiv mostra que esse número pode enganar. Os autores adaptaram a família Qwen3 ao tadjique usando adaptadores LoRA pequenos, treinados com notícias e livros nessa língua. Segundo o resumo, a perda no texto caiu em todos os tamanhos testados, de 0,6B a 8B, numa faixa de 0,60 a 1,45 nats por token. Ainda assim, nenhum desses adaptadores melhorou a compreensão de leitura onde ela pôde ser medida.
A perda mede o quanto o modelo "se surpreende" com o texto que deve prever: quanto menor, melhor ele prevê aquele trecho. O problema, segundo os autores, é que prever palavras em tadjique não equivale a entender o que se lê nessa língua.
O que aconteceu nos testes de leitura
O benchmark usado foi o Belebele. Os resultados variaram bastante conforme o tamanho e o método:
| Modelo ou etapa | Variação no Belebele |
|---|
| Adaptadores de 1,7B e 8B | sem mudança |
| Adaptador de 4B | queda de 3,7 pontos |
| Adaptador de 0,6B | alta de 4,2 pontos, perto do acaso |
| 8B com pré-treino contínuo | alta de 9,9 pontos |
| Modelo principal e3 (com ajuste supervisionado) | 11,4 pontos acima do Qwen3-8B |
O caso de 0,6B merece cuidado: a alta coincidiu com uma mudança na letra de resposta que o modelo preferia, por isso os autores não a interpretam como compreensão.
Lower text loss did not mean better understanding.
Esse é o título em inglês do próprio artigo, que resume a conclusão principal.
O que o estudo diz sobre o caminho que funcionou
No modelo de 8B, o ganho em compreensão só apareceu depois de cerca de 375 milhões de tokens de texto tadjique bruto e de uma etapa posterior de ajuste supervisionado. Segundo a fonte, o modelo principal, chamado e3, ficou 11,4 pontos acima do Qwen3-8B no Belebele. Em MMLU, o teste em inglês, a variação foi de -1,2 ponto, e os autores afirmam que uma perda acima de 3,3 pontos está descartada.
Quando a mesma receita pesada foi aplicada ao Qwen3-0,6B-Base, a perda no texto chegou perto da do modelo de 8B, mas as respostas de múltipla escolha ficaram perto do acaso, e o MMLU em inglês caiu 7,6 pontos. Ou seja, o número de treino melhorou sem que a capacidade útil aparecesse.
Os autores também relatam falhas
- registros de treino perdidos;
- um conjunto de dados de modo de raciocínio com quase nenhum raciocínio;
- ramificações posteriores cujos dados de treino não foram documentados;
- uma versão de 4 bits sem nenhuma camada de transformador.
O estudo reúne 15 modelos treinados e seus 5 modelos de partida, com treinos feitos entre junho e outubro de 2025 e avaliação em 2026, em um mesmo ambiente de testes com intervalos pareados.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
