Modelos de linguagem que decidem, token a token, quanto cálculo gastar costumam parar assim que a previsão fica confiante. O preprint A Token Is Not a Unit of Difficulty, publicado no arXiv, pergunta o que acontece dentro de uma palavra quando essa política é aplicada. A premissa é simples: um token não é uma unidade fixa, porque os tokenizadores dividem palavras em quantidades diferentes de pedaços conforme a língua.
O que o estudo observou
Segundo os autores, no modelo Qwen3, ao longo de dois eixos adaptativos (os passos temporais de uma conversão para redes spiking e as camadas do Transformer original), a parada por confiança dá aos pedaços seguintes de uma palavra menos computação que ao primeiro pedaço em inglês, alemão e turco. Em bengali, acontece o oposto: os pedaços seguintes recebem mais computação.
Por que a segmentação importa
De acordo com a fonte, a diferença vem da segmentação. Ao re-segmentar as mesmas passagens paralelas com BPE-dropout, a diferença muda em até oito saídas nos dois eixos. Modelos pequenos treinados com dois tokenizadores diferentes alteram a diferença do bengali em seis saídas. Já BLOOM e mGPT, que dividem o bengali em partes menos finas, apresentam para essa língua o mesmo padrão do inglês.
Um ponto contraintuitivo: o número de caracteres por token não explica a diferença entre idiomas. Segundo os autores, a surprisal dentro da palavra (quão inesperado é cada pedaço, dado o início dela) explica 75% da variância do efeito.
Um cabeçalho aprendido ajuda pouco
Um cabeçalho de parada aprendido supera a parada por confiança em 7 a 8 pontos. Porém, segundo a fonte, ganha menos de um ponto em relação à melhor combinação de saídas fixas com custo igual, e às vezes perde.
O que ainda não sabemos
Os resultados vêm de análise offline. A fonte deixa claro que não são acelerações medidas, então o estudo não diz quanto tempo ou energia seriam de fato economizados.
