Antes de um modelo de linguagem processar qualquer texto, uma etapa costuma passar despercebida: a tokenização, que decide em que pedaços o texto será dividido. Segundo o resumo do artigo Tokenizer Myths and Where To Find Them, publicado no arXiv, essa escolha já determina como os dados aparecem para o modelo. Os autores identificam e contestam três mitos da literatura sobre o tema.
Mito 1: o BPB é neutro em relação ao tokenizador?
O BPB (bits por byte) é descrito pelos autores como tokens por byte multiplicado por bits por token. Como esses dois fatores não se cancelam, a métrica acaba favorecendo alguns tokenizadores. Com modelos sem treinamento, os autores mostram que “o modelo não aprendeu nada, mas o par tokenizador-modelo sim”.
Mito 2: BPB menor significa modelo melhor?
Em modelos sem treinamento, o BPB favorece fortemente alguns tamanhos de vocabulário, mesmo com a acurácia no nível do acaso. Já em modelos reais treinados com os mesmos dados, a correlação do BPB com o desempenho em tarefas posteriores é fraca, de acordo com o resumo.
Mito 3: métricas “agnósticas” ao tokenizador dão resultados consistentes?
Segundo os autores, a “unigram-normalized loss” também não é agnóstica ao tokenizador. A correlação de 0.989 com o BPB, reportada originalmente, vem de um fator de confusão e cai para 0.057 depois de corrigido. Com os mesmos dados, as duas métricas selecionam vocabulários diferentes em cada tamanho de modelo.
O trilema do tokenizador
Os autores propõem um “trilema”: nenhuma métrica consegue, ao mesmo tempo, dar a melhor nota apenas à distribuição verdadeira, atribuir a mesma nota a previsões idênticas e empatar todos os modelos sem treinamento. Na prática, escolher uma métrica equivale a escolher uma pergunta de pesquisa.
O que muda para quem lê
- Ao comparar resultados de modelos, convém verificar qual métrica e qual tokenizador foram usados, já que, segundo o artigo, ambos influenciam a avaliação.
- Um BPB baixo não garante, sozinho, um modelo melhor.
- Os autores terminam com uma cautela para a leitura da literatura e uma conjectura para trabalhos futuros, mas o resumo não detalha nenhuma delas.
A fonte disponível é apenas o resumo do artigo: os experimentos completos, os modelos utilizados e a conjectura final não aparecem aqui.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
