Alfabeto em comum, e não parentesco entre línguas, ajuda modelo a alinhar idiomas sem traduções

Existem centenas de idiomas com texto escrito, mas quase nenhuma tradução disponível. Isso cria uma pergunta para quem treina modelos de linguagem: quando o modelo aprende um idioma a partir de texto sem tradução, ele se apoia em um idioma parecido ou nas letras que já conhece? Segundo um preprint publicado no arXiv, esses dois fatores costumam andar juntos, o que dificulta separá-los. Os autores tentaram fazer essa separação.

O que o estudo fez

O sistema testado se chama GlyphMind. Ele é um vision transformer sem tokenizador, ou seja, lê o texto como pixels, o que permite exibir qualquer frase em qualquer escrita. Antes de tudo, ele foi treinado para alinhar traduções em 27 sistemas de escrita. Depois, foi adaptado a textos em lao, um idioma e uma escrita que ele nunca tinha visto, sem traduções disponíveis.

O resultado citado pelos autores é que o modelo recuperou traduções para o inglês sete vezes mais do que a linha de base simples mais forte. Segundo o resumo, o ganho veio do alinhamento com a escrita conhecida, e não da semelhança entre línguas.

O teste decisivo

Os pesquisadores reescreveram o lao em letras desconhecidas para o modelo. Nesse caso, o idioma não entrou no espaço de significado compartilhado, mesmo com seu parente próximo, o tailandês, presente no pré-treinamento.

Com o santali, idioma que não tinha nenhum dado no pré-treinamento, o resultado foi diferente. Ele entrou no espaço quando foi escrito em devanágari, a escrita conhecida pelo hindi, mas não quando aparecia na própria escrita.

Por que isso importa

Para o leitor, a ideia central é que transliterar um idioma para uma escrita familiar pode abrir modelos multilíngues a línguas sem traduções. Isso sugere um caminho para idiomas com pouco texto disponível, sem depender de um parente linguístico já coberto pelo treinamento.

Ainda há limites a considerar. Vale acompanhar a versão completa do artigo antes de tirar conclusões mais amplas.