Uma criança aprende quais palavras nomeiam quais objetos a partir de, segundo o resumo do artigo, cerca de 100 milhões de palavras de entrada. Modelos de visão e linguagem treinados em escala comparável associam palavras a seus referentes com muito menos confiabilidade. Os autores de um preprint publicado no arXiv argumentam que parte dessa diferença é estrutural, e não apenas uma questão de quantidade de dados.
O problema apontado
Segundo os autores, o objetivo usual de legendagem, que prevê o próximo token, não tem nenhuma variável que represente a ideia “esta palavra se refere àquela região”. Por isso, o treinamento não exerce pressão direta para ancorar palavras em partes da imagem.
A proposta
O GAVAGAI acrescenta essa variável tratando cada cena como um pequeno problema de atribuição entre as palavras de conteúdo ouvidas e as regiões vistas. Essa atribuição é resolvida por transporte ótimo entrópico, sob duas restrições:
- Coluna NOTHING: uma palavra pode ser atribuída a ela em vez de a qualquer região. Os autores lembram que a maioria das palavras de conteúdo na fala dirigida a bebês não nomeia nada visível.
- Limite de capacidade: nenhuma região pode receber mais que uma fração limitada da massa de atribuição. Segundo o artigo, essa restrição codifica a exclusividade mútua.
De acordo com o artigo, a etapa de alinhamento custa cerca de oito iterações de Sinkhorn, pouco perto do custo do codificador de visão.
O que os experimentos mostram
Em simulação controlada, a versão ingênua da ideia, uma softmax por linha que obriga cada palavra a ir para alguma região, colapsou para 0.000 de acurácia palavra-imagem sob taxas de não-referência realistas. Esse valor ficou abaixo do 0.058 obtido apenas com legendagem. Com as duas restrições, o resultado foi 0.075 nesse mesmo regime e 0.700 com entrada limpa.
No corpus de vídeos infantis SAYCam, somar a perda de alinhamento a um modelo de legendagem elevou a acurácia palavra-imagem de 32.4% para 48.7%, e a IoU de localização de 0.18 para 0.38. Um modelo contrastivo treinado com os dados da mesma criança continua melhor no benchmark dele.
Como ler o resultado
Os autores são explícitos: a afirmação é que a perda melhora um objetivo de legendagem sob altas taxas de não-referência, e não que estabelece um novo melhor resultado. Também vale notar que os números vêm de simulação e de um corpus específico, e o resumo não detalha outros conjuntos de dados.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
